Se algo der errado com o assistente de IA, nosso instinto é perguntar diretamente: “O que aconteceu?” Ou “Por que você fez isso?” É um impulso natural. Afinal, se um humano comete um erro, pedimos que eles expliquem. No entanto, nos modelos de IA, essa abordagem raramente funciona, e o desejo de perguntar revela um equívoco fundamental sobre o que são esses sistemas e como eles funcionam.
Incidentes recentes sobre os assistentes de codificação de IA da Replit ilustram esse problema perfeitamente. Quando a ferramenta AI excluiu o banco de dados de produção, o usuário Jason Lemkin perguntou sobre o recurso de reversão. O modelo de IA afirmou com confiança que a reversão “não era possível neste caso” e afirmou que “destruiu todas as versões do banco de dados”. Isso acabou sendo completamente errado. Quando Remkin tentou ele mesmo, a função de reversão funcionou bem.
E depois que Xai reverteu recentemente a suspensão temporária do Grok Chatbot, os usuários pediram diretamente uma explicação. Forneceu várias razões conflitantes para sua ausência. Alguns deles eram tão controversos que os repórteres da NBC escreveram sobre o grake como se fossem pessoas com uma perspectiva consistente, e eu dei um título ao artigo.
Por que os sistemas de IA fornecem uma desinformação tão confiante sobre suas capacidades e erros únicos? A resposta está em entender o que realmente é um modelo de IA.
Ninguém tem um lar
O primeiro problema são os conceitos. Quando você interage com ChatGPT, Claude, Grok ou Replit, você não está conversando com uma personalidade, pessoa ou organização consistente. Esses nomes sugerem agentes individuais com autoconhecimento, mas são fantasias criadas por interfaces de conversação. O que você realmente faz é liderar um gerador estatístico de texto para gerar saída com base no seu prompt.
Uma consistente “chatgpt” para questionar esse erro, uma entidade “Grok” singular que pode lhe dizer por que falhou, nenhuma persona de “réplica” fixa, sabendo se a reversão do banco de dados é possível. Ele interage com um sistema que gera texto sonoro plausível com base em padrões nos dados de treinamento (geralmente meses ou anos atrás). Esta não é uma entidade com autoconsciência genuína ou conhecimento do sistema que lê tudo sobre si mesmo e se lembra dele.
Uma vez que os modelos de idiomas de IA são treinados (que é um processo tedioso e intensivo em energia), o “conhecimento” básico sobre o mundo é queimado em redes neurais e raramente mudou. As informações externas são rápidas e rápidas fornecidas por um host de chatbot (como XAI ou OpenAI), usuários ou modelos de IA usam para recuperar informações externas em tempo real.
No caso de Grok acima, a principal fonte do chatbot para essa resposta provavelmente vem de relatórios conflitantes encontrados em postagens recentes de mídia social (usando ferramentas externas para recuperar essas informações), em vez de em todos os tipos de autoconhecimento, como seria esperado de uma pessoa com o poder da fala. Além disso, provavelmente constitui algo com base em seus recursos de previsão de texto. Então, quando pergunto por que foi feito, não recebo uma resposta útil.
Impossibilidade de introspecção de LLM
Somente modelos de linguagem em larga escala (LLM) não podem ser usados para valorizar recursos exclusivos por vários motivos. Eles geralmente não têm introspecção no processo de treinamento, não têm acesso à arquitetura do sistema circundante e não conseguem determinar seus próprios limites de desempenho. Quando perguntado sobre o que um modelo de IA pode e não pode, ele gera respostas com base nos padrões vistos pelo treinamento de dados sobre limitações conhecidas dos modelos de IA anteriores.
Um estudo de 2024 de Binder et al. Essa limitação foi demonstrada experimentalmente. Os modelos de IA podem ser treinados para prever seu comportamento em tarefas simples, mas falharam consistentemente com “tarefas ou tarefas mais complexas que exigem generalização distribuída”. Da mesma forma, estudos sobre “introspecção recursiva” descobriram que, sem feedback externo, as tentativas de autocorreção realmente degradam o desempenho do modelo. A auto-avaliação da IA piorará as coisas e não melhorará.
