Na segunda-feira, os desenvolvedores que usam o popular editor de código da IA Carsol notaram algo estranho. Alternando entre máquinas registradas instantaneamente, quebrando um fluxo de trabalho comum para programadores usando vários dispositivos. Quando o usuário entrou em contato com o suporte para cursores, um agente chamado “Sam” disse que esperava ações sob a nova política. Mas nenhuma política não existia, e Sam era um bot. O modelo de IA levantou políticas, causando uma onda de notícias de hackers e queixas documentadas e ameaças de cancelamento no Reddit.
Isso marca a instância mais recente da compilação de IA (também conhecida como “Hatography”) que causa possíveis danos nos negócios. A confabulação é um tipo de resposta que “preenche a lacuna criativa” que, enquanto os modelos de IA são plausíveis, inventando a desinformação. Em vez de reconhecer a incerteza, os modelos de IA geralmente priorizam a criação de respostas plausíveis e confiantes, mesmo quando isso significa produzir informações do zero.
Para empresas que implantam esses sistemas em funções voltadas para o cliente sem supervisão humana, os resultados podem ser imediatos e caros. Clientes frustrados, confiança danificada e cursores podem cancelar sua assinatura.
Como isso se desenrolou?
O incidente começou quando um usuário do Reddit chamado BrokentoasterOven percebeu que sua sessão de cursor havia terminado inesperadamente enquanto trocava entre um desktop, laptop e uma caixa de desenvolvimento remoto.
“Faça login no cursor em uma máquina e imediatamente a sessão será desativada na outra máquina”, escreveu BrokentoasterOven em uma mensagem posteriormente excluída pelo moderador R/Cursor. “Esta é uma importante regressão de UX.”
Usuários confusos e frustrados escreveram um email para o suporte do cursor e receberam uma resposta de Sam imediatamente. A reação parecia decisiva e oficial, e os usuários não suspeitaram que Sam não fosse humano.
Após o post inicial do Reddit, os usuários receberam a postagem como uma confirmação oficial das mudanças reais da política. Esta é uma pausa dos hábitos essenciais para a vida cotidiana de muitos programadores. “Os fluxos de trabalho com vários dispositivos são estacas de tabela de desenvolvedores”, escreveu um usuário.
Logo depois, vários usuários publicaram cancelamentos de assinatura no Reddit, citando uma política que não existe. “Eu literalmente apenas cancelei meu sub”, ele escreveu o pôster original do Reddit, acrescentando que o local de trabalho deles agora está “limpado completamente”. Outros disseram: “Sim, também estou cancelando, isso é Ashinin”. Logo depois disso, o moderador bloqueou o segmento do Reddit e excluiu a postagem original.
“Ei! Nós não temos essa política”, escreveu o representante do cursor em uma resposta do Reddit três horas depois. “É claro que você pode usar seu cursor livremente em várias máquinas. Infelizmente, essa é uma resposta falsa do bot de suporte da AI da linha de frente”.
Compilar a IA como um risco comercial
O fiasco do cursor me lembra um episódio semelhante a partir de fevereiro de 2024, quando a Air Canada recebeu a ordem de respeitar a política de reembolso inventada por seu próprio chatbot. Nesse caso, Jake Moffat entrou em contato com o apoio da Air Canada depois que sua avó faleceu e disse a ele que o agente da IA da companhia aérea poderia se candidatar erroneamente a ele por uma taxa de luto. Quando a Air Canada rejeitou mais tarde a solicitação de reembolso, a empresa alegou que “o chatbot é outra corporação responsável por suas próprias ações”. Um tribunal canadense se recusou a defender isso e descobriu que a empresa era responsável pelas informações fornecidas pelas ferramentas da IA.
Em vez de desafiar a responsabilidade como o Air Canada, Cursor admitiu o erro e tomou medidas para corrigi -lo. O co-fundador do Cursor, Michael Truell, pediu desculpas pelo Hacker News por confusão sobre políticas inexistentes, explicando que os usuários foram reembolsados e que o problema decorre de uma mudança de back-end para melhorar a segurança da sessão, que, involuntariamente, criou problemas com a invalidação de sessões para alguns usuários.
“As respostas da IA usadas para o suporte ao email são claramente rotuladas como tal”, acrescentou. “Usamos as respostas assistidas pela AI como nosso primeiro filtro para suporte por e-mail”.
Ainda assim, o incidente levantou questões prolongadas sobre a divulgação entre os usuários, pois muitas pessoas que interagiram com Sam claramente acreditavam que era humano. “Estou fingindo ser LLMS (você é Sam!) E não é rotulado dessa maneira.
O cursor corrigiu um bug técnico, mas este episódio mostra o risco de implantar modelos de IA em funções voltadas para o cliente, sem proteção e transparência adequadas. Para empresas que vendem ferramentas de produtividade de IA para desenvolvedores, inventar políticas alienígenas para seus próprios sistemas de suporte de IA representam uma cicatriz de auto-mutilação particularmente problemática.
“Há a ironia deles trabalhando muito para dizer que as alucinações não são mais um grande negócio”, escreveu um usuário no Hacker News.
Esta história apareceu originalmente em Ars Technica.
