Os principais modelos de idiomas modernos (LLMS) podem escrever belos sonetos e código elegante, mas eles nem têm a capacidade básica de aprender com a experiência.
Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) criaram maneiras pelas quais o LLM continua melhorando, aprimorando seus próprios parâmetros em resposta a novas informações úteis.
Esta tarefa é um passo para a construção de um modelo de inteligência artificial que está aprendendo constantemente. Isso é importante quando o campo tem objetivos de longa data e quando as máquinas são mais fiéis para imitar a inteligência humana. Enquanto isso, podemos fornecer chatbots e outras ferramentas de IA que podem incorporar melhor novas informações, incluindo interesses e preferências do usuário.
O esquema do MIT, chamado Modelo de Linguagem Auto-Adaptativa (SEAL), envolve a geração de dados de treinamento sintético da LLMS e procedimentos de atualização de aprendizado com base nas entradas recebidas.
“A primeira idéia foi investigar se os tokens (as unidades de texto que foram alimentadas com LLMs e geradas) poderiam causar fortes atualizações ao modelo”, disse Jyothish Pari, um estudante de doutorado do MIT envolvido no desenvolvimento de Seal. Pari disse que a idéia era ver se a saída do modelo poderia ser usada para treinar.
Adam Zweiger, pesquisador do departamento do MIT envolvido na construção do selo, acrescenta que novos modelos podem “inferir” em melhores soluções, implementando inferências mais complexas, mas o próprio modelo não se beneficiará dessa inferência a longo prazo.
Por outro lado, as focas geram novas idéias e as dobram em seus próprios pesos ou parâmetros. Por exemplo, à luz das declarações sobre os desafios enfrentados pelo Programa Espacial Apollo, o modelo gerou novas frases que procuraram explicar o significado da declaração. Os pesquisadores compararam isso com a forma como os estudantes humanos escrevem e revisam notas para ajudá -los a aprender.
O sistema atualizou o modelo com esses dados para testar o quão bem o novo modelo respondeu a um conjunto de perguntas. E, finalmente, isso fornece sinais de aprendizado de reforço que ajudam a orientar o modelo para atualizações que ajudarão a melhorar a competência geral e continuará aprendendo.
Os pesquisadores testaram a abordagem com versões pequenas e médias de dois modelos de código aberto: o Lama da Meta e o Qwen do Alibaba. Eles dizem que essa abordagem também deve funcionar com um modelo de fronteira muito maior.
Os pesquisadores testaram uma abordagem de vedação textual e uma referência chamada ARC para medir a capacidade dos modelos de IA de resolver problemas abstratos de inferência. Nos dois casos, descobrimos que os selos permitem que o modelo continue aprendendo além do treinamento inicial.
Pulkit Agrawal, professor do MIT que dirigiu o filme, diz que o Projeto Seal toca os principais temas da IA. Ele diz que pode ser usado para ajudar a tornar os modelos de IA mais personalizados. “O LLM é forte, mas não queremos impedir o conhecimento deles”, diz ele.
As focas não são uma maneira de a IA melhorar indefinidamente. Por um lado, como Agrawal aponta, o LLMS testado sofre do que é conhecido como “esquecimento catastrófico”. A ingestão de novas informações tem o efeito problemático de simplesmente desaparecer o conhecimento antigo. Isso pode indicar a diferença fundamental entre redes neurais artificiais e redes biológicas. Pari e Zweigler também observam que o Seal é computacionalmente intensivo e a melhor maneira de agendar novos períodos de aprendizado ainda não está clara. Uma idéia divertida é que, como a Humans, o LLM provavelmente pode experimentar um período de “sono”, onde novas informações são integradas.
Ainda assim, com todas as suas limitações, o Seal é um novo caminho emocionante para uma pesquisa de IA adicional. Pode ser algo que encontra uma maneira de um futuro modelo de IA de fronteira.
O que você acha da IA que permite que você continue aprendendo? Envie um email para hello@wired.com.
