Durante o sono, o cérebro humano classifica várias memórias e integra memórias importantes enquanto as descarta. E se a IA puder fazer a mesma coisa?
A Bilt, uma empresa que fornece aos locatários de compras e restaurantes locais, empregou recentemente milhões de agentes na esperança de fazer isso.
Bilt usa uma tecnologia de inicialização chamada Letta que permite que os agentes aprendam com conversas anteriores e compartilhem memórias entre si. Usando um processo chamado “SleepTime Compute”, o agente determina quais informações armazenarem em uma memória de longo prazo e quais informações são necessárias para acelerar o recall.
“Você pode criar uma única atualização em um bloco de memória e alterar o comportamento de centenas de milhares de agentes”, diz Andrew Fitz, engenheiro da AI da BILT. “Isso é útil em cenários em que você deseja controle de refrigeração fina sobre o contexto do agente”, acrescenta ele, referindo-se aos avisos de texto alimentados ao modelo durante a inferência.
Os grandes modelos de linguagem geralmente podem ser “recuperados” apenas se as informações estiverem contidas na janela de contexto. Se você deseja que seu chatbot o lembre da conversa mais recente, você precisa colá -lo no bate -papo.
A maioria dos sistemas de IA pode processar uma quantidade limitada de informações em uma janela de contexto antes de usar os dados, alucinando ou confuso. Por outro lado, o cérebro humano pode enviar informações úteis e recordá -las mais tarde.
“Seu cérebro está melhorando constantemente e você está adicionando informações semelhantes a esponjas”, diz Charles Packer, CEO da Letta. “Em um modelo de idioma, é exatamente o oposto. Você executa esses modelos de idiomas em loops por tempo suficiente e o contexto é envenenado. Você só quer descarrilar e redefinir”.
Packer e sua co-fundadora Sarah Wooders desenvolveram anteriormente o MEMGPT. Este é um projeto de código aberto destinado a ajudar o LLMS a decidir quais informações armazenar em memória de curto e longo prazo. Com as cartas, a dupla expandiu sua abordagem para os agentes de aprendizagem em segundo plano.
A colaboração da Bilt com a Letta faz parte de um esforço mais amplo para fornecer a capacidade de armazenar e recuperar informações úteis para a IA, tornando os chatbots mais inteligentes e mantendo os agentes livres de erros. De acordo com os especialistas com quem falei, a memória permanece subdesenvolvida na IA moderna, prejudicando a inteligência e a confiabilidade das ferramentas de IA.
Harrison Chase, co-fundador e CEO da Langchain, outra empresa que desenvolveu maneiras de melhorar a memória para os agentes da IA, diz que vê a memória como uma parte importante da engenharia de contexto. A Langchain oferece às empresas vários tipos diferentes de armazenamento de memória para agentes, desde fatos de longo prazo sobre os usuários até a memória das experiências recentes. “A memória argumentaria que eu argumentaria”, disse Chase. “A maioria do trabalho de um engenheiro de IA está essencialmente tornando o modelo um contexto adequado (informação)”.
As ferramentas de AI do consumidor estão gradualmente se tornando cada vez menos esquecidas. Em fevereiro, o OpenAI anunciou que o ChatGPT armazenará informações relevantes para fornecer uma experiência fácil de usar.
Letta e Langchain tornam o processo de recall mais transparente para os engenheiros que construem sistemas de IA.
“Eu acho que é muito importante que não apenas os modelos se abrem, mas os sistemas de memória se abrem”, diz Clem Delangue, CEO da AI Hosting Platform, Holding e Letta Investor.
Curiosamente, o CEO da Letta Packer sugere que pode ser importante aprender o que os modelos de IA devem esquecer. “Se o usuário disser: ‘Um projeto em que estávamos trabalhando, varre -o da memória’, o agente deve voltar e reescrever toda a memória retroativamente.”
O conceito de memória e sonhos artificiais me faz pensar que os andróides sonham com ovelhas elétricas? Philip K. Dick é um romance de partir o coração que inspirou o filme Dystopian Film Blade Runner em estilo. Os modelos linguísticos em larga escala são menos impressionantes do que os replicantes rebeldes da história, mas suas memórias parecem igualmente vulneráveis.
Esta é uma edição do boletim de Will Knight’s Ai Lab. Leia nossa newsletter anterior aqui.
