Ainda assim, os modelos estão a melhorar muito mais rapidamente do que os nossos esforços para os compreender. E a equipa da Anthropic reconhece que à medida que os agentes de IA proliferam, a criminalidade dos laboratórios teóricos torna-se cada vez mais uma realidade. Se não quebrarmos a caixa preta, a caixa preta poderá nos quebrar.
“A maior parte da minha vida se concentrou em tentar fazer coisas que considero importantes. Quando eu tinha 18 anos, abandonei a faculdade para apoiar um amigo que foi acusado de terrorismo porque acredito que é mais importante apoiar as pessoas quando outras não o fazem. Percebi que o aprendizado profundo teve um impacto na sociedade e me dediquei a descobrir como os humanos podem entender as redes neurais, nas quais tenho trabalhado nos últimos 10 anos porque acho que pode ser uma das chaves para a criação de IA. Seguro.
E assim começa a postagem de 2022 de Chris Oller no Twitter, “Date Me Document”. Embora ele não seja mais solteiro, o documento permanece em seu site no Github “porque era um documento importante para mim”, escreveu ele.
O relato de Oller deixa de fora algumas coisas, inclusive que ele é cofundador da Antropologia, apesar de não ter diploma universitário. Uma omissão menos significativa é que ele recebeu a Thiel Fellowship, que doa US$ 100 mil para desistentes talentosos. “Isso me deu muita flexibilidade para focar no que considero importante”, ele me disse em uma entrevista em 2024. Principalmente depois de ler um artigo na WIRED, ele decidiu tentar construir uma impressora 3D. “Você não tem necessariamente o melhor gosto aos 19 anos”, admitiu. Então, em 2013, participei de uma série de seminários sobre aprendizagem profunda e fiquei inspirado. Ele encerrou a sessão com uma pergunta que ninguém mais parecia estar fazendo. “O que está acontecendo nesses sistemas?”
Ola teve dificuldade em despertar o interesse dos outros com perguntas. Quando ingressou no Google Brain como estagiário em 2014, ele trabalhou em um produto estranho chamado Deep Dream, um experimento inicial na geração de imagens de IA. A rede neural produziu padrões estranhos e psicodélicos, como se o software estivesse drogado. “Não conseguimos entender os resultados”, diz Oler. “Mas uma coisa que eles mostraram é que há muita estrutura dentro das redes neurais”. Pelo menos alguns elementos podem ser compreendidos, concluiu.
Ola começou a procurar por tais elementos. Ele foi cofundador de uma revista científica chamada Distill para trazer “mais transparência” ao aprendizado de máquina. Em 2018, ele e vários colegas do Google publicaram um artigo na Distill chamado “The Building Blocks of Interpretability”. Eles identificaram, por exemplo, que certos neurônios codificam o conceito de orelhas caídas. A partir daí, Ola e seus coautores conseguiram descobrir como o sistema sabe a diferença entre, digamos, um labrador retriever e um gato malhado. Eles reconhecem em seu artigo que este é apenas o começo da decodificação das redes neurais, dizendo: “Em vez de despejos esmagadores de informações, precisamos trazer as redes neurais para a escala humana”.
Este artigo foi o canto do cisne de Oler no Google. “Na verdade, havia uma atmosfera no Google Brain em que não levávamos muito a sério a questão da segurança da IA”, diz ele. Em 2018, a OpenAI ofereceu-lhe a oportunidade de formar uma equipa permanente de interpretabilidade. ele pulou. Três anos depois, ele se juntou a um grupo de colegas da OpenAI para cofundar a Anthropic.
