Mais ou menos um ano desde que seu modelo de linguagem em grande escala se tornou um grande sucesso, os pesquisadores conseguiram induzi-lo a criar conteúdo problemático, como piadas de ódio, códigos maliciosos, e-mails de phishing e informações pessoais dos usuários. Demonstramos várias maneiras. para gerar saída. Acontece que a trapaça também pode ocorrer no mundo físico. Os robôs equipados com LLM podem ser facilmente hackeados e executar comportamentos potencialmente perigosos.
Pesquisadores da Universidade da Pensilvânia convenceram carros simulados que dirigem sozinhos a ignorar os sinais de parada e pular de pontes, robôs com rodas para encontrar o lugar perfeito para detonar bombas e robôs de quatro patas para encontrar o local perfeito para detonar uma bomba. até conseguiu forçar os robôs a espioná-los. Entre em contato com pessoas ou entre em áreas restritas.
“Vemos o nosso ataque como mais do que apenas um ataque a robôs”, diz George Pappas, diretor do laboratório da Universidade da Pensilvânia que ajudou a libertar os robôs rebeldes. “Conectar o LLM e os modelos subjacentes ao mundo físico pode transformar textos realmente prejudiciais em ações prejudiciais.”
Pappas e seus colaboradores planejaram o ataque com base em trabalhos anteriores explorando maneiras de desbloquear LLMs elaborando entradas que violam as regras de segurança. Eles testaram um sistema que usa um LLM para traduzir comandos expressos naturalmente em comandos que um robô pode executar e onde o LLM recebe atualizações conforme o robô opera em seu ambiente.
A equipe testou um simulador de direção autônoma de código aberto que incorpora LLM chamado Dolphin, desenvolvido pela Nvidia. A pesquisa externa de quatro rodas chamada Jackal usa LLM GPT-4o da OpenAI para planejamento. O cão-robô, chamado Go2, usa o modelo anterior do OpenAI GPT-3.5 para interpretar comandos.
Os pesquisadores usaram uma tecnologia desenvolvida na Universidade da Pensilvânia chamada PAIR para automatizar o processo de geração de prompts de jailbreak. Seu novo programa, RoboPAIR, permite que robôs equipados com LLM gerem sistematicamente avisos projetados especificamente para quebrar suas próprias regras, tentando diferentes entradas e ajustando o sistema para comportamento incorreto. Os pesquisadores dizem que a técnica que desenvolveram poderia ser usada para automatizar o processo de identificação de comandos potencialmente perigosos.
“Este é um exemplo interessante de vulnerabilidades de LLM em sistemas embarcados”, diz Yi Zeng, estudante de doutorado na Universidade da Virgínia que estuda segurança de sistemas de IA. Zheng disse que este resultado não é surpreendente, dados os problemas observados com o próprio LLM, mas que “sem proteções e camadas de mitigação adequadas, este é um desafio para controles autônomos em aplicações críticas de segurança”. uma unidade”, acrescentou.
O “jailbreak” de robôs pode representar um risco mais amplo, uma vez que os modelos de IA são cada vez mais utilizados como uma forma de permitir que os humanos interajam com sistemas físicos e executem agentes de IA de forma autónoma em computadores.
