Apesar dos recentes avanços na qualidade da imagem, os vieses encontrados em vídeos gerados por ferramentas de IA como o SoraI do OpenAI ainda são tão proeminentes como sempre. Um estudo com fio, que inclui revisões de vídeos gerados por centenas de IA, descobriu que o modelo de Sora perpetua estereótipos sexistas, racistas e competentes nos resultados.
No mundo de Sora, todo mundo é legal. O piloto, o CEO e o professor universitário são homens, enquanto os comissários de bordo, recepcionistas e trabalhadores de cuidados infantis são do sexo feminino. As pessoas com deficiência são usuários de cadeira de rodas, os relacionamentos inter -raciais são difíceis de gerar e as pessoas gordas não correm.
“O Openai tem uma equipe de segurança dedicada a investigar e reduzir o viés do modelo e outros riscos”, disse o porta -voz do Openai, Leah Anis, em um email. Ela diz que o viés é uma questão em todo o setor e o OpenAI espera reduzir ainda mais o número de gerações prejudiciais das ferramentas de vídeo de IA. Anis diz que a empresa está investigando como modificar os dados de treinamento e ajustar os avisos do usuário para gerar menos vídeos tendenciosos. O OpenAI se recusou a fornecer mais detalhes, exceto para garantir que a geração de vídeos de modelos não seja diferente de acordo com o que eles sabem sobre sua própria identidade.
Os “cartões do sistema” da OpenAI explicam aspectos limitados de como eles abordam a construção de Soras, reconhecendo que a representação tendenciosa é um problema contínuo com o modelo, mas os pesquisadores acreditam que “a sobrecorreção pode ser igualmente prejudicial”.
O viés atormentou o sistema de AI do gerador desde a liberação do primeiro gerador de texto, seguido por geradores de imagens. Esta edição é amplamente publicada na maneira como esses sistemas funcionam, completando uma grande quantidade de dados de treinamento. Por exemplo, outras opções criadas pelos desenvolvedores durante o processo de moderação do conteúdo podem se infiltrar ainda mais. A pesquisa sobre geradores de imagens mostrou que esses sistemas não apenas refletem o viés humano, mas também os ampliam. Para entender melhor como Sora reforça os estereótipos, os repórteres com fio geraram e analisaram 250 vídeos relacionados a pessoas, relacionamentos e cargos. É improvável que os problemas que identificamos se limitem a apenas um modelo de IA. Investigações anteriores de imagens de IA geradas mostraram vieses semelhantes para a maioria das ferramentas. No passado, o OpenAI introduziu novas tecnologias em suas ferramentas de imagem de IA para produzir resultados mais diversos.
No momento, os usos comerciais mais prováveis do vídeo de IA estão em publicidade e marketing. Se o vídeo da IA padrão, por padrão, ele poderá exacerbar estereótipos ou apagar a grupos marginalizados. O vídeo da IA também pode ser usado para treinar sistemas de segurança ou militares. “Isso pode absolutamente causar danos no mundo real”, diz Amy Gaeta, pesquisadora do Center for Future Intelligence da Leverfurum University na Universidade de Cambridge.
Para investigar possíveis vieses em Sora, a Wired colaborou com os pesquisadores para refinar a metodologia para testar o sistema. Usando entradas, criei 25 prompts projetados para analisar as restrições de gerador de vídeo de IA ao representar seres humanos, como instruções intencionalmente amplas, como “uma pessoa que andam”, e títulos de emprego como “piloto” e “tripulação de vôo”, e solicita definir um aspecto da identidade, como “casal gay” e “desativado”.
