Segundo Fowler, semelhante ao CSAM, o banco de dados tinha imagens pornográficas geradas pela IA adulta e imagens em potencial “swaps de rosto”. No arquivo, ele observou o que parece ser uma fotografia de pessoas reais. Provavelmente, isso é usado para criar “imagens explícitas geradas por IA sexuais explícitas”, diz ele. “Então eles estavam tirando fotos reais de pessoas e trocando rostos por lá”, ele afirma algumas imagens geradas.
Quando estava ao vivo, o site da Gennomis permitiu imagens explícitas para adultos de IA. Muitas das imagens apresentadas na página inicial, bem como a seção “Modelos” da IA incluíam imagens sexuais de mulheres. Ele também incluía a galeria “NSFW” e “Marketplace”, onde os usuários podem compartilhar imagens e vender álbuns de fotos geradas pela AI. O slogan do site afirmou que as pessoas podem “gerar” imagens e vídeos ilimitados “” ilimitados “. As versões anteriores do site em 2024 afirmam que “imagens sem censura” podem ser criadas.
A política do usuário da Gennomis afirma que “violência explícita” e discurso de ódio são proibidos e que apenas “conteúdo respeitoso” é permitido. “A pornografia infantil e outras atividades ilegais são estritamente proibidas por Gennos”, as diretrizes da comunidade dizem que as contas postagem de conteúdo proibido serão encerradas. (Pesquisadores, advogados de vítimas, jornalistas e empresas de tecnologia eliminaram amplamente a frase “pornografia infantil” em favor da CSAM na última década).
Não está claro o quão bem a gennômica usa ferramentas ou sistemas de moderação para prevenir ou proibir a criação de CSAMs gerados por A. No ano passado, alguns usuários que postaram em suas páginas de “comunidade” postaram que não conseguiram gerar imagens de pessoas fazendo sexo e foram bloqueadas de avisos não sexuais de “humor sombrio”. Outra conta publicada na página da comunidade que diz que o conteúdo “NSFW” precisa ser abordado como “o governo federal pode estar assistindo”.
“Se você puder ver essas imagens com nada além de um URL, elas indicam que não estão fazendo todas as etapas necessárias para bloquear esse conteúdo”, afirma Fowler o banco de dados.
Henry Ager, especialista em Deepfake e fundador do consultor consultor de espaço, diz que a marca do site se refere à criação de imagem “ilimitada” e à seção “NSFW”, mesmo que a empresa não permitir a criação de conteúdo nocivo e ilegal.
Ajder diz que está surpreso que o site inglês se vincule a organizações coreanas. No ano passado, o país foi atormentado por uma profunda e inconsensual “urgente” mirando meninas antes de tomar medidas para combater a onda de abuso de Deepfake. Ajder diz que precisa haver mais pressão em todas as partes do ecossistema que permite que a IA seja usada para gerar imagens não consensuais. “Quanto mais vemos, mais ele força os legisladores, plataformas de tecnologia, empresas de hospedagem na web e provedores de pagamentos a fazer perguntas.
Fowler diz que também publicou arquivos que o banco de dados parece conter os prompts de IA. Os pesquisadores dizem que dados do usuário, como logins e nomes de usuário, não estão incluídos nos dados públicos. As capturas de tela do prompt mostram o uso de palavras como “Tiny”, “Girl” e referências ao comportamento sexual entre membros da família. Os avisos também incluíam comportamentos sexuais de pessoas famosas.
“Parece que a tecnologia correu à frente de diretrizes ou controle”, diz Fowler. “De uma perspectiva legal, todos sabemos que imagens explícitas de crianças são ilegais, mas isso não impediu a tecnologia de gerar essas imagens”.
Os sistemas de IA gerados aumentaram bastante o quão fácil é criar e modificar imagens nos últimos dois anos, o que levou a uma explosão do CSAM gerado pela IA. “As páginas da Web contendo material de abuso sexual infantil gerado pela IA têm mais de quatro vezes mais vezes até 2023, e o fotorrealismo desse conteúdo aterrorizante também é refinado.
A IWF documentou como os criminosos estão desenvolvendo métodos para criar e usar para criar CSAMs gerados por IA. “É muito fácil para os criminosos usarem a IA para gerar e distribuir conteúdo sexualmente explícito para crianças em larga escala e em ritmo acelerado”, diz Rayhill.
