Uma startup de geração de imagens de IA postou mais de 1 milhão de imagens e vídeos criados por seus sistemas online, acessíveis ao público, de acordo com um novo estudo revisado pela WIRED. Os pesquisadores que descobriram o tesouro de dados expostos disseram que a “esmagadora maioria” das imagens incluía nudez e “conteúdo adulto retratado”, com algumas retratando crianças ou parecendo ter o rosto de uma criança substituído pelo corpo de um adulto nu gerado por IA.
O pesquisador de segurança Jeremiah Fowler, que descobriu a falha de segurança em outubro, disse que vários sites, incluindo MagicEdit e DreamPal, parecem estar usando o mesmo banco de dados inseguro. Na época, cerca de 10 mil novas imagens eram adicionadas ao banco de dados todos os dias, disse Fowler. Demonstrando como as pessoas podem ter usado ferramentas de geração e edição de imagens, essas imagens incluíam fotografias “brutas” de pessoas reais que podem ter sido “despidas” ou tiveram seus rostos trocados por outros corpos nus sem o seu consentimento.
“O verdadeiro problema é que imagens de pessoas inocentes, especialmente menores, são usadas sem o seu consentimento para criar conteúdo sexual”, diz Fowler, um prolífico caçador de bancos de dados expostos que publicou suas descobertas no blog ExpressVPN. Fowler disse que este é o terceiro banco de dados de geração de imagens de IA mal configurado acessível online este ano, todos os quais parecem conter imagens não consensuais e explícitas de jovens e crianças.
As descobertas de Fowler ocorrem no momento em que as ferramentas de geração de imagens de IA continuam a ser usadas maliciosamente para criar imagens explícitas de pessoas. Um vasto ecossistema de serviços de “nudificação”, utilizado por milhões de pessoas e que gera milhões de dólares por ano, utiliza a IA para “tirar” as roupas das pessoas (principalmente mulheres) nas suas fotos. Fotos roubadas das redes sociais podem ser editadas com apenas alguns cliques, levando a abusos e assédios horríveis às mulheres. Entretanto, os relatos de criminosos que utilizam IA para criar material de abuso sexual infantil, incluindo uma variedade de imagens indecentes envolvendo crianças, duplicaram no último ano.
“Levamos essas preocupações muito a sério”, disse um porta-voz da DreamX, a startup por trás do MagicEdit e do DreamPal. Um porta-voz disse que uma empresa de marketing influenciadora chamada SocialBook vinculada ao banco de dados é “operada por uma entidade separada e não está envolvida na operação de nenhum outro site”. “Embora essas empresas compartilhem relacionamentos históricos por meio de fundadores e ativos legados, elas operam de forma independente com linhas de produtos distintas”, disse o porta-voz.
“O SocialBook não se conecta ao banco de dados que você referenciou, não usa esse armazenamento e não está envolvido em sua operação ou gerenciamento em nenhum momento”, disse um porta-voz do SocialBook à WIRED. “As imagens referenciadas não são geradas, processadas ou armazenadas pelos sistemas do SocialBook. O SocialBook opera de forma independente e não tem nenhuma função na infraestrutura descrita.”
