“Ai é cara. Vamos ser honestos”, diz Anand.
Crescimento e segurança
Em outubro de 2024, a mãe adolescente, que morreu de suicídio, entrou com um processo ilegal de morte contra a tecnologia de caráter, seu fundador Google e alfabeto, alegando que a empresa alvejava seu filho com antropomorfismo, hipersexual e experiências terrivelmente realistas. Na época, um porta -voz do personagem disse à CNBC que a empresa estava “triste por perdas trágicas” e que “levamos a segurança de nossos usuários muito a sério”.
O trágico incidente colocou as cartas sob intenso escrutínio. No início deste ano, os senadores dos EUA Alex Padilla e Peter Welch escreveram cartas para várias plataformas de namoro de IA, incluindo Charition.ai, que destacou preocupações sobre os “riscos de saúde mental e segurança da plataforma colocados para usuários mais jovens”.
“A equipe contrata isso com muita responsabilidade há quase um ano”, diz Anand. “A IA é probabilística. É um pouco difícil sempre entender o que está por vir. Portanto, não é apenas um único investimento”.
É muito importante à medida que as letras estão crescendo. A startup tem uma média de 20 milhões de usuários ativos conversando com bots (caracteres de caracteres) por 75 minutos por dia. A base de usuários da empresa é 55% do sexo feminino. Mais de 50% dos usuários são Gen Z ou Gen Alpha. À medida que esse crescimento ocorre, surgem riscos reais. O que Anand faz para manter os usuários seguros?
“Nos últimos seis meses, investimos uma quantidade desequilibrada de recursos para poder servi -los de uma maneira diferente dos 18 anos.” Oh, você pode dizer um tapa 18 ou mais rótulos em seu aplicativo e usá -los para o NSFW. “No final, você acabará criando um aplicativo muito diferente e outra pequena plataforma”.
Mais de 10 dos mais de 70 funcionários da empresa trabalham em período integral, cheios de confiança e segurança, diz Anand. É responsável pela construção de salvaguardas, como verificação de idade, modelos individuais para usuários com menos de 18 anos e novos recursos, como insights parentais.
Modelos com menos de 18 anos foram divulgados em dezembro passado. Ele inclui um “pequeno conjunto de personagens pesquisáveis na plataforma”, de acordo com o porta -voz da empresa, Kathryn Kelly. “Os filtros foram aplicados a esse conjunto para remover caracteres relacionados a tópicos sensíveis ou maduros”.
No entanto, Anand diz que a segurança da IA requer mais do que apenas ajustes técnicos. “Tornar esta plataforma segura é uma parceria entre reguladores, EUA e pais”, diz Anand. Isso torna tão importante ver a filha conversar com o personagem. “Isso precisa ser seguro para ela.”
Além do namoro
O mercado de namoro de IA está crescendo. De acordo com estimativas citadas pela CNBC, os consumidores de todo o mundo gastaram US $ 68 milhões em namoro de IA, um aumento de 200% em relação ao ano passado. As startups de IA estão procurando uma fatia do mercado: a XAI libera um companheiro assustador e pornizado em julho, e a Microsoft cobrará do Copilot Chatbot como um companheiro de IA.
Então, como o Charicioso se destaca em um mercado lotado? Ele remove completamente.
