Um juiz federal em Orlando, Flórida (EUA), rejeitou a tentativa da startup de inteligência artificial (IA) Character.AI de encerrar processo judicial envolvendo o suicídio de um adolescente, argumentando que as mensagens geradas por seu chatbot não estão automaticamente protegidas pela Primeira Emenda.

A decisão abre caminho para que o caso siga adiante, levantando questões importantes sobre a responsabilidade legal de empresas que desenvolvem sistemas de IA baseados em linguagem.

Detalhes do caso

• Sewell Setzer III, 14 anos, tirou a própria vida em 2023, pouco depois de trocar mensagens com um chatbot da Character.AI;
• A mãe do jovem, Megan Garcia, afirma que a empresa falhou ao lançar um produto voltado a interações emocionais sem implementar proteções adequadas para usuários vulneráveis;
• O chatbot, inspirado em uma personagem de “Game of Thrones“, teria encorajado Setzer a voltar para casa pouco antes do suicídio;
• Segundo o processo (via The Washington Post), o adolescente se tornou obcecado pela IA e passou a se isolar da família.

A Character.AI alegava que os diálogos do bot estariam protegidos como forma de expressão, mas a juíza Anne Conway afirmou que, neste estágio do processo, a empresa não conseguiu provar que a linguagem gerada pela IA se qualifica como discurso constitucionalmente protegido.

Leia mais:

• Jovem se apaixona por chatbot de IA e tira a própria vida; mãe processa empresa
• Bate-papo com famosos? Google deve lançar chatbots baseados em celebridades
• Ex-diretora da OpenAI lança sua própria startup de IA

Julgamento pode abrir precedentes quanto à IA

O caso pode se tornar marco legal para definir os limites de responsabilidade de sistemas de IA generativa. Além da Character.AI, o processo incluirá os fundadores da empresa, Noam Shazeer e Daniel De Freitas, e o Google, acusado de ligação técnica com a startup.

O Google nega envolvimento direto com o aplicativo e promete recorrer da decisão. Enquanto o processo avança, a Character.AI afirma ter adotado medidas de segurança, como versões para menores e filtros de detecção de automutilação.

Representantes legais da família de Setzer consideram a decisão um passo importante para responsabilizar empresas que desenvolvem tecnologias de alto risco sem salvaguardas apropriadas.