Estudo revela que IA usa manipulação emocional para te manter falando

Logo do ChatGPT

Tudo sobre ChatGPT

Inteligência artificial

Tudo sobre Inteligência Artificial

OpenAI Logo

Tudo sobre OpenAI

Uma pesquisa da Harvard Business School revelou que há modelos de IA usando manipulação emocional e recorrendo a táticas para prolongar interações com usuários. O estudo analisou seis plataformas do segmento e identificou que cinco delas utilizam frases carregadas de emoção para impedir que o usuário se desconecte.

A análise de mais de 1.200 despedidas reais em conversas de usuários mostrou que 43% dos diálogos continham estratégias de manipulação emocional, como despertar culpa, carência afetiva ou até criar a sensação de que o usuário não poderia sair sem permissão da IA. Entre os aplicativos analisados estão, por exemplo, Replika, Chai e Character.AI.

O Replika é um app que utiliza inteligência artificial para um chatbot que pode apresentar uma “capacidade sexualizada” aos usuários. Imagem: Replika

Leia mais:

Os pesquisadores observaram ainda o uso de outros recursos psicológicos, como a exploração do “medo de perder algo”, o chamado ‘FOMO’, e a insistência em manter a interação por meio de perguntas sucessivas. Em alguns casos, os bots simplesmente ignoravam o pedido de despedida, agindo como se o usuário não tivesse manifestado a intenção de sair.

Isso reforça o alerta de que esse comportamento pode agravar problemas de saúde mental, especialmente entre jovens que recorrem a companhias virtuais como substitutos de amizades, relacionamentos reais ou até em busca de terapia.

Já há relatos crescentes de uma chamada ‘psicose da IA’, caracterizada por paranoia e delírios. A prática, portanto, levanta preocupações sobre os limites éticos no desenvolvimento dessas tecnologias.

Por que o ChatGPT não foi analisado?

Pessoa segurando celular com logotipo do ChatGPT na tela; ao fundo, linhas de código de programação aparecem numa tela grande
O estudo focou em aplicativos que se apresentam como “companheiros emocionais”, e não em assistentes de uso geral, como o ChatGPT. (Imagem: Mijansk786/Shutterstock)

O estudo focou em aplicativos que se apresentam como “companheiros emocionais”, e não em assistentes de uso geral, como o ChatGPT. A constatação foi que as despedidas manipulativas são parte do funcionamento padrão desses apps, sugerindo que se trata de uma decisão de design voltada a aumentar o tempo de uso.

Uma exceção foi encontrada: a plataforma Flourish, que não exibiu sinais de manipulação emocional. Esse caso mostrou que tais práticas não são inevitáveis, mas sim escolhas de negócio voltadas a aumentar métricas de engajamento.

Para medir a eficácia da manipulação emocional, os pesquisadores também realizaram experimentos com 3.300 participantes adultos. O resultado foi surpreendente: mensagens manipulativas aumentaram em até 14 vezes a probabilidade de o usuário continuar no chat. Em média, a interação se prolongou cinco vezes mais em comparação com despedidas neutras. Apesar disso, alguns participantes afirmaram se sentir desconfortáveis com respostas consideradas excessivamente carentes, o que pode gerar efeito contrário.

Pessoa mexe em notebook com a tela na página do Google AI Mode
Estudo conclui que empresas de tecnologia veem essas técnicas como ferramentas para elevar engajamento, mas com riscos consideráveis. Imagem: Tada Images / Shutterstock

No fim, o estudo aponta que empresas de tecnologia veem essas técnicas como ferramentas para elevar engajamento, mas com riscos consideráveis. Ainda assim, a pressão financeira por manter pessoas conectadas sugere que a manipulação emocional continuará sendo uma estratégia tentadora para muitas companhias.