O desenvolvimento da inteligência artificial continua a todo o vapor e os mais otimistas acreditam que a ferramenta estará presente em praticamente todos os setores em breve. Apesar desse potencial, existe um obstáculo para o aperfeiçoamento da tecnologia: as alucinações.

São consideradas alucinações as respostas dadas pela IA que não têm embasamento nos dados usados no treinamento das máquinas. Embora possam ser apresentadas de forma coerente, estas informações apresentam dados incorretos, tendenciosos ou completamente equivocados.

Explicação matemática para o problema

• Sabendo do problema, pesquisadores têm tentado encontrar formas de resolver isso.
• O último artigo de pesquisa da OpenAI fornece a explicação matemática mais precisa até agora para o motivo pelo qual as alucinações acontecem.
• A explicação é que a maneira como os modelos de linguagem respondem às consultas – prevendo uma palavra de cada vez em uma frase, com base em probabilidades – naturalmente produz os erros.
• Os pesquisadores afirmam a taxa de erro total para gerar frases é pelo menos duas vezes maior que a taxa de erro que a mesma IA teria em uma simples resposta de sim ou não.
• Dessa forma, os erros podem se acumular em várias previsões.
• Em outras palavras, quanto mais avançada foi a IA, mais ela poderá alucinar.

Leia mais

• ChatGPT é usado mais para questões pessoais do que de trabalho
• As decisões sobre o ChatGPT que tiram o sono de Sam Altman
• IAs: o poder da tecnologia cresceu, mas as alucinações também

Solução tornaria a IA ‘inútil’

Em artigo publicado no portal The Conversation, Wei Xing, professor da Universidade de Sheffield, na Inglaterra, discute a questão. Para ele, a estrutura matemática dos pesquisadores da OpenAI mostra que uma solução seria a IA começar a responder “não sei”. Isso reduziria as alucinações, mas também poderia tornar a ferramenta inútil.

Considere as implicações se o ChatGPT começasse a dizer “não sei” para até 30% das consultas – uma estimativa conservadora com base na análise do artigo da incerteza factual nos dados de treinamento. Os usuários acostumados a receber respostas confiáveis para praticamente qualquer pergunta provavelmente abandonariam esses sistemas rapidamente.

Wei Xing, professor da Universidade de Sheffield

Mas mesmo que o problema dos usuários que não gostam dessa incerteza possa ser superado, há um obstáculo maior: a economia computacional. Os modelos de linguagem sensíveis à incerteza exigem significativamente mais computação do que a abordagem atual, pois devem avaliar várias respostas possíveis e estimar os níveis de confiança. Para um sistema que processa milhões de consultas diariamente, isso se traduz em custos operacionais drasticamente mais altos.

Abordagens mais sofisticadas, como o aprendizado ativo, em que os sistemas de IA fazem perguntas esclarecedoras para reduzir a incerteza, podem melhorar a precisão, mas multiplicar ainda mais os requisitos computacionais. Esses métodos funcionam bem em domínios especializados, como design de chips, onde respostas erradas custam milhões de dólares e justificam computação extensiva. Para aplicativos de consumo em que os usuários esperam respostas instantâneas, a economia se torna proibitiva.

Wei Xing, professor da Universidade de Sheffield

A conclusão do especialista é que a forma como a inteligência artificial está sendo desenvolvida é a principal responsável pela criação do problema das alucinações. Caso todo o setor não perceba isso, os erros irão continuar.