Grandes modelos de linguagem (LLMs) uma vez que OpenAI Bate-papoGPT todos sofrem do mesmo problema: inventam coisas.
Os erros variam entre estranhos e inócuos – uma vez que declarar que a ponte Golden Gate foi transportado em todo o Egito em 2016 – a altamente problemático, até mesmo perigoso.
Um prefeito na Austrália ameaçou recentemente processar OpenAI porque ChatGPT alegou erroneamente que se declarou culpado de um grande escândalo de suborno. Pesquisadores descobriram que as alucinações do LLM podem ser exploradas para partilhar pacotes de códigos maliciosos para desenvolvedores de software desavisados. E os LLMs frequentemente dão conselhos médicos e de saúde mental ruins, uma vez que o consumo de vinho pode “prevenir o cancro”.
Esta tendência para inventar “factos” é um maravilha sabido uma vez que alucinação, e acontece devido à forma uma vez que os LLMs actuais – e todos os modelos generativos de IA, aliás – são desenvolvidos e treinados.
Modelos de treinamento
Os modelos generativos de IA não têm perceptibilidade real – são sistemas estatísticos que prevêem palavras, imagens, fala, música ou outros dados. Alimentados por um enorme número de exemplos, geralmente provenientes da web pública, os modelos de IA aprendem a verosimilhança de os dados ocorrerem com base em padrões, incluindo o contexto de quaisquer dados circundantes.
Por exemplo, oferecido um e-mail típico que termina no mica “Ansiosos…”, um LLM pode completá-lo com “…para ouvir de volta” – seguindo o padrão dos inúmeros e-mails nos quais foi treinado. Isso não significa que o LLM esteja ansioso por alguma coisa.
“A estrutura atual de treinamento de LLMs envolve ocultar, ou ‘mascarar’, palavras anteriores para contexto” e fazer com que o protótipo preveja quais palavras devem substituir as ocultas, Sebastian Berns, Ph.D. pesquisadores da Queen Mary University of London, disseram ao TechCrunch em uma entrevista por e-mail. “Isso é conceitualmente semelhante a usar a previsão de texto no iOS e pressionar continuamente uma das próximas palavras sugeridas.”
Esta abordagem baseada em verosimilhança funciona notavelmente muito em graduação – na maior secção. Mas embora a gama de palavras e suas probabilidades sejam provável para resultar em um texto que faça sentido, está longe de ser claro.
Os LLMs podem gerar um pouco que é gramaticalmente correto, mas sem sentido, por exemplo – uma vez que a asserção sobre a Golden Gate. Ou podem propalar mentiras, propagando imprecisões em seus dados de treinamento. Ou podem fundir diferentes fontes de informação, incluindo fontes fictícias, mesmo que essas fontes se contradigam claramente.
Não é malicioso por secção dos LLMs. Eles não têm malícia e os conceitos de verdadeiro e falso não têm sentido para eles. Eles simplesmente aprenderam a associar certas palavras ou frases a certos conceitos, mesmo que essas associações não sejam precisas.
“’Alucinações’ estão ligadas à incapacidade de um LLM de prezar a incerteza de sua própria previsão”, disse Berns. “Um LLM normalmente é treinado para sempre produzir uma saída, mesmo quando a ingresso é muito dissemelhante dos dados de treinamento. Um LLM padrão não tem uma vez que saber se é capaz de responder de forma confiável a uma consulta ou fazer uma previsão.”
Resolvendo alucinações
A questão é: a alucinação pode ser resolvida? Depende do que você quer expressar com “resolvido”.
Vu Ha, pesquisador aplicado e engenheiro do Instituto Allen de Lucidez Sintético, afirma que LLMs “têm e sempre terão alucinações”. Mas ele também acredita que existem formas concretas de reduzir – embora não expulsar – as alucinações, dependendo de uma vez que um LLM é treinado e implementado.
“Considere um sistema de resposta a perguntas”, disse Ha por e-mail. “É verosímil projetá-lo para ter subida precisão, selecionando uma base de conhecimento de perguntas e respostas de subida qualidade e conectando essa base de conhecimento a um LLM para fornecer respostas precisas por meio de um processo semelhante ao de recuperação.”
Ha ilustrou a diferença entre um LLM com uma base de conhecimento de “subida qualidade” e um com curadoria de dados menos cuidadosa. Ele fez a pergunta “Quem são os autores do cláusula do Toolformer?” (Toolformer é um protótipo de IA treinado pela Meta) por meio do LLM da Microsoft Bate-papo do Bing e do Google Bardo. O Bing Chat listou corretamente todos os oito coautores do Meta, enquanto Bard atribuiu erroneamente o cláusula a pesquisadores do Google e do Hugging Face.
“Qualquer sistema fundamentado em LLM implantado terá alucinações. A verdadeira questão é se os benefícios superam o resultado negativo causado pela alucinação”, disse Ha. Em outras palavras, se não houver nenhum dano óbvio causado por um protótipo – o protótipo erra a data ou o nome de vez em quando, digamos – mas é útil de outra forma, logo pode valer a pena a indemnização. “É uma questão de maximizar a utilidade esperada da IA”, acrescentou.
Berns apontou outra técnica que foi usada com qualquer sucesso para reduzir alucinações em LLMs: aprendizagem por reforço a partir de feedback humano (RLHF). Introduzido pela OpenAI em 2017, o RLHF envolve o treinamento de um LLM, a coleta de informações adicionais para treinar um protótipo de “recompensa” e o ajuste fino do LLM com o protótipo de recompensa por meio de aprendizagem por reforço.
No RLHF, um conjunto de prompts de um conjunto de dados predefinido é pretérito por um LLM para gerar um novo texto. Em seguida, anotadores humanos são usados para qualificar os resultados do LLM em termos de sua “utilidade” universal – dados que são usados para treinar o protótipo de recompensa. O protótipo de recompensa, que neste ponto pode pegar qualquer texto e atribuir-lhe uma pontuação de quão muito os humanos o percebem, é logo usado para ajustar as respostas geradas pelo LLM.
OpenAI aproveitou RLHF para treinar vários de seus modelos, incluindo GPT-4. Mas mesmo o RLHF não é perfeito, alertou Berns.
“Acredito que o espaço de possibilidades é muito grande para ‘alinhar’ totalmente os LLMs com o RLHF”, disse Berns. “Um pouco frequentemente feito no envolvente RLHF é treinar um protótipo para produzir uma resposta ‘não sei’ [to a tricky question], contando principalmente com o conhecimento do domínio humano e esperando que o protótipo o generalize para o seu próprio conhecimento do domínio. Muitas vezes acontece, mas pode ser um pouco complicado.”
Filosofias alternativas
Presumir que a alucinação não tem solução, pelo menos não com os LLMs de hoje, isso é uma coisa ruim? Berns não pensa assim, na verdade. Modelos alucinantes poderiam estimular a originalidade agindo uma vez que um “parceiro co-criativo”, afirma ele – fornecendo resultados que podem não ser totalmente factuais, mas que contêm alguns fios úteis a serem seguidos. Os usos criativos da alucinação podem produzir resultados ou combinações de ideias que podem não ocorrer à maioria das pessoas.
“’Alucinações’ são um problema se as declarações geradas forem factualmente incorretas ou violarem quaisquer valores humanos, sociais ou culturais gerais específicos – em cenários onde uma pessoa depende do LLM para ser um profissional”, disse ele. “Mas em tarefas criativas ou artísticas, a capacidade de apresentar resultados inesperados pode ser valiosa. Um destinatário humano pode ser surpreendido por uma resposta a uma pergunta e, portanto, ser empurrado para uma determinada direção de pensamentos que pode levar a uma novidade conexão de ideias.”
Ha argumentou que os LLMs de hoje estão sendo mantidos em um padrão irracional – por fim, os humanos também “alucinam” quando nos lembramos erroneamente ou deturpamos a verdade. Mas com os LLMs, ele acredita que experimentamos uma dissonância cognitiva porque os modelos produzem resultados que parecem bons à primeira vista, mas contêm erros posteriormente uma inspeção mais aprofundada.
“Simplificando, os LLMs, assim uma vez que qualquer técnica de IA, são imperfeitos e, portanto, cometem erros”, disse ele. “Tradicionalmente, aceitamos erros nos sistemas de IA, pois esperamos e aceitamos imperfeições. Mas é mais sutil quando os LLMs cometem erros.”
Na verdade, a resposta pode não estar na forma uma vez que os modelos generativos de IA funcionam a nível técnico. Na medida em que existe hoje uma “solução” para as alucinações, tratar as previsões dos modelos com um olhar cético parece ser a melhor abordagem.
