A discussão sobre as chamadas alucinações em modelos de linguagem, como o ChatGPT, está mais viva do que nunca. Recentemente, um estudo da OpenAI trouxe à tona questões relevantes sobre por que esses sistemas ainda geram informações incorretas, mesmo quando parecem tão seguros de sua própria precisão. É um dilema que merece nossa atenção, especialmente nós, que trabalhamos com a Arquitetura e Desenvolvimento de Software.
O que são alucinações em IA?
Alucinações, no contexto de modelos de linguagem, referem-se à capacidade desses sistemas de gerar declarações plausíveis, mas completamente falsas. A OpenAI identificou que, apesar dos avanços, este fenômeno continua sendo um grande desaío, e a realidade é que, talvez, nunca seja totalmente erradicado. Para ilustrar, os pesquisadores perguntaram a um chatbot sobre a tese de doutorado de Adam Tauman Kalai e recebeu três respostas diferentes, todas erradas. Como pode um sistema tão avançado ser tão incorreto?
A raiz do poblema
Segundo o estudo, a raiz dos erros está na forma como esses modelos são treinados. O foco está em prever a próxima palavra sem rotulações de verdadeiro ou falso nas afirmações de treinamento. Isso leva a um problema: enquanto padrões de linguagem são aprendidos, fatos específicos, como a data de aniversário de uma pessoa, não podem ser previstos apenas por padrões linguísticos. Assim, o que acontece? Alucinações!
Incentivos errados
A pesquisa também aponta que a forma como avaliamos esses modelos contribui para o problema. Avaliações que apenas medem a precisão incentivam os modelos a chutar respostas em vez de admitir quando não sabem. Isso é similar a uma prova de múltipla escolha: deixar uma questão em branco resulta em zero, enquanto chutar pode levar a um acerto. Portanto, como podemos esperar que esses modelos aprendam a ser mais cautelosos quando as avaliações não incentivam isso?
Uma proposta de mudança
Os pesquisadores sugerem que as avaliações de desempenho dos modelos precisam ser ajustadas. Em vez de apenas penalizar erros, deveriam levar em conta a incerteza. Isso poderia ser feito com um sistema de pontuação que desestimule adivinhações e ofereça pontuação parcial para expressões de incerteza. Se continuarmos a recompensar chutes, os modelos vão apenas aprender a chutar mais.
Dicas para desenvolvedores
Para nós, que estamos no dia a dia da tecnologia, aqui vão algumas dicas práticas para lidar com esses desafios:
- Revisar os dados de treinamento: Certifique-se de que seu conjunto de dados contém informações verificáveis e bem rotuladas. Isso pode ajudar a minimizar alucinações.
- Implementar sistemas de feedback: Crie um mecanismo em que o modelo possa aprender com suas respostas erradas, ajustando-se com o tempo.
- Testes de incerteza: Ao avaliar o modelo, inclua métricas que levem em conta a incerteza e não apenas a precisão.
Considerações finais
Por fim, a discussão sobre as alucinações em modelos de IA é um lembrete de que, como desenvolvedores, temos a responsabilidade de criar sistemas mais robustos e éticos. Precisamos repensar como treinamos e avaliamos esses modelos. Afinal, se continuarmos a dar incentivos errados, seremos nós mesmos a culpa por sua “confiança” em informações que não são verdadeiras. Vamos juntos, repensar isso e criar um futuro onde a IA possa realmente ser uma aliada.