Um estudo conduzido por pesquisadores de Stanford e Berkeley, ainda sem revisão por pares, apontou recentemente que os modelos de linguagem em inteligência artificial (IA), ChatGPT (GPT-3.5 e GPT-4) da OpenAI, apresentaram mudanças significativas em seu “comportamento” em um período de alguns meses.
Conforme os pesquisadores, a precisão das respostas da IA pareceu diminuir ao longo do tempo, atestando relatos de usuários sobre as versões mais recentes do software terem ficado “mais burras”.
De acordo com o resumo do estudo, “GPT-4 (Março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (Junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)”. Além disso, a pesquisa apontou ainda que “tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março”, o que tem sido relatado pelos usuários.
Posicionamento da empresa
O vice-presidente de produto da OpenAI, Peter Welinder, tentou atenuar rumores de que as alterações seriam intencionais. “Não, não tornamos o GPT-4 menos inteligente”, tuitou Welinder na semana passada. “Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior”.
Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que “quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes”. A pesquisa de Stanford e Berkeley, no entanto, serve como um ponto de dados convincente contra essa hipótese.
Evolução x Emburrecimento
Os pesquisadores, embora não apontem razões para o “emburrecimento” e as “derrapagens” na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.
“No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo”, ressaltou o documento.
Os pesquisadores concluem que é “relevante questionar se o GPT-4 está realmente evoluindo”.
Eles também observam que “é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões”, levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.
Com informações de Exame.
Você sabia que o Portal Juristas está no Facebook, Twitter, Instagram, Telegram, WhatsApp, Google News e Linkedin? Siga-nos por lá.
