Pesquisadores de Stanford e Berkeley apontam que inteligência do ChatGPT diminuiu

Data:

Inteligência Artificial OpenAI ChatGPT para Advogados
Créditos: rokas91 / Depositphotos

Um estudo conduzido por pesquisadores de Stanford e Berkeley, ainda sem revisão por pares, apontou recentemente que os modelos de linguagem em inteligência artificial (IA), ChatGPT (GPT-3.5 e GPT-4) da OpenAI, apresentaram mudanças significativas em seu “comportamento” em um período de alguns meses.

Conforme os pesquisadores, a precisão das respostas da IA pareceu diminuir ao longo do tempo, atestando relatos de usuários sobre as versões mais recentes do software terem ficado “mais burras”.

De acordo com o resumo do estudo, “GPT-4 (Março de 2023) foi muito eficaz na identificação de números primos (precisão de 97,6%), mas o GPT-4 (Junho de 2023) apresentou desempenho muito inferior nas mesmas questões (precisão de 2,4%)”. Além disso, a pesquisa apontou ainda que “tanto o GPT-4 quanto o GPT-3.5 cometeram mais erros de formatação na geração de códigos em junho do que em março”, o que tem sido relatado pelos usuários.

Posicionamento da empresa

Inteligência Artificial - ChatGPT para Advogados
Créditos: [email protected] / Depositphotos

O vice-presidente de produto da OpenAI, Peter Welinder, tentou atenuar rumores de que as alterações seriam intencionais. “Não, não tornamos o GPT-4 menos inteligente”, tuitou Welinder na semana passada. “Muito pelo contrário: fazemos cada nova versão mais inteligente do que a anterior”.

Ele acrescentou que as mudanças na experiência do usuário poderiam ser resultado de uso contínuo, sugerindo que “quando você usa mais intensivamente o [ChatGPT], começa a perceber problemas que não via antes”. A pesquisa de Stanford e Berkeley, no entanto, serve como um ponto de dados convincente contra essa hipótese.

Evolução x Emburrecimento

Os pesquisadores, embora não apontem razões para o “emburrecimento” e as “derrapagens” na precisão e habilidade, observam que este pioramento comprovável ao longo do tempo desafia a insistência da OpenAI de que seus modelos estão, na verdade, melhorando.

Programa de Computador - Software
Créditos: peshkova / Depositphotos

“No estudo, observamos que o desempenho e o comportamento de ambos GPT-3.5 e GPT-4 variam significativamente entre esses dois lançamentos e que seu desempenho em algumas tarefas piorou substancialmente ao longo do tempo”, ressaltou o documento.

Os pesquisadores concluem que é “relevante questionar se o GPT-4 está realmente evoluindo”.

Eles também observam que “é importante saber se as atualizações do modelo destinadas a melhorar alguns aspectos na verdade prejudicam sua capacidade em outras dimensões”, levantando a possibilidade de que as rápidas atualizações da OpenAI possam estar causando mais prejuízos do que benefícios para o ChatGPT, já conhecido por suas imprecisões.

Com informações de Exame.


Você sabia que o Portal Juristas está no Facebook, Twitter, Instagram, Telegram, WhatsApp, Google News e Linkedin? Siga-nos por lá.

Participe e receba as postagens diárias do Portal Juristas.

Ao entrar você está ciente e de acordo com os termos de uso e privacidade do Whatsapp.

PARTICIPE DO CANAL
Juristas

Acompanhe o Juristas no Google News

receba as principais notícias jurídicas do Brasil

Seguir no Google
Ricardo Krusty
Ricardo Krusty
Comunicador social com formação em jornalismo e radialismo, pós-graduado em cinema pela Universidade Federal do Rio Grande do Norte (UFRN).

DEIXE UMA RESPOSTA

Compartilhe

Inscreva-se

Últimas

Recentes
Veja Mais

Anthropic, criadora do Claude movimenta bilhões em oferta de ações e estreia na Nasdaq

A Anthropic, empresa de inteligência artificial responsável pelo desenvolvimento...

CCJ do Senado aprova projeto que aumenta penas para motoristas que causarem mortes sob efeito de álcool ou drogas

A CCJ do Senado aprovou o PL 4.668/2020, que aumenta as penas para motoristas que causarem mortes ou lesões graves no trânsito sob efeito de álcool ou drogas. A punição por homicídio culposo passa para seis a dez anos de reclusão, enquanto a pena por lesão grave ou gravíssima será de três a seis anos. A proposta segue para a Câmara dos Deputados, caso não haja recurso.

STJ revoga prisão preventiva de réu não localizado mais de quatro anos após o crime

A Quinta Turma do Superior Tribunal de Justiça (STJ) revogou, por unanimidade, a prisão preventiva de um homem acusado de tentativa de homicídio qualificado. O colegiado entendeu que a ausência de localização do acusado para citação, mais de quatro anos após os fatos, não permite presumir automaticamente que ele tenha fugido da Justiça. Os ministros também identificaram erros nas premissas utilizadas para justificar a prisão, entre eles a afirmação de que teria ocorrido flagrante e posterior conversão em preventiva, o que não correspondia aos registros do processo. A decisão determinou a soltura, salvo se houvesse outra razão para a manutenção da custódia.

Trabalhadora é multada por apresentar atestado médico falso em processo trabalhista

Trabalhadora foi condenada a pagar multa de R$ 2 mil por litigância de má-fé após apresentar atestado médico falso para justificar sua ausência em audiência trabalhista. A unidade de saúde informou que não havia registro de atendimento na data indicada e que a médica mencionada no documento não possuía vínculo com a cooperativa responsável. A reclamação trabalhista também foi arquivada por falta de justificativa válida para o não comparecimento.

Descubra mais sobre Juristas

Assine agora mesmo para continuar lendo e ter acesso ao arquivo completo.

Continuar lendo