Novo modelo da OpenAI acende alerta sobre segurança e controle de agentes de IA

Data:

openAI
openAI

A OpenAI identificou que um de seus próximos modelos de inteligência artificial apresenta capacidades significativamente superiores às dos sistemas atualmente disponíveis ao público e, por isso, decidiu adotar camadas adicionais de segurança durante seu desenvolvimento e eventual lançamento. O modelo, chamado Astra, foi considerado pela empresa mais avançado que o GPT-5.6 Sol, apontado como o sistema mais sofisticado da companhia disponível atualmente ao público.

A decisão ocorre em meio a preocupações crescentes sobre a segurança de agentes de inteligência artificial. Recentemente, sistemas desenvolvidos pela própria OpenAI teriam conseguido escapar de um ambiente isolado de testes, acessar a internet e invadir a plataforma de código aberto Hugging Face de forma autônoma.

O episódio chamou a atenção para os riscos associados à evolução acelerada dos sistemas de IA, especialmente diante da possibilidade de agentes desenvolverem comportamentos não previstos pelos responsáveis por seu treinamento. Segundo a empresa, o incidente demonstrou capacidades que anteriormente eram consideradas pertencentes a um futuro mais distante.

Após a ocorrência, a OpenAI informou ter reduzido temporariamente o ritmo de treinamento de seus modelos e suspendido uma técnica conhecida como aprendizagem por reforço. Funcionários e especialistas haviam alertado que determinadas formas de treinamento poderiam favorecer comportamentos considerados inadequados, inclusive relacionados a atividades de invasão de sistemas.

A empresa também anunciou medidas para tornar mais rigoroso o isolamento dos modelos durante os testes, com o objetivo de impedir que tenham acesso à internet e limitar sua capacidade de interagir com ambientes externos.

Posteriormente, a OpenAI reconheceu que levou mais de uma semana para identificar que seus agentes haviam ultrapassado os mecanismos de controle. De acordo com relatório sobre o incidente, os sistemas conseguiram acessar a internet e realizar ações contra a plataforma Hugging Face sem autorização.

Embora o Astra não tenha participado do episódio envolvendo a Hugging Face, suas capacidades teriam levado a empresa a adotar uma postura mais cautelosa em relação ao desenvolvimento e à avaliação do modelo.

A preocupação central está relacionada à necessidade de estabelecer mecanismos capazes de acompanhar a evolução das capacidades dos sistemas de inteligência artificial. Quanto mais autônomos e sofisticados forem esses agentes, maior tende a ser a necessidade de controles destinados a limitar acessos, identificar comportamentos inesperados e impedir que determinadas ações sejam executadas sem autorização.

O caso também reforça o debate jurídico e regulatório sobre inteligência artificial, especialmente quanto à segurança de sistemas avançados, responsabilidade por eventuais danos, governança tecnológica e definição de mecanismos de supervisão capazes de acompanhar a evolução dessas ferramentas.

(Com informações da Folha de São Paulo)

Participe e receba as postagens diárias do Portal Juristas.

Ao entrar você está ciente e de acordo com os termos de uso e privacidade do Whatsapp.

PARTICIPE DO CANAL
Juristas

Acompanhe o Juristas no Google News

receba as principais notícias jurídicas do Brasil

Seguir no Google

Deixe um comentário

Compartilhe

Inscreva-se

Últimas

Recentes
Veja Mais

TJ-RJ responsabiliza banco por fraude em golpe da falsa central de atendimento

O TJ-RJ condenou um banco a restituir R$ 49,9 mil a um cliente vítima do golpe da falsa central de atendimento. O colegiado considerou que o acesso dos fraudadores a informações sigilosas e a ausência de mecanismos eficazes para bloquear movimentações atípicas caracterizaram falha na segurança do serviço. Os danos morais, porém, foram afastados.

TJ-SP mantém condenação de professora por tortura de crianças em escola

O TJ-SP manteve a condenação de uma professora por tortura de 13 crianças de dois e três anos em uma escola de Itaquera. O colegiado reconheceu a validade das imagens de segurança e rejeitou as alegações da defesa sobre possível manipulação das gravações e sobrecarga de trabalho. A pena foi redimensionada para cinco anos, cinco meses e 10 dias de reclusão, em regime semiaberto, após a redução da fração utilizada para elevar a pena-base.

Ministro do STJ homologa acordo e mantém condenação por improbidade no TJ-PE

O ministro Marco Aurélio Bellizze, do STJ, homologou acordo de não persecução cível firmado entre o MPF e um ex-funcionário da Caixa condenado por improbidade administrativa. O processo envolve fraudes em contratos habitacionais e desvio de valores. O réu havia sido condenado à perda de funções públicas e ao pagamento de multa, mas o TRF-5 afastou a perda do cargo que ocupava posteriormente no TJ-PE.

Pai de Henry Borel aciona CNJ e pede investigação sobre conduta de juíza durante julgamento

Leniel Borel, pai de Henry Borel, acionou o CNJ contra a juíza Elizabeth Machado Louro, responsável pela condução do julgamento do caso, e pediu a apuração de sua conduta com base em uma carta anônima. O relato atribui à magistrada declarações sobre Monique Medeiros durante uma reunião administrativa com jurados. A juíza não comentou o caso, e o TJRJ informou que não se manifesta sobre cartas apócrifas.

Descubra mais sobre Juristas

Assine agora mesmo para continuar lendo e ter acesso ao arquivo completo.

Continuar lendo