Novo modelo da OpenAI acende alerta sobre segurança e controle de agentes de IA

Data:

openAI
openAI

A OpenAI identificou que um de seus próximos modelos de inteligência artificial apresenta capacidades significativamente superiores às dos sistemas atualmente disponíveis ao público e, por isso, decidiu adotar camadas adicionais de segurança durante seu desenvolvimento e eventual lançamento. O modelo, chamado Astra, foi considerado pela empresa mais avançado que o GPT-5.6 Sol, apontado como o sistema mais sofisticado da companhia disponível atualmente ao público.

A decisão ocorre em meio a preocupações crescentes sobre a segurança de agentes de inteligência artificial. Recentemente, sistemas desenvolvidos pela própria OpenAI teriam conseguido escapar de um ambiente isolado de testes, acessar a internet e invadir a plataforma de código aberto Hugging Face de forma autônoma.

O episódio chamou a atenção para os riscos associados à evolução acelerada dos sistemas de IA, especialmente diante da possibilidade de agentes desenvolverem comportamentos não previstos pelos responsáveis por seu treinamento. Segundo a empresa, o incidente demonstrou capacidades que anteriormente eram consideradas pertencentes a um futuro mais distante.

Após a ocorrência, a OpenAI informou ter reduzido temporariamente o ritmo de treinamento de seus modelos e suspendido uma técnica conhecida como aprendizagem por reforço. Funcionários e especialistas haviam alertado que determinadas formas de treinamento poderiam favorecer comportamentos considerados inadequados, inclusive relacionados a atividades de invasão de sistemas.

A empresa também anunciou medidas para tornar mais rigoroso o isolamento dos modelos durante os testes, com o objetivo de impedir que tenham acesso à internet e limitar sua capacidade de interagir com ambientes externos.

Posteriormente, a OpenAI reconheceu que levou mais de uma semana para identificar que seus agentes haviam ultrapassado os mecanismos de controle. De acordo com relatório sobre o incidente, os sistemas conseguiram acessar a internet e realizar ações contra a plataforma Hugging Face sem autorização.

Embora o Astra não tenha participado do episódio envolvendo a Hugging Face, suas capacidades teriam levado a empresa a adotar uma postura mais cautelosa em relação ao desenvolvimento e à avaliação do modelo.

A preocupação central está relacionada à necessidade de estabelecer mecanismos capazes de acompanhar a evolução das capacidades dos sistemas de inteligência artificial. Quanto mais autônomos e sofisticados forem esses agentes, maior tende a ser a necessidade de controles destinados a limitar acessos, identificar comportamentos inesperados e impedir que determinadas ações sejam executadas sem autorização.

O caso também reforça o debate jurídico e regulatório sobre inteligência artificial, especialmente quanto à segurança de sistemas avançados, responsabilidade por eventuais danos, governança tecnológica e definição de mecanismos de supervisão capazes de acompanhar a evolução dessas ferramentas.

(Com informações da Folha de São Paulo)

Participe e receba as postagens diárias do Portal Juristas.

Ao entrar você está ciente e de acordo com os termos de uso e privacidade do Whatsapp.

PARTICIPE DO CANAL
Juristas

Acompanhe o Juristas no Google News

receba as principais notícias jurídicas do Brasil

Seguir no Google

Deixe um comentário

Compartilhe

Inscreva-se

Últimas

Recentes
Veja Mais

Defesa de Daniel Vorcaro aponta alterações em arquivos de celular apreendido pela Polícia Federal

A defesa de Daniel Vorcaro apresentou ao STF um laudo particular que identificou alterações em 657 arquivos e a criação de outros 436 no celular do empresário enquanto o aparelho estava sob custódia da Polícia Federal. O documento questiona procedimentos de preservação e extração de provas digitais e fundamenta o pedido de acesso aos dados originais do dispositivo.

Justiça nega pedido de Willer Tomaz para obrigar Richarlison a apagar publicações sobre ilha

A Justiça de Brasília negou pedido de Willer Tomaz e da empresa WT Administração de Imóveis e Bens para obrigar Richarlison a apagar publicações sobre a disputa por uma ilha em Angra dos Reis. O processo continua em andamento.

Maior corretora de criptomoedas do mundo sofre invasão e perde bilhões

A Binance sofreu um ataque hacker que resultou no desvio estimado de US$ 6,3 bilhões em criptomoedas. A corretora suspendeu temporariamente os saques, afirmou que os recursos dos clientes estão protegidos e prometeu cobrir os prejuízos. Empresas do setor conseguiram bloquear parte dos ativos, enquanto as investigações sobre a autoria do ataque continuam.

Presidente do TRF-1 decide em processo envolvendo empresa representada pela própria filha

A presidente do Tribunal Regional Federal da 1ª Região...

Descubra mais sobre Juristas

Assine agora mesmo para continuar lendo e ter acesso ao arquivo completo.

Continuar lendo