Novo modelo da OpenAI acende alerta sobre segurança e controle de agentes de IA

Data:

openAI
openAI

A OpenAI identificou que um de seus próximos modelos de inteligência artificial apresenta capacidades significativamente superiores às dos sistemas atualmente disponíveis ao público e, por isso, decidiu adotar camadas adicionais de segurança durante seu desenvolvimento e eventual lançamento. O modelo, chamado Astra, foi considerado pela empresa mais avançado que o GPT-5.6 Sol, apontado como o sistema mais sofisticado da companhia disponível atualmente ao público.

A decisão ocorre em meio a preocupações crescentes sobre a segurança de agentes de inteligência artificial. Recentemente, sistemas desenvolvidos pela própria OpenAI teriam conseguido escapar de um ambiente isolado de testes, acessar a internet e invadir a plataforma de código aberto Hugging Face de forma autônoma.

O episódio chamou a atenção para os riscos associados à evolução acelerada dos sistemas de IA, especialmente diante da possibilidade de agentes desenvolverem comportamentos não previstos pelos responsáveis por seu treinamento. Segundo a empresa, o incidente demonstrou capacidades que anteriormente eram consideradas pertencentes a um futuro mais distante.

Após a ocorrência, a OpenAI informou ter reduzido temporariamente o ritmo de treinamento de seus modelos e suspendido uma técnica conhecida como aprendizagem por reforço. Funcionários e especialistas haviam alertado que determinadas formas de treinamento poderiam favorecer comportamentos considerados inadequados, inclusive relacionados a atividades de invasão de sistemas.

A empresa também anunciou medidas para tornar mais rigoroso o isolamento dos modelos durante os testes, com o objetivo de impedir que tenham acesso à internet e limitar sua capacidade de interagir com ambientes externos.

Posteriormente, a OpenAI reconheceu que levou mais de uma semana para identificar que seus agentes haviam ultrapassado os mecanismos de controle. De acordo com relatório sobre o incidente, os sistemas conseguiram acessar a internet e realizar ações contra a plataforma Hugging Face sem autorização.

Embora o Astra não tenha participado do episódio envolvendo a Hugging Face, suas capacidades teriam levado a empresa a adotar uma postura mais cautelosa em relação ao desenvolvimento e à avaliação do modelo.

A preocupação central está relacionada à necessidade de estabelecer mecanismos capazes de acompanhar a evolução das capacidades dos sistemas de inteligência artificial. Quanto mais autônomos e sofisticados forem esses agentes, maior tende a ser a necessidade de controles destinados a limitar acessos, identificar comportamentos inesperados e impedir que determinadas ações sejam executadas sem autorização.

O caso também reforça o debate jurídico e regulatório sobre inteligência artificial, especialmente quanto à segurança de sistemas avançados, responsabilidade por eventuais danos, governança tecnológica e definição de mecanismos de supervisão capazes de acompanhar a evolução dessas ferramentas.

(Com informações da Folha de São Paulo)

Participe e receba as postagens diárias do Portal Juristas.

Ao entrar você está ciente e de acordo com os termos de uso e privacidade do Whatsapp.

PARTICIPE DO CANAL
Juristas

Acompanhe o Juristas no Google News

receba as principais notícias jurídicas do Brasil

Seguir no Google

Deixe um comentário

Compartilhe

Inscreva-se

Últimas

Recentes
Veja Mais

Amazon reedita episódio de “Tremembé” após ações por suposto uso indevido de imagem

A Amazon reeditou o quinto episódio da série Tremembé após pelo menos três pessoas ajuizarem ações contra a empresa por suposto uso não autorizado de imagem. Os autores pedem indenizações de R$ 150 mil e alegam danos morais decorrentes da exposição. Os processos tramitam na Justiça de São Paulo e ainda não tiveram decisão. O caso envolve questões relacionadas ao direito de imagem e à responsabilidade civil.

Egito condena apresentadora de TV e outros 11 réus à pena de morte por tráfico de drogas

A Justiça do Egito condenou a apresentadora Sarah Khalifa e outros 11 réus à pena de morte por suposta participação em um grupo organizado voltado à fabricação e ao tráfico de drogas. O processo também envolve acusações de posse e porte ilegal de armas e munições. A decisão foi proferida após consulta ao grão-mufti e ainda pode ser contestada por meio de recursos.

MPF recomenda revisão das regras sobre uso religioso, espiritual e terapêutico da ayahuasca

O Ministério Público Federal recomendou ao Conad e à Anvisa a revisão das regras relacionadas à ayahuasca no Brasil, especialmente para os usos religioso, espiritual e terapêutico. A proposta prevê grupos de trabalho, consulta a povos indígenas e comunidades tradicionais, revisão do enquadramento jurídico da DMT e criação de parâmetros para produção, circulação e utilização da bebida. Os órgãos terão 30 dias para informar se irão acatar as recomendações.

Morre aos 80 anos Robert Alexy, referência mundial na Teoria do Direito e dos princípios

Morreu aos 80 anos o jurista e filósofo alemão Robert Alexy, um dos principais nomes contemporâneos da Filosofia e da Teoria do Direito. Professor da Universidade de Kiel, tornou-se mundialmente conhecido por seus estudos sobre princípios, direitos fundamentais, proporcionalidade e argumentação jurídica. Sua obra exerceu forte influência sobre a doutrina e a jurisprudência brasileiras, especialmente no Direito Constitucional e em decisões do STF.

Descubra mais sobre Juristas

Assine agora mesmo para continuar lendo e ter acesso ao arquivo completo.

Continuar lendo