Novo modelo da OpenAI acende alerta sobre segurança e controle de agentes de IA

Data:

openAI
openAI

A OpenAI identificou que um de seus próximos modelos de inteligência artificial apresenta capacidades significativamente superiores às dos sistemas atualmente disponíveis ao público e, por isso, decidiu adotar camadas adicionais de segurança durante seu desenvolvimento e eventual lançamento. O modelo, chamado Astra, foi considerado pela empresa mais avançado que o GPT-5.6 Sol, apontado como o sistema mais sofisticado da companhia disponível atualmente ao público.

A decisão ocorre em meio a preocupações crescentes sobre a segurança de agentes de inteligência artificial. Recentemente, sistemas desenvolvidos pela própria OpenAI teriam conseguido escapar de um ambiente isolado de testes, acessar a internet e invadir a plataforma de código aberto Hugging Face de forma autônoma.

O episódio chamou a atenção para os riscos associados à evolução acelerada dos sistemas de IA, especialmente diante da possibilidade de agentes desenvolverem comportamentos não previstos pelos responsáveis por seu treinamento. Segundo a empresa, o incidente demonstrou capacidades que anteriormente eram consideradas pertencentes a um futuro mais distante.

Após a ocorrência, a OpenAI informou ter reduzido temporariamente o ritmo de treinamento de seus modelos e suspendido uma técnica conhecida como aprendizagem por reforço. Funcionários e especialistas haviam alertado que determinadas formas de treinamento poderiam favorecer comportamentos considerados inadequados, inclusive relacionados a atividades de invasão de sistemas.

A empresa também anunciou medidas para tornar mais rigoroso o isolamento dos modelos durante os testes, com o objetivo de impedir que tenham acesso à internet e limitar sua capacidade de interagir com ambientes externos.

Posteriormente, a OpenAI reconheceu que levou mais de uma semana para identificar que seus agentes haviam ultrapassado os mecanismos de controle. De acordo com relatório sobre o incidente, os sistemas conseguiram acessar a internet e realizar ações contra a plataforma Hugging Face sem autorização.

Embora o Astra não tenha participado do episódio envolvendo a Hugging Face, suas capacidades teriam levado a empresa a adotar uma postura mais cautelosa em relação ao desenvolvimento e à avaliação do modelo.

A preocupação central está relacionada à necessidade de estabelecer mecanismos capazes de acompanhar a evolução das capacidades dos sistemas de inteligência artificial. Quanto mais autônomos e sofisticados forem esses agentes, maior tende a ser a necessidade de controles destinados a limitar acessos, identificar comportamentos inesperados e impedir que determinadas ações sejam executadas sem autorização.

O caso também reforça o debate jurídico e regulatório sobre inteligência artificial, especialmente quanto à segurança de sistemas avançados, responsabilidade por eventuais danos, governança tecnológica e definição de mecanismos de supervisão capazes de acompanhar a evolução dessas ferramentas.

(Com informações da Folha de São Paulo)

Participe e receba as postagens diárias do Portal Juristas.

Ao entrar você está ciente e de acordo com os termos de uso e privacidade do Whatsapp.

PARTICIPE DO CANAL
Juristas

Acompanhe o Juristas no Google News

receba as principais notícias jurídicas do Brasil

Seguir no Google

DEIXE UMA RESPOSTA

Compartilhe

Inscreva-se

Últimas

Recentes
Veja Mais

CCJ do Senado aprova projeto que aumenta penas para motoristas que causarem mortes sob efeito de álcool ou drogas

A CCJ do Senado aprovou o PL 4.668/2020, que aumenta as penas para motoristas que causarem mortes ou lesões graves no trânsito sob efeito de álcool ou drogas. A punição por homicídio culposo passa para seis a dez anos de reclusão, enquanto a pena por lesão grave ou gravíssima será de três a seis anos. A proposta segue para a Câmara dos Deputados, caso não haja recurso.

STJ revoga prisão preventiva de réu não localizado mais de quatro anos após o crime

A Quinta Turma do Superior Tribunal de Justiça (STJ) revogou, por unanimidade, a prisão preventiva de um homem acusado de tentativa de homicídio qualificado. O colegiado entendeu que a ausência de localização do acusado para citação, mais de quatro anos após os fatos, não permite presumir automaticamente que ele tenha fugido da Justiça. Os ministros também identificaram erros nas premissas utilizadas para justificar a prisão, entre eles a afirmação de que teria ocorrido flagrante e posterior conversão em preventiva, o que não correspondia aos registros do processo. A decisão determinou a soltura, salvo se houvesse outra razão para a manutenção da custódia.

Trabalhadora é multada por apresentar atestado médico falso em processo trabalhista

Trabalhadora foi condenada a pagar multa de R$ 2 mil por litigância de má-fé após apresentar atestado médico falso para justificar sua ausência em audiência trabalhista. A unidade de saúde informou que não havia registro de atendimento na data indicada e que a médica mencionada no documento não possuía vínculo com a cooperativa responsável. A reclamação trabalhista também foi arquivada por falta de justificativa válida para o não comparecimento.

STJ suspende decisões judiciais sobre programa Passe para Motoristas da Uber

O ministro Raul Araújo, do Superior Tribunal de Justiça (STJ), concedeu liminar para suspender o andamento de três processos judiciais relacionados ao programa Passe para Motoristas, da Uber, além dos efeitos das decisões proferidas nessas ações. A medida também suspende os efeitos da decisão da Justiça do Trabalho que havia determinado a interrupção nacional de novas adesões, cobranças e renovações do programa. A providência busca evitar decisões judiciais conflitantes enquanto o STJ define se a competência para julgar as controvérsias é da Justiça comum ou da Justiça do Trabalho. A decisão é provisória e não representa julgamento definitivo sobre a legalidade do programa.

Descubra mais sobre Juristas

Assine agora mesmo para continuar lendo e ter acesso ao arquivo completo.

Continuar lendo