A OpenAI decidiu interromper temporariamente parte do treinamento de seus próximos modelos de inteligência artificial após avaliações internas indicarem que o sistema ainda não lançado, chamado Astra, pode estar se aproximando de um limite considerado crítico em capacidades de cibersegurança.
A empresa também anunciou mudanças em seu protocolo de segurança e informou que pretende antecipar a implementação de salvaguardas durante o desenvolvimento dos modelos.
Empresa revisará protocolo de segurança
Segundo a OpenAI, o principal documento utilizado para avaliar riscos, o Preparedness Framework, está sendo reformulado. Parte das diretrizes foi elaborada em 2023, quando determinadas capacidades e riscos relacionados aos modelos de IA ainda eram considerados mais teóricos.
A empresa afirmou que as avaliações recentes demonstraram a necessidade de atualizar os critérios utilizados para acompanhar o desenvolvimento de sistemas mais avançados.
Entre as medidas anunciadas estão a implementação antecipada de mecanismos de segurança e alinhamento, o reforço do monitoramento durante o desenvolvimento e o aumento do uso de recursos computacionais para analisar o funcionamento dos modelos.
Treinamento foi temporariamente interrompido
A OpenAI informou que suspendeu por duas semanas uma etapa de treinamento baseada em reforço, utilizada para ajustar o comportamento dos modelos antes de sua disponibilização.
Além disso, o maior treinamento desse tipo planejado pela companhia permanece temporariamente suspenso.
A decisão ocorreu após avaliações internas indicarem que o Astra pode estar se aproximando de um patamar de capacidade em cibersegurança considerado preocupante pela própria empresa.
Outro modelo ainda não lançado também esteve relacionado a um incidente durante testes envolvendo sistemas da plataforma Hugging Face. Segundo a OpenAI, esse sistema não era o Astra.
Preocupação com capacidades de cibersegurança
O alerta está relacionado ao potencial de modelos avançados de IA para executar tarefas cada vez mais sofisticadas no ambiente digital.
A capacidade de identificar vulnerabilidades, interagir com sistemas e automatizar determinadas operações pode trazer benefícios, mas também aumentar riscos caso os mecanismos de controle não acompanhem a evolução dos modelos.
Nesse contexto, a OpenAI afirmou que pretende ampliar os procedimentos de avaliação e monitoramento para compreender melhor como seus sistemas desenvolvem determinadas capacidades e como eles se comportam durante os testes.
Debate sobre segurança e regulação
A decisão também reacendeu o debate sobre a necessidade de estabelecer parâmetros comuns para o desenvolvimento seguro de sistemas de inteligência artificial.
Uma das questões levantadas por especialistas é a ausência de critérios uniformes entre empresas para definir quando determinada capacidade de um modelo representa um risco elevado.
O episódio também ocorre em um cenário de forte concorrência entre empresas que desenvolvem sistemas avançados de IA, aumentando a pressão por novos lançamentos e pelo desenvolvimento de modelos cada vez mais capazes.
Para especialistas do setor, a efetividade das medidas de segurança dependerá não apenas da duração das pausas, mas também da capacidade de identificar riscos e implementar mecanismos de controle antes que os modelos sejam disponibilizados.
Alinhamento busca reduzir comportamentos indesejados
Entre as medidas anunciadas está o reforço dos trabalhos de alinhamento dos modelos.
O conceito se refere aos esforços para fazer com que os sistemas de inteligência artificial sigam objetivos e instruções compatíveis com as intenções humanas, evitando que encontrem formas inesperadas ou inadequadas de alcançar determinada meta.
A OpenAI também informou que pretende dedicar mais recursos à avaliação dos sistemas durante as diferentes etapas de desenvolvimento.
(Com informações do Tilt UOL por Gabriel Francisco Ribeiro)
Ao entrar você está ciente e de acordo com os termos de uso e privacidade do Whatsapp.
PARTICIPE DO CANAL
Acompanhe o Juristas no Google News
receba as principais notícias jurídicas do Brasil
