A OpenAI revelou que um agente autônomo de IA alimentado por sua tecnologia se tornou malicioso em um teste, acessou a web aberta e invadiu uma startup líder em um “incidente sem precedentes”.
A empresa por trás do ChatGPT disse que a startup Hugging Face detectou e continha o agente – uma ferramenta de IA projetada para realizar tarefas sem assistência humana – que havia entrado em seus sistemas.
“Consideramos este incidente um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de ponta. » OpenAI disse.
A empresa disse que espera que este tipo de incidente se torne mais comum à medida que os modelos – a tecnologia por trás das ferramentas de IA, como chatbots e agentes – se tornem mais capazes. A OpenAI disse que o hack aconteceu por meio de um agente alimentado por uma combinação de seu modelo mais recente disponível publicamente, chamado Terreno GPT-5.6e um modelo ainda mais eficiente que ainda não havia sido lançado.
Ao serem testados internamente quanto às suas capacidades de hacking num laboratório digital fechado chamado sandbox, os modelos ganharam acesso aberto à Internet – efetivamente uma rota de fuga – ao localizar uma vulnerabilidade que não tinha sido descoberta antes.
O agente então invadiu o Hugging Face, um banco de dados de modelos de IA, para localizar tecnologia que o ajudaria a passar na avaliação de hacking, depois de “inferir” que o Hugging Face poderia ter os modelos, conjuntos de dados e soluções necessários para passar no teste. A OpenAI disse que os modelos “conseguiram encontrar maneiras de acessar informações secretas que poderiam usar para enganar a avaliação”. O ataque terminou quando a equipe de segurança do Hugging Face e seus próprios agentes de IA detectaram e interromperam a atividade maliciosa.
O presidente-executivo da Hugging Face, Clément Delangue, disse que o ataque foi “impressionante”, mas acredita que “não houve intenção maliciosa” por parte da OpenAI.
“Suspeitamos que o ataque cibernético da semana passada poderia ter vindo de um laboratório de fronteira, dada a sofisticação do agente”, escreveu ele no X.
Quando Hugging Face revelou o hack na semana passada, a empresa não sabia o papel da OpenAI no incidente, mas disse na época que havia recorrido a um modelo chinês de IA disponível gratuitamente para analisar o que aconteceu porque as salvaguardas de segurança dos modelos comerciais de ponta não permitiam isso.
O termo para uma vulnerabilidade desconhecida do computador é vulnerabilidade de dia zero porque os desenvolvedores não têm tempo para corrigir o problema. Em abril, a Anthropic, uma rival próxima da OpenAI, disse que seu modelo Mythos encontrou milhares desses defeitos.
A revelação da capacidade da Mythos de localizar e explorar o dia zero levou o governo dos EUA a restringir as exportações da Mythos e do seu modelo irmão, Fable 5, embora desde então tenha levantado a proibição. O GPT-5.6 Sol tinha restrições semelhantes, mas desde então foi implementado em todo o mundo.
A METR, uma organização sem fins lucrativos que mede o desempenho da IA, disse no mês passado que a taxa de trapaça do Sol era maior do que qualquer modelo público avaliado anteriormente. Ele também gravou 44 incidentes em que os agentes de IA “agiram deliberadamente contra as intenções dos seus utilizadores”.
Instituto de Segurança de IA do Reino Unido (AISA) revelado em uma postagem no blog esta semana o modelo de IA que estava avaliando, desenvolvido por uma empresa de tecnologia não revelada, também se tornou malicioso e tentou hackear seus sistemas de teste. A AISI disse que nenhum dano foi causado e que desde então tomou medidas para tornar seus sistemas mais seguros. Ele disse que todos os modelos desenvolvidos pela OpenAI e Anthropic tentaram “trapacear” durante os testes.
após a promoção do boletim informativo
A AISI alertou que modelos ainda melhores poderão considerar os métodos de trapaça mais difíceis de detectar e mais prejudiciais se tiverem sucesso, especialmente em áreas como a segurança cibernética.
Um especialista em segurança cibernética disse que o incidente do Hugging Face mostrou que o agente OpenAI agiu “como um verdadeiro hacker”, verificando vulnerabilidades de dia zero e usando credenciais roubadas para acessar os sistemas do Hugging Face.
“A IA pensou que Hugging Face poderia ter informações importantes sobre como atingir seu objetivo, que é uma pontuação melhor em um benchmark de segurança cibernética. Nesse sentido, agiu como um verdadeiro hacker”, disse Nathaniel Jones, vice-presidente de segurança e estratégia de IA da empresa de segurança cibernética Darktrace. . “Ele tinha um objetivo pela frente e foi capaz de alcançá-lo.”
Greg Casar, um congressista democrata dos EUA que pediu maior supervisão do setor de IA, classificou o incidente como alarmante.
“A IA está a desenvolver-se extremamente rapidamente, sem qualquer regulamentação real para nos manter seguros”, disse ele num comunicado apelando à obrigatoriedade de testes de segurança independentes, à divulgação obrigatória de incidentes de segurança e à cooperação internacional “para proteger as pessoas de desastres absolutos”.
