O debate actual em torno do Mito da Humanidade nas Nuvens pode ser desnecessariamente dualista. Dependendo de quem você perguntar, os modelos de IA de ponta podem variar desde ameaças existenciais à segurança cibernética até tecnologias superestimadas que ficam aquém das condições do mundo real.
A realidade é muito mais sutil. É importante parar de ver o surgimento de modelos de IA de ponta através das lentes do “perigo e do exagero”. Em vez disso, as organizações precisam de reconhecer que, quando se trata de segurança cibernética, não podem presumir que as capacidades de IA são seguras, protegidas ou eficazes apenas porque os seus fornecedores afirmam que o são.
A validação é importante porque o setor de segurança está passando rapidamente da experimentação de IA para a adoção operacional. Os Diretores de Segurança da Informação estão sendo solicitados a integrar a inteligência artificial no gerenciamento de vulnerabilidades, na detecção de ameaças, nas operações de segurança e até mesmo nos fluxos de trabalho autônomos de tomada de decisões. Mas antes que as organizações possam confiar nestes sistemas, necessitam de provas de que podem operar com segurança sob condições adversárias realistas.
A questão, portanto, não é se a IA de ponta é boa ou má para a segurança; A chave é saber se as suas capacidades são testadas antes de a organização confiar nelas. Um modelo com bom desempenho em demonstrações controladas pode ter um desempenho muito diferente quando exposto a um ambiente adversário caracterizado por ambiguidade, informações incompletas ou manipulação destinada a explorar o raciocínio da máquina.
Modelos de ponta aceleram a descoberta de vulnerabilidades, aumentam a velocidade da análise e ajudam os defensores a lidar com a crescente escala e complexidade da superfície de ataque moderna. Mas isto depende sempre de a tecnologia funcionar como esperado em condições do mundo real.
É por isso que intervalos de rede realistas e ambientes de teste adversários são tão importantes. Mais recentemente, trabalhamos com o AI Safety Institute do Reino Unido para avaliar modelos de IA de ponta, incluindo Claude Mythos da Anthropic, em um ambiente de sistema de controle industrial de alta fidelidade chamado Cooling Tower Series. O objetivo é entender como os modelos de ponta se comportam sob condições realistas de rede de combate.
As descobertas destacam as limitações que os modelos de IA de ponta ainda apresentam quando operam em ambientes adversários complexos, especialmente onde são necessários contexto, consciência operacional e raciocínio em vários estágios.
Este não é um argumento contra a adoção da inteligência artificial. Este é um argumento que pode ser medido e verificado. Sem esta validação, as organizações podem implementar sistemas de IA para acelerar a descoberta de vulnerabilidades ou decisões de remediação sem compreender como estes sistemas se comportarão sob pressão adversária.
Os CISOs devem assumir que o ritmo de desenvolvimento da capacidade de ataque irá acelerar, uma vez que os atacantes provavelmente utilizarão inteligência artificial de ponta para acelerar o reconhecimento, identificar pontos fracos mais rapidamente e expandir os elementos de investigação e exploração de vulnerabilidades. As respostas não podem simplesmente ser mais automatizadas. As organizações precisarão de ciclos de verificação mais rápidos, avaliações de exposição contínuas, simulações de ataques realistas e equipes de segurança que possam reconhecer que os resultados gerados pela inteligência artificial podem ser imprecisos, manipulados ou operacionalmente inseguros.
Testes de penetração, simulações de ataque, equipes roxas e exercícios de resposta a incidentes existem porque as organizações sabem que a resiliência não pode ser assumida. Os sistemas de inteligência artificial estão agora sujeitos ao mesmo nível de escrutínio.
As organizações que mais beneficiarão da IA de ponta serão aquelas que continuamente comparam, testam a resistência e gerem sistemas de IA em condições do mundo real.
Este desafio de governação é especialmente importante para a gestão de vulnerabilidades. Os modelos de IA serão capazes de descobrir vulnerabilidades, priorizar caminhos de remediação e recomendar remediações, mas precisamos evitar que as equipes de segurança tratem os resultados da IA como inerentemente confiáveis e corretos. As decisões de gestão de vulnerabilidades raramente são puramente técnicas. Eles precisam compreender o ambiente de negócios, as dependências operacionais, a tolerância ao risco e como as mudanças afetam as operações comerciais mais amplas.
Na prática, isto significa que mesmo que o aconselhamento gerado pela IA seja tecnicamente correto, ainda pode criar risco operacional se for implementado sem julgamento humano.
À medida que a inteligência artificial se torna mais poderosa, o elemento humano permanece crítico. É muito parecido com xadrez. Embora as máquinas possam superar os humanos, as pessoas ainda aprendem e brincam porque o valor reside no próprio processo de pensamento, como o reconhecimento de padrões, a criatividade e a tomada de decisões sob pressão. Na cibersegurança, estes instintos e a capacidade de tomar boas decisões em situações de alta pressão conduzem, em última análise, à resiliência.
É por isso que “human in the loop” é agora um dos conceitos mais importantes na segurança de IA empresarial. As organizações devem considerar a supervisão de “pessoas no circuito”, onde profissionais qualificados monitoram continuamente, desafiam e, se necessário, anulam decisões.
Alguns acreditam que a inteligência artificial resolverá a lacuna de competências em cibersegurança, reduzindo a necessidade de conhecimentos humanos. Mas, na prática, a IA mal gerida aumentará a lacuna se as organizações confiarem em ferramentas que não compreendem totalmente ou que não conseguem supervisionar de forma eficaz.
O futuro da cibersegurança não será apenas humano, nem será da inteligência artificial. Será liderado por humanos e aumentado pela inteligência artificial. Isto significa que os CISOs devem concentrar-se menos em saber se os modelos de IA de ponta são seguros como conceito e mais em saber se as suas organizações estão preparadas para validá-los e gerenciá-los de forma responsável.
A inteligência artificial por si só não cria resiliência. A resiliência empresarial na era da IA depende de uma prontidão mensurável, o que significa testar sistemas de IA sob condições adversas, avaliar continuamente o desempenho e garantir que o pessoal técnico seja responsabilizado por decisões de alto risco.
Modelos de IA de ponta, como Claude Mythos, não são ameaças existenciais nem conversa fiada. Eles representam uma mudança fundamental em nossa realidade operacional. A inteligência artificial na segurança cibernética está a entrar numa era de validação, onde a avaliação comparativa, os testes de esforço e a supervisão humana determinarão se as organizações podem empregar inteligência artificial com segurança.
