Um nicho onde a Anthropic gasta mais tempo e dinheiro do que outras empresas de IA é chamado de explicabilidade mecânica, o que significa aprofundar a matemática complexa de um modelo de IA para entender por que ele produz um resultado específico e não outro. É uma coisa complicada; existem milhões de pontos de dados que podem contribuir para qualquer resultado, e percorrê-los pode parecer mais uma salada de palavras do que qualquer coisa útil. Isto também é controverso. Descrever modelos de IA em termos emprestados da psicologia e da neurociência pode fazer com que o seu comportamento pareça mais complexo do que poderíamos imaginar.
É por isso que tive de falar com um colega quando a Anthropic anunciou na semana passada que tinha encontrado uma nova janela para os “pensamentos íntimos” dos modelos à medida que raciocinam através das suas respostas. Além de ter doutorado em ciência da computação, o editor sênior Will Douglas Heaven passou muito tempo investigando como funcionam os modelos de inteligência artificial. Discuti com ele o que deveríamos tirar da nova (e previsivelmente estranha) pesquisa da Anthropic.
O que exatamente a Antrópica aprendeu aqui?
Há vários anos, a Anthropic vem tentando entender como funcionam os grandes modelos de linguagem (LLMs). A Anthropic não é a única empresa focada nessa questão, mas acho que a empresa faz disso parte de sua missão principal melhor do que a maioria. Dario Amodei, presidente-executivo da Anthropic, disse que não seremos capazes de controlar totalmente o LL.M. a menos que entendamos melhor como funciona.
Portanto, é neste contexto que este novo estudo foi conduzido. Ele se aprofunda mais do que nunca na estranha mecânica do LL.M. A Anthropic aprendeu que existe um espaço dentro do LLM (a Anthropic o chama de espaço J) que está cheio de palavras que não aparecem em sua saída, mas parecem afetar a maneira como elas resolvem problemas. Tudo isso ficou escondido até que a Anthropic desenvolveu uma nova tecnologia para detectar seu modelo Cloud, então esta é uma verdadeira descoberta.
Às vezes, essas palavras acompanham o progresso do LLM em uma tarefa específica, às vezes parecem mais flashes de reconhecimento (por exemplo, “proteína” pode aparecer quando você fornece ao LLM apenas as letras de uma sequência de proteína) e às vezes representam uma espécie de comentário interno sobre as decisões do modelo. No meu exemplo favorito, quando surge a palavra “pânico”, Claude decide colar em um teste de codificação.
A Anthropic também descobriu que os LL.M.s eram capazes de descrever e manipular palavras neste espaço. Então, eles parecem estar aproveitando isso até certo ponto.
Vamos dar um passo para trás. Não creio que grandes padrões de linguagem sejam simplesmas também não são mágicos. Há muita matemática para aprender sobre as relações entre as palavras, certo? Então, por que é tão difícil “bisbilhotar” o LL.M. para descobrir o que está acontecendo?
