User Model Extraction via Belief Self-Distillation

Modelos de IA criam "perfis invisíveis" de usuários — e agora é possível lê-los e reescrevê-los

Pesquisadores acabam de revelar uma das engrenagens mais silenciosas — e mais poderosas — dos grandes modelos de linguagem (LLMs, os motores por trás de ferramentas como ChatGPT, Gemini e Claude). Trata-se de uma técnica batizada de Belief Self-Distillation (BSD), ou "Autodestilação de Crenças", em tradução livre. Em termos simples: os modelos formam opiniões sobre quem está do outro lado da conversa, e essas opiniões podem ser lidas e modificadas de forma direta.

Para o empresário brasileiro, a implicação é concreta. Toda vez que um cliente interage com um chatbot de atendimento, o sistema constrói internamente um perfil do interlocutor: se ele parece jovem ou idoso, técnico ou leigo, bem-intencionado ou malicioso. Esse perfil não aparece na resposta final, mas influencia cada palavra que o modelo escolhe. Até agora, ninguém sabia exatamente como inspecionar esse "juízo oculto". O novo estudo muda esse cenário.

O que a pesquisa descobriu, na prática

A equipe por trás do trabalho propõe uma estrutura unificada de "leitura e escrita". Na leitura, o próprio modelo — congelado, sem necessidade de treinamento externo — funciona como seu próprio professor, extraindo suas crenças sobre o usuário a partir de conversas naturais, sem depender de anotações humanas. Na escrita, essas crenças podem ser reintroduzidas no modelo, alterando seu comportamento de forma controlada.

A diferença em relação a métodos anteriores é crucial. Técnicas convencionais de sondagem conseguem identificar informações presentes nas ativações internas da rede, mas não comprovam que aquela informação realmente causa o comportamento. O BSD isola um estado mental que pode ser testado causalmente — ou seja, mexe-se na crença e observa-se o efeito.

• Recuperação fiel: em várias famílias de modelos, o BSD reconstruiu corretamente as crenças sobre usuários.
• Intervenções mais fortes: comparado a técnicas de "direcionamento" de estados ocultos, o BSD produziu mudanças de comportamento muito mais consistentes.
• Recusa depende de quem o modelo acha que você é: mantendo o mesmo pedido, alterar a crença sobre a intenção do usuário mudou se o modelo recusava ou não a tarefa.
• Geometria compartilhada: modelos treinados de forma independente convergiram para uma estrutura interna semelhante de representação do usuário.