LIG: Layer-wise Integrated Gradients for Within-Layer Flow Analysis in Transformers

Deep Learning no Escurinho: nova técnica escancara o raciocínio interno de modelos Transformer

Empresários e desenvolvedores brasileiros que trabalham com inteligência artificial, especialmente com modelos de linguagem como o BERT (base para muitas aplicações de chatbot e busca no Brasil), sabem que o desempenho é excepcional, mas o funcionamento interno é uma caixa-preta. Para o mundo dos negócios, confiar em um sistema que não se sabe como pensa é arriscado. Uma pesquisa recente, disponível em código aberto, propõe uma ferramenta de transparência chamada LIG (Layer-wise Integrated Gradients), que promete destrinchar, camada por camada, como esses modelos tomam decisões.

Imagine que cada Transformer é uma fábrica com várias máquinas (camadas). Dentro de cada máquina, há duas grandes engrenagens: a Atenção Multi-Cabeça (MHA) e a Rede Neural de Perceptrons de Múltiplas Camadas (MLP). Até agora, sabia-se que a fábrica funcionava, mas não se conseguia medir o quanto cada engrenagem contribuía para uma peça específica da saída. A LIG muda isso.

O que é Layer-wise Integrated Gradients (LIG)?

Os cientistas adaptaram uma técnica já conhecida de atribuição de crédito em modelos, chamada Integrated Gradients (IG), tradicionalmente usada para responder "por que essa imagem foi classificada como gato?". A inovação do LIG é aplicar o IG dentro de cada camada do Transformer, analisando as contribuições entre pares de "representações" (tokens) – que são como as peças de informação que passam pela fábrica.

De dentro para fora: como a LIG funciona

A LIG trata cada camada do Transformer como um grafo dinâmico: nós são os tokens de entrada e saída, e as arestas são as operações de Atenção e MLP. Para calcular a contribuição de cada token de entrada para cada token de saída, a técnica faz uma "viagem no tempo" matemática. Ela usa um ponto de partida (o que seria um token neutro, como a palavra `[SEP]`) e caminha em linha reta até a saída real. Ao longo desse caminho, ela acumula os gradientes – uma espécie de termômetro de influência.

A grande sacada é que o LIG aplica o IG em um "mapa de conjunto para conjunto": ele não pergunta apenas "o token A influencia a saída final?", mas "o token A influencia o token B dentro desta camada?". Para isso, eles usam uma técnica de "escalarização L2", que transforma a influência de todos os tokens de saída em um único número (a soma dos quadrados das influências), permitindo aplicar o IG tradicional e depois decompor o resultado.

Isso é feito nos limites das engrenagens: na saída da MHA e na saída da MLP. A técnica combina a precisão de decomposição do Layer-wise Relevance Propagation (LRP) – que garante que toda a importância seja distribuída – com a completude matemática do IG.

O que a LIG revelou sobre modelos como o BERT?

Os pesquisadores testaram a LIG no modelo BERT-base (popular para tarefas de classificação de texto e perguntas e respostas) e no conjunto de dados PTB (Penn Treebank). Os resultados trazem insights práticos para quem desenvolve ou opera esses sistemas:

• Consistência interna: A LIG conseguiu medir o quanto a soma das contribuições da primeira engrenagem (Atenção) e da segunda (MLP) corresponde à contribuição total da camada. As melhores configurações encontradas foram usar a representação do "token alvo" (o token de interesse) como ponto de partida para a Atenção, e a saída da Atenção com pesos zerados como ponto de partida para a MLP.
• Fluxo de informação: A técnica rastreia separadamente quanto cada token "absorve" da Atenção (relações entre palavras) e da MLP (processamento de informação não-linear). Por exemplo, em uma frase, a LIG mostra que um verbo recebe muita influência da Atenção dos substantivos ao redor, enquanto a MLP processa nuances semânticas.

Por que isso é relevante para o mercado brasileiro?

No Brasil, empresas de fintech, healthtech e jurídico-tech já usam modelos baseados em Transformer para analisar contratos, processar reclamações ou diagnosticar sintomas. A falta de explicabilidade é uma barreira regulatória – a LGPD (Lei Geral de Proteção de Dados) exige, em certos casos, explicações sobre decisões automatizadas.

Vantagens práticas da LIG

• Sem retreinamento: Ao contrário de outras técnicas que exigem modelos auxiliares, a LIG funciona com o modelo já treinado. Você não precisa parar a operação para entender o comportamento.
• Grão fino: Em vez de um relatório genérico ("o modelo olhou para as palavras X e Y"), a LIG mostra, para cada camada, quais tokens de entrada influenciaram cada token de saída – o que é ideal para auditória de pipelines de NLP complexos.
• Código aberto: O código está disponível no GitHub (link na pesquisa), facilitando a adoção por startups e departamentos de inovação.

Limitações e próximos passos

Para ser aplicado em produção, o custo computacional da LIG ainda é relevante: ele exige calcular múltiplos gradientes (integrais) para cada camada. No entanto, para auditorias pontuais (como validar se um modelo de crédito não está enviesado por palavras de gênero ou raça), o ganho em transparência compensa. A ferramenta não substitui a interpretabilidade de modelos mais simples, mas para quem precisa do poder dos Transformers, a LIG é uma janela para dentro da caixa-preta.

Com a regulação de IA avançando no Brasil (como o PL 2338/2023 no Congresso), ferramentas como a LIG serão cada vez mais requisitadas. A técnica prova que é possível obter explicações matematicamente rigorosas sem sacrificar a arquitetura complexa que dá aos Transformers sua força. Para o empresário, isso significa poder usar a melhor tecnologia disponível – e saber por que ela faz o que faz.