LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws

Lei de Shannon: Nova Teoria Explica Por Que Grandes Modelos de IA Podem Regredir

Empresários e líderes de tecnologia brasileiros já sabem que escalar modelos de linguagem (LLMs) não é mais uma questão de simplesmente "jogar mais dados e mais poder computacional" para obter resultados melhores. Fenômenos recentes, como o chamado "overtraining catastrófico" e a degradação por quantização, mostram cenários preocupantes: um modelo pode piorar seu desempenho mesmo com mais treinamento ou mais parâmetros.

As leis de escalonamento tradicionais, que previam uma melhoria contínua com o aumento de recursos, falham ao explicar esses casos de "curva em U", onde o desempenho sobe, atinge um pico e depois despenca. Um novo estudo propõe uma solução revolucionária para esse enigma: a Lei de Escalonamento de Shannon, uma estrutura teórica que trata o treinamento de um LLM como a transmissão de informação por um canal ruidoso.

O que é a Lei de Escalonamento de Shannon?

A inspiração vem de Claude Shannon, o pai da teoria da informação. O princípio básico é que todo canal de comunicação tem uma capacidade máxima de transmissão de dados. Se você tentar enviar mais informações do que essa capacidade suporta, o sinal se perde e os erros (ruído) dominam.

No contexto dos LLMs, a equipe de pesquisadores propôs uma analogia precisa:

• Parâmetros do modelo (tamanho do modelo) = largura de banda do canal.
• Tokens de treinamento (dados) = potência do sinal.
• Ruído intrínseco = erros inevitáveis no processo de aprendizado, como dados mal rotulados, quantização (compressão do modelo) e outros artefatos.

A partir dessa analogia, eles aplicam o Teorema de Shannon-Hartley, que define a capacidade máxima de um canal. A conclusão é clara e impactante: existe um limite fundamental de capacidade para cada LLM. Simplesmente aumentar o modelo (largura de banda) ou os dados (potência do sinal) sem manter uma relação sinal-ruído (SNR) suficiente inevitavelmente amplifica o ruído, transformando a evolução monotônica (sempre melhor) em uma degradação em forma de "U".

Como a Teoria Explica os Fenômenos Recentes?

Dois dos problemas mais discutidos no setor ganham uma explicação elegante:

• Overtraining Catastrófico: Ocorre quando o modelo é treinado com muitos tokens para seu tamanho atual. A potência do sinal (dados) é alta, mas a largura de banda (parâmetros) é insuficiente para processar essa informação sem ruído. O modelo começa a "decorar" em vez de aprender, e o ruído domina, piorando a performance.
• Degradação por Quantização: A quantização é uma técnica crucial para rodar modelos em hardware mais barato, reduzindo a precisão dos parâmetros (ex: de 32 bits para 8 bits). Isso introduz ruído diretamente na "largura de banda". Se a compressão for agressiva demais, o SNR despenca e o desempenho cai, mesmo que o modelo seja grande.

Em outras palavras, para um empresário que busca eficiência, não adianta ter um modelo enorme se a qualidade dos dados ou a precisão computacional forem baixas. A chave está no equilíbrio entre esses três fatores, que a Lei de Shannon modela matematicamente.

Evidências Experimentais e Validação

A teoria não é apenas um exercício acadêmico. Os pesquisadores validaram o modelo com experimentos rigorosos nas famílias de LLMs Pythia e OLMo2. Eles testaram o impacto de perturbações, como ruído gaussiano (simulando erros aleatórios), diferentes níveis de quantização e ajuste fino supervisionado em tarefas de matemática, resposta a perguntas e código.

Os resultados são impressionantes. A Lei de Escalonamento de Shannon superou as leis clássicas e as leis mais recentes que tentam contabilizar perturbações. Ela obteve pontuações R² (uma medida de quão bem o modelo se ajusta aos dados) muito altas, capturando com precisão os "vales de perda" (loss basins) que as abordagens anteriores simplesmente não conseguiam enxergar.

O teste mais crítico foi a extrapolação. A equipe treinou a lei de Shannon usando apenas modelos menores (até 6,9 bilhões de parâmetros) e com até 180 bilhões de tokens. Depois, usaram essa lei para prever o comportamento de um modelo não visto de 12 bilhões de parâmetros treinado com até 307 bilhões de tokens. O resultado foi um R² de 0,847, enquanto as leis monotônicas tradicionais simplesmente "colapsaram" (falharam completamente) na previsão.

Implicações Práticas para Empresas Brasileiras

Essa descoberta tem implicações diretas para quem desenvolve ou contrata soluções de IA no Brasil.

• Otimização de Custos: Em vez de "jogar dinheiro" em modelos sempre maiores, a empresa deve focar em otimizar a relação sinal-ruído. Isso significa investir em dados de alta qualidade (limpos, bem rotulados) e em técnicas de treinamento que minimizem o ruído (ex: usar precisão mista inteligente, não apenas cortar bits cegamente).
• Previsibilidade de Projetos: Com uma lei de escalonamento mais precisa, é possível prever o ponto de retorno decrescente de um modelo. Saber onde está o "vale da perda" permite planejar o tamanho ideal do modelo e o volume de dados de treinamento para uma tarefa específica, evitando desperdício de recursos computacionais (GPUs).
• Tomada de Decisão em Arquitetura: A teoria sugere que a largura de banda (parâmetros) e a potência do sinal (dados) devem crescer de forma coordenada. Isso orienta arquitetos de IA a projetarem modelos que escalem de forma mais eficiente, balanceando capacidade e qualidade do sinal.

Em resumo, a Lei de Escalonamento de Shannon oferece uma lente nova e poderosa para entender os limites práticos dos LLMs. Para o empresário brasileiro, ela traduz um fenômeno complexo em uma regra de ouro: não escale sem equilíbrio, ou o ruído vai te custar caro.