Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

Por que usar o mesmo "motor" do pré-treinamento pode ser o segredo para um fine-tuning mais eficiente

No mundo do desenvolvimento de Grandes Modelos de Linguagem (LLMs), o fine-tuning é uma etapa crucial. É nela que adaptamos um modelo genérico, que já foi pré-treinado com bilhões de dados, para executar tarefas específicas, como atender clientes, analisar contratos ou gerar relatórios. Mas uma descoberta recente está virando a mesa: a escolha do otimizador – o "motor" que ajusta os parâmetros do modelo – pode ser o fator decisivo entre um modelo que aprende rápido e um que simplesmente esquece o que sabia.

Uma nova pesquisa, que está gerando burburinho no Vale do Silício e nos centros de IA do Brasil, revela um fenômeno batizado de consistência otimizador-modelo. A ideia é simples, mas poderosa: ao fazer o fine-tuning completo de um modelo (e não apenas ajustar algumas camadas, como no método LoRA), usar o mesmo otimizador que foi utilizado no pré-treinamento leva a resultados significativamente melhores. O modelo esquece menos o conhecimento prévio e, ao mesmo tempo, alcança um desempenho igual ou superior na nova tarefa.

A mágica da memória: como o otimizador "molda" o cérebro da IA

Para entender o impacto, precisamos mergulhar um pouco no que os otimizadores fazem. Pense no pré-treinamento como a "escola" do modelo. Durante milhões de passos, algoritmos como o AdamW (o mais popular) ou o novo Muon vão ensinando o modelo a reconhecer padrões, sintaxe e semântica. O otimizador não é apenas um mecanismo de ajuste; ele tem um efeito regularizador sobre as ativações do modelo. Em bom português, ele determina o "caminho" que o aprendizado percorre e cria uma paisagem específica de conhecimento ao redor do ponto de partida (o checkpoint do pré-treinamento).

Quando você troca o otimizador no fine-tuning, é como se um atleta trocasse de treinador no meio da preparação para uma Olimpíada. O novo treinador pode ter técnicas excelentes, mas o atleta já está condicionado a um método. No fine-tuning, essa troca força o modelo a se adaptar a um novo "ritmo" de atualização de pesos, o que pode quebrar a estrutura de conhecimento já consolidada. A pesquisa mostra que, para minimizar o esquecimento (o chamado catastrophic forgetting), a atualização dos pesos no fine-tuning deve seguir estruturas específicas que o otimizador original "conhece".

O fator surpresa: por que o LoRA pode ficar para trás?

Um dos pontos mais intrigantes do estudo é a comparação com o LoRA (Low-Rank Adaptation). O LoRA é uma técnica adorada por startups e empresas por ser mais leve: em vez de ajustar todos os parâmetros (full fine-tuning), ele insere "adaptadores" pequenos. A pesquisa descobriu que, mesmo sendo mais econômico, o full fine-tuning com o otimizador consistente supera o LoRA na relação aprendizado-esquecimento.

Isso acontece porque o LoRA, por ser uma adaptação de baixa dimensão, pode ter menos "espaço" para acomodar tanto o novo conhecimento quanto preservar as nuances do pré-treinamento. Já o full fine-tuning, ao usar o mesmo otimizador e mexer em todos os parâmetros, consegue uma dança mais sutil entre o velho e o novo.

Muon vs. AdamW: um alerta para quem busca raciocínio lógico

A pesquisa também trouxe um alerta importante sobre o otimizador Muon, que tem ganhado fama por prometer mais eficiência computacional. Quando comparado ao AdamW em um cenário onde ambos foram usados consistentemente (no pré-treinamento e no fine-tuning), o Muon apresentou um desempenho pior em tarefas de raciocínio.

Em um experimento controlado de modelagem de linguagem sintética, os pesquisadores descobriram que o Muon tem uma forte tendência à memorização mecânica (rote memorization). Ele decora padrões em vez de aprender as regras subjacentes. Isso é um problema sério no fine-tuning, que geralmente lida com conjuntos de dados pequenos e específicos. Se o modelo apenas memoriza as respostas do seu banco de dados de fine-tuning, ele não conseguirá generalizar para perguntas ligeiramente diferentes. Para empresários, isso significa: um modelo que parece brilhante nos testes pode falhar miseravelmente no mundo real.

Implicações práticas para o mercado brasileiro

Para empresas brasileiras que estão construindo ou adaptando LLMs, a mensagem é clara:

• Não troque o otimizador por impulso: Se você herdou um modelo pré-treinado com AdamW, a tentação de usar um otimizador mais moderno no fine-tuning pode custar caro em termos de perda de conhecimento.
• Priorize a consistência: Ao contratar serviços de fine-tuning, pergunte qual otimizador foi usado no pré-treinamento. Manter a consistência pode ser mais valioso do que a busca por novidades algorítmicas.
• Cuidado com o "decoreba": Se o seu uso final exige raciocínio lógico (como análise de contratos ou suporte técnico complexo), evite otimizadores como o Muon nesta fase. O AdamW, embora "mais velho", oferece um aprendizado mais estruturado.
• Full fine-tuning ainda reina: Embora o LoRA seja excelente para prototipagem rápida e economia de GPU, o full fine-tuning com o otimizador correto oferece um equilíbrio superior entre aprender a nova tarefa e não esquecer o conhecimento geral.

O estudo reforça que, no mundo dos LLMs, a escolha do otimizador não é um detalhe técnico menor. É uma decisão estratégica que impacta diretamente a capacidade do modelo de aprender sem destruir o que foi construído. Para o empresário que busca um investimento seguro em IA, a lição é: consistência muitas vezes vence a inovação.