CRAFT: Clustered Regression for Adaptive Filtering of Training data

CRAFT: O atalho inteligente para treinar modelos de IA com menos dados e mais resultado

O mercado de inteligência artificial no Brasil enfrenta um gargalo cada vez mais conhecido: datasets com milhões de exemplos. Treinar um modelo do zero ou fazer ajustes finos (fine-tuning) em corpora de dezenas de milhões de registros é caro, demorado e, muitas vezes, desnecessário. Uma nova técnica, batizada de CRAFT (Clustered Regression for Adaptive Filtering of Training data), promete resolver esse problema selecionando apenas os dados realmente relevantes – e fazendo isso em segundos, em vez de horas.

Pesquisadores propuseram o CRAFT como um método de seleção de subconjuntos de treinamento para modelos de sequência a sequência (como tradutores automáticos ou geradores de texto). A grande sacada é que a técnica é agnóstica a vetorização, ou seja, funciona com diferentes formas de representar os dados (TF-IDF, embeddings, etc.) e não exige GPUs potentes.

Como o CRAFT funciona na prática?

O método divide o problema em duas etapas, resolvendo uma limitação comum de filtros de dados: a necessidade de cobrir bem tanto os dados de origem quanto os de destino.

• Primeira etapa: clusterização dos dados de origem (source) – O CRAFT aplica k-means nos vetores dos textos de entrada (por exemplo, frases em inglês). O objetivo é distribuir o orçamento de seleção proporcionalmente entre os clusters, garantindo que o subconjunto final reflita a distribuição dos dados de validação.
• Segunda etapa: seleção dentro de cada cluster – Dentro de cada grupo, o algoritmo escolhe os pares (source + target) cujos embeddings dos textos de destino mais se aproximam da distribuição esperada nos dados de validação. Isso é feito minimizando a distância condicional esperada, uma métrica estatística que garante que os dados selecionados são representativos.

A equipe provou matematicamente que essa alocação proporcional por cluster limita a divergência KL (Kullback-Leibler) entre o subconjunto selecionado e os dados de validação, com o resíduo controlado pelos diâmetros dos clusters. Em português claro: o método garante que você não está "viciando" o modelo em um tipo específico de dado, mas sim cobrindo variedade realista.

Resultados impressionantes em tradução

Os testes foram feitos em uma tarefa desafiadora: tradução inglês-hindi. O dataset base era o NLLB (No Language Left Behind), com impressionantes 33 milhões de pares de frases. O modelo usado foi o mBART, ajustado com LoRA (técnica de fine-tuning eficiente).

Os números falam por si:

• CRAFT alcançou 43,34 BLEU – superando o TSDS (41,21) por 2,13 pontos, usando o mesmo pool de dados e o mesmo encoder.
• Velocidade de seleção 40 vezes maior que o TSDS. Na prática, com vetorização TF-IDF, todo o pipeline roda em menos de um minuto em CPU.
• Comparado ao TAROT (que atingiu 45,61 BLEU), o CRAFT foi 2,8 vezes mais rápido na seleção: 26,86 segundos contra 75,6 segundos.

Ou seja, o CRAFT não é o método que alcança o maior score absoluto (o TAROT teve 2,27 pontos a mais), mas entrega um equilíbrio notável entre qualidade do modelo final e eficiência computacional. Para empresas que precisam iterar rápido ou têm orçamento limitado de GPU, essa troca é vantajosa.

Por que isso importa para o empresário brasileiro?

No Brasil, cada vez mais startups e médias empresas estão adotando modelos de linguagem para tarefas específicas: atendimento ao cliente, análise de contratos, tradução de conteúdos regionais. O custo de treinar modelos gigantes (como GPT ou LLaMA) do zero é proibitivo. O fine-tuning em dados selecionados é a alternativa viável.

O CRAFT ataca dois problemas reais:

• Custo de computação: selecionar 1 milhão de exemplos de um dataset de 33 milhões leva menos de 30 segundos em CPU. Isso elimina a necessidade de alugar máquinas com GPU por horas ou dias.
• Qualidade do modelo: ao garantir que o subconjunto seja representativo da distribuição real de uso (validação), o modelo final tende a generalizar melhor para dados novos, reduzindo o risco de overfitting em nichos específicos.

Para um empresário que deseja implementar um tradutor automático para um marketplace ou um assistente virtual para um call center, o CRAFT oferece um caminho rápido e com métricas de qualidade comprovadas.

Limitações e próximos passos

A técnica ainda é recente e foi testada principalmente em tradução. Aplicações em outras áreas (como sumarização, classificação ou geração de texto) precisam de mais validação. Além disso, o método depende de uma boa representação vetorial dos dados – se a vetorização for ruim, a seleção também será.

Outro ponto: o CRAFT não substitui o fine-tuning em si, mas sim a etapa de pré-seleção de dados. Empresas que já usam pipelines de dados podem integrá-lo como um filtro inteligente antes de enviar o lote para a GPU.

Com a tendência de datasets cada vez maiores (como os milhões de pares do NLLB ou os bilhões de tokens do Common Crawl), métodos como o CRAFT se tornam essenciais para democratizar o acesso a modelos de IA de qualidade no Brasil e no mundo.