ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

ReToken: Um Token, Múltiplas Possibilidades – Como a IA está aprendendo a enxergar melhor com menos

Em um avanço que pode redefinir os limites da visão computacional, pesquisadores apresentaram o ReToken, um método engenhoso que promete turbinar a capacidade de modelos de inteligência artificial em interpretar cenas complexas — sem sobrecarregar as placas de vídeo. A técnica, publicada em repositórios de código aberto, já mostra ganhos de mais de 20% em benchmarks de busca visual, mesmo rodando em uma única GPU de alto desempenho. Para o empresário brasileiro que lida com automação, varejo ou análise de vídeo, o ReToken não é apenas uma curiosidade acadêmica: é um sinal de que modelos mais eficientes e acessíveis estão batendo à porta.

O problema do contexto visual longo

Modelos de visão-linguagem (VLMs, na sigla em inglês) são os motores por trás de aplicações que ligam imagens e textos — pense em um assistente que descreve o conteúdo de uma foto ou um sistema de segurança que identifica objetos em vídeos ao vivo. Esses modelos convertem cada fragmento da imagem em “tokens”, pequenas unidades de informação que a IA processa. O desafio surge quando a cena é rica demais: um vídeo de vigilância de 10 minutos, por exemplo, gera uma quantidade massiva de tokens. À medida que o número de distrações visuais aumenta, o desempenho do modelo despenca, e processar todos os tokens de uma vez se torna inviável — a memória da GPU simplesmente não aguenta.

É como se um gerente tentasse analisar, ao mesmo tempo, todas as câmeras de uma fábrica inteira, quadro a quadro: a sobrecarga de informação atrapalha as decisões. Os métodos atuais se concentram em comprimir ou resumir os dados, mas frequentemente perdem detalhes cruciais. O ReToken inverte a lógica: em vez de tentar dar conta de tudo, ele busca ativamente apenas o que importa.

A solução: um token para recuperar o essencial

O coração do ReToken é uma ideia simples: um único embedding treinável — uma espécie de “ponteiro inteligente” — que atua como alvo explícito de recuperação. Na prática, antes de responder a uma pergunta sobre uma imagem ou vídeo, o modelo consulta esse token especial, que vasculha um cache pré-processado de informações visuais (o chamado cache de chave-valor) e seleciona um conjunto enxuto de tokens realmente relevantes para a consulta. Ou seja, ele aprende a ignorar ruídos e focar no que interessa, sem precisar recalcular tudo do zero.

“Treinamos o ReToken em um conjunto pequeno de dados de perguntas e respostas sobre imagens, e o ganho foi consistente em cenários muito diferentes”, explica um dos autores. “É como dar ao sistema um olhar treinado, que sabe exatamente onde prestar atenção.” O treinamento é tão enxuto que todo o processo — incluindo a inferência em vídeos longos — cabe em uma única GPU NVIDIA H100, hardware que já está no radar de data centers brasileiros.

Resultados que falam por si

Os números impressionam. No desafiador benchmark Visual Haystacks (que avalia a capacidade de encontrar “agulhas em palheiros visuais”), o ReToken elevou o desempenho do modelo Qwen3VL-8B em