Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

Esta pesquisa expõe uma falha crítica na forma como modelos de linguagem (LLMs) são avaliados quanto à sua fidelidade de raciocínio, mostrando que métricas amplamente divulgadas são dependentes do método de medição e não comparáveis entre estudos. Para empreendedores brasileiros no setor de IA e tecnologia, isso representa uma oportunidade de posicionamento como consultores ou auditores independen...