Lifted Bellman Linear Programming for Offline Reinforcement Learning

Aprendizado por Reforço Offline Ganha Nova Abordagem com Programação Linear

Pesquisadores apresentaram uma nova técnica para treinar sistemas de inteligência artificial que aprendem com dados já coletados, sem precisar interagir com o ambiente real. A proposta, chamada Lifted Bellman Linear Programming (LBLP), promete simplificar um dos maiores gargalos do aprendizado por reforço offline: o treinamento do "crítico", componente responsável por avaliar o quão boa é cada decisão tomada pela IA.

O problema que todos enfrentavam

No aprendizado por reforço offline — usado quando não é possível testar decisões no mundo real, como em robótica industrial, medicina ou finanças —, o modelo aprende apenas com um conjunto de dados gravado previamente. O método tradicional treina o crítico minimizando um erro de regressão contra metas de valor "bootstrapadas", que são estimativas atualizadas iterativamente. Essas metas são estabilizadas por redes-alvo com atualizações de média móvel exponencial (EMA).

O problema é que metas de múltiplos passos incorporam ações tomadas pela política que gerou os dados originais, exigindo correções complexas — o chamado "off-policy correction". Isso adiciona camadas de instabilidade e custo computacional.

A virada: impor otimalidade em vez de regredir

A nova abordagem inverte a lógica. Em vez de minimizar um erro quadrático, os pesquisadores impõem a otimalidade de Bellman in-sample ao crítico por meio de restrições de desigualdade. Formulam o LBLP, que "eleva" a caracterização de programação linear da otimalidade de Bellman para o espaço conjunto (Q, V), de modo que cada restrição envolva apenas pares estado-ação presentes no conjunto de dados.

Em termos práticos: o algoritmo só aprende com o que realmente viu, sem precisar extrapolar ou corrigir ações fora da distribuição original. O minimizador único desse problema é o par ótimo in-sample, e as restrições ao longo de segmentos de K passos das trajetórias gravadas mantêm esse minimizador inalterado, independentemente da política de execução ou do horizonte.

ALBUM: a implementação prática

Para tornar a ideia viável em redes neurais, os autores propuseram o Approximate Lifted Bellman Unconstrained Minimization (ALBUM). Ele relaxa as restrições em penalidades do tipo "hinge" e desconecta os alvos de rollout de K passos via stop gradient.

O ponto crucial: a função objetivo do ALBUM não contém regressão quadrática contra metas bootstrapadas. Isso significa que pode ser treinado sem redes-alvo e sem atualizações EMA — dois componentes que historicamente complicam