Accelerating Sharded Data Parallelism at Scale with Federated Learning

Pesquisadores propõem fusão inédita entre aprendizado federado e paralelismo de dados para acelerar IA em escala industrial

Treinar modelos de inteligência artificial de última geração virou um exercício de engenharia tão caro quanto construir uma hidrelétrica. Estamos falando de meses de processamento em milhares das GPUs mais avançadas do planeta, como as Nvidia A100, consumindo energia equivalente ao abastecimento de uma cidade pequena. O gargalo, porém, não está apenas no poder de fogo dos chips, mas em como eles conversam entre si. É aí que entra uma nova abordagem que promete reescrever as regras do jogo.

Um grupo de pesquisadores apresentou recentemente dois algoritmos híbridos que combinam o paralelismo de dados fragmentado (conhecido no jargão técnico como sharded data parallelism) com os princípios de comunicação eficiente do aprendizado federado (federated learning, ou FL). Os métodos, batizados de FL+FSDP e FL+HSDP, prometem reduzir drasticamente o tempo de treinamento sem sacrificar a qualidade do modelo final.

O problema: quando dividir dados vira um pesadelo de comunicação

Para entender a inovação, é preciso primeiro compreender o método dominante hoje. O paralelismo de dados fragmentado divide tanto os dados de treinamento quanto o próprio modelo entre centenas ou milhares de GPUs. Cada placa processa uma fatia do trabalho e, periodicamente, precisa sincronizar o que aprendeu com as demais. O problema é que, em escala gigantesca, essa sincronização vira um congestionamento digital. É como tentar realizar uma videoconferência com mil participantes ao mesmo tempo em uma conexão de internet comum: a maior parte do tempo é gasta tentando se comunicar, não produzindo.

Em interconexões de múltiplos níveis, onde algumas GPUs estão fisicamente mais próximas que outras, esse gargalo se torna proibitivo. O tempo gasto trocando informação chega a superar o tempo gasto calculando, o que anula boa parte do ganho de se usar mais hardware.

A inspiração: como o aprendizado federado resolveu esse dilema

O aprendizado federado, técnica popularizada por aplicativos de teclado em smartphones, resolve um problema semelhante de outra forma: em vez de centralizar todo o processamento, ele treina modelos localmente em cada dispositivo e apenas compartilha atualizações periódicas com um servidor central. O tráfego de dados é mínimo, e o sistema escala naturalmente.

Os pesquisadores pegaram emprestado esse princípio. Em vez de manter todas as GPUs sincronizadas constantemente, os algoritmos FL+FSDP e FL+HSDP dividem a infraestrutura em grupos menores e fracamente acoplados, chamados de federações. Dentro de cada