Flash-MoE: Rodando um Modelo de 397 Bilhões de Parâmetros em um Mac com 48GB de RAM

Uma nova técnica chamada Flash-MoE permite executar modelos de linguagem massivos com 397 bilhões de parâmetros diretamente em um Mac com apenas 48GB de RAM, democratizando o acesso a IAs de grande escala sem necessidade de infraestrutura em nuvem. Essa abordagem representa um avanço significativo para desenvolvedores e empresas que desejam rodar modelos poderosos localmente com hardware acessível...