Gemma-4 26B rodando a 124 tokens/s em CPU, sem GPU
Um desenvolvedor conseguiu rodar o modelo MoE de 26B parâmetros do Google a 124 tokens/s em CPU desktop usando compressão lossless. Para startups latinas sem acesso fácil a GPUs, inferência local eficiente pode viabilizar produtos de IA com custo muito menor.






















