iPhone 17 Pro roda LLM de 400B que exige 200GB de memória, mas com limitações

O iPhone 17 Pro conseguiu rodar um LLM 1 com 400 bilhões de parâmetros localmente, sendo que, normalmente, esses modelos requerem pelo menos 200GB de memória — o que torna essa demonstração surpreendente, visto que o dispositivo possui apenas 12GB de RAM 2. O lado positivo de rodar um modelo localmente é que o usuário possui total privacidade, além de eliminar a necessidade de uma conexão com a internet. Contudo, o modelo em questão rodou no iPhone 17 Pro com limitações — gerando texto a cerca de 0,6 tokens por segundo, ou seja, aproximadamente uma palavra a cada um ou dois segundos — mas ainda assim conseguindo completar tarefas. Running 400B model on iPhone!0.6 t/sCredit @danveloper @alexintosh @danpacary @anemll pic. twitter. com/LZCLqsvSUP— Anemll (@anemll) March 23, 2026
Executando um modelo de 400B no iPhone!0,6 t/sCréditos: @danveloper @alexintosh @danpacary

Ainda assim, esse resultado foi possível porque um trio de desenvolvedores evitou carregar o modelo completo na memória e, em vez disso, usou um método diferente que transmite dados diretamente do armazenamento, permitindo que o dispositivo lide com cargas de trabalho que, de outra forma, excederiam os limites do hardware.