A empresa abriu o motor da API, mas ele não roda em casa

O que muda na prática

1. 01O que foi aberto

   Em 2025 a empresa escreveu em nota pública que havia pensado em abrir o motor que executa sua API e desistiu. Os motivos citados foram código muito adaptado, ligação com a infraestrutura interna e equipe pequena para um projeto aberto desse porte. Depois ela publicou o motor, que segundo a página do projeto é o mecanismo de inferência que atende seus serviços de produção em grande escala.

2. 02O que veio no repositório

   Os núcleos de cálculo otimizados já tinham sido abertos em bibliotecas separadas. O repositório traz paralelismo para distribuir o modelo entre muitas GPUs e um programador que prepara o próximo lote enquanto a GPU calcula o atual. A decodificação especulativa faz o rascunho gerar cinco tokens de uma vez, e o modelo verifica. Há saída estruturada, que força a resposta a seguir um esquema JSON, uma expressão regular ou uma gramática, e amostragem determinística: mesma entrada, mesmos parâmetros, mesma saída.

3. 03O que ficou de fora

   Ficaram de fora o sistema de cache, a separação de fases em máquinas diferentes e o balanceamento de carga entre as réplicas. A empresa diz que essas peças são muito acopladas à infraestrutura interna, o mesmo motivo dado em 2025. Esta versão executa requisições direto de um script em Python e não inclui servidor de API pronto. A empresa também informa que a versão pública de um dos núcleos faz a decodificação de 5 a 10% mais lenta que a interna, e que de ponta a ponta a diferença é de no máximo 5%.

4. 04O hardware e para quem é

   O motor funciona com GPUs Nvidia de uma geração específica, de capacidade de computação 10.0, e com uma linha de NPUs de outro fabricante. Os pré-requisitos são Linux, Python 3.12 e as versões mínimas de compilador e bibliotecas de cada fabricante. O gráfico de desempenho foi medido com quatro GPUs na primeira fase e 64 na segunda. A menor unidade eficiente é de 64 GPUs em uma fase e 64 na outra, ou seja, 128 cartões, e o cache precisa de armazenamento próprio. Na avaliação do autor, o público-alvo são provedores de nuvem, laboratórios e empresas que já têm GPUs de data center, e o laptop está fora.

5. 05Os números de operação

   A empresa relata 155 trilhões de tokens por dia em um conjunto de máquinas, com 38 por hora de GPU ao preço de mercado. Ela não informa quantas GPUs esse conjunto tem. As metas do sistema incluem guardar o cache por mais de 72 horas, e na prática o cache vale 3 dias para tráfego de agentes e 7 dias para bate-papo. O autor diz que esses números são relatados pela própria empresa e que não tem como verificá-los.

6. 06A biblioteca de conversão

   Junto com o motor veio uma segunda biblioteca, que transforma a requisição recebida via API em texto e tokens para o modelo e converte a saída do modelo de volta na resposta da API. Ela aceita três formatos de requisição de mercado e monta o texto para duas versões do modelo. Segundo a empresa, um fornecedor que usa essa biblioteca monta a solicitação da mesma forma que a da API oficial. Para quem só usa a API, o autor diz que nada muda no código, mas agora dá para ler como o pedido é montado e por quanto tempo o cache é mantido.

7. 07A linha de esforço e os limites padrão

   Na biblioteca existe uma função para o esforço de raciocínio. Com o modo de raciocínio ativado, ela escreve antes da primeira mensagem uma linha com pontuação de 1 a 100. O mínimo é 50 e o máximo é 100, e quem ativa o raciocínio sem pedir esforço fica com 75. Os limites padrão de resposta são quase 8.000 tokens sem raciocínio, 65.000 com raciocínio e 131.000 no esforço máximo.

Nas palavras dele

Perguntas

Continue por aqui

• Meta lança o Muse Wonder: onde ganha, onde perde e quanto custa
• REA: engenharia reversa de programas com agentes de IA
• Como um modelo de linguagem funciona por dentro