análise · 25 de outubro de 2026 · 67:09
Como os transformers funcionam: o que acontece no ChatGPT
O Transformer é a máquina por trás do ChatGPT: cada fragmento de texto vira uma lista de números, conversa com os outros pela atenção, e o resultado vira uma probabilidade para o próximo token. O autor fecha dizendo que não é mágica nem é uma pessoa. E que, entendendo esse básico, a inteligência artificial deixa de ser uma caixa misteriosa e se torna uma ferramenta com pontos fortes e limites que você sabe explicar.
O que muda na prática
01O T de GPT
O Transformer é um tipo específico de rede neural, uma forma de organização de cálculos para a máquina aprender padrões a partir de exemplos. Segundo o autor, o artigo é de 2017 e foi escrito por pesquisadores do Google para traduzir texto de um idioma para outro.
02Tokens são pedaços de palavra
O modelo não lê letras nem palavras inteiras: usa partes de palavra. Segundo a central de ajuda da OpenAI, um token tem em média cerca de quatro caracteres ou 3/4 de uma palavra, e 100 tokens são aproximadamente equivalentes a 75 palavras.
03A atenção é uma conversa
Karpathy resume a atenção como um mecanismo de comunicação: os trechos do texto conversam entre si. Para cada trecho, o modelo calcula uma pontuação de relação com cada um dos outros, e pontuação alta significa grande influência.
04Consulta, chave e valor
Cada token em cada posição produz três vetores. A consulta diz o que estou procurando, a chave diz o que eu tenho a oferecer e o valor diz o que vou te dizer se você me achar interessante.
05O Transformer de hoje
Em agosto de 2025 a OpenAI lançou dois modelos de pesos abertos e publicou a documentação técnica. A maior tem 36 camadas e quase 117 bilhões de parâmetros, mas cada token usa apenas cerca de 5 bilhões: um roteador escolhe quatro entre 128 especialistas.
06O que muda na prática
A janela de contexto é a memória de trabalho do modelo e inclui até a resposta que ele está escrevendo. A Anthropic recomenda colocar os documentos longos no início e a pergunta no fim.
07Por que texto grande custa mais
Na atenção clássica, cada token se compara aos outros: com 10 tokens existem 100 pares, com 1000 tokens, 1 milhão. Se o texto dobra de tamanho, o número de comparações quadruplica.
Nas palavras dele
“É chamado Transformador. É o T em GPT.”
ouvir em 1:20
“A atenção é um mecanismo de comunicação.”
ouvir em 7:58
“Isso tem um Nome: custo quadrático.”
ouvir em 56:00
“O Transformer funciona com vetores, atenção, somas, probabilidades e padrões aprendidos durante o treinamento.”
ouvir em 64:00
“Não é mágica, nem é uma pessoa.”
ouvir em 66:05
Perguntas
Por que o ChatGPT esquece o que você disse no começo da conversa?
O modelo tem um limite de tokens que consegue olhar ao mesmo tempo, a janela de contexto. Quando a fila ultrapassa esse limite, a parte mais antiga é cortada antes de entrar no modelo.
O que é a temperatura?
É o controle da escolha do próximo token. Com temperatura zero, o modelo sempre escolhe a opção mais provável; com temperatura alta, opções improváveis ganham chance. A documentação da OpenAI aceita valores de 0 a 2.
O que é um token?
É a peça em que o texto é dividido. Às vezes é uma palavra inteira, às vezes um pedaço, um sinal de pontuação ou um espaço.
Por que mandar um texto enorme custa mais?
Porque na atenção clássica cada token se compara com todos os outros e o custo cresce de forma quadrática: 10 tokens dão 100 pares, 1000 tokens dão 1 milhão.
O Transformer entende o que escreve?
O autor diz que o Transformer funciona com vetores, atenção, somas, probabilidades e padrões aprendidos no treinamento, e que isso não é teste de que compreende o mundo da maneira como uma pessoa faz.
Quer ir além do vídeo?
Continue por aqui
Este resumo foi escrito a partir da transcrição do vídeo. As citações são literais. Para o conteúdo completo, assista no YouTube.