Capítulo V

Veja o Transformer pensando

Digite uma frase curta e acompanhe, passo a passo, como o modelo a transforma em tokens, vetores de significado, atenção entre palavras e, finalmente, uma previsão para o próximo token. É a arquitetura por trás de ChatGPT, Claude, Gemini e Llama — observada em miniatura.

Narrativa do capítulo
Etapa I · Entrada

Digite uma frase curta para o modelo continuar.

Comece com algo simples e de domínio próximo — uma chamada de marketing, uma manchete, uma reflexão executiva. A frase será o ponto de partida da simulação. O Transformer vai tentar continuar daquele ponto, prevendo o próximo token palavra a palavra.

Voz do Guia
Quanto mais natural e curta a frase (5 a 9 palavras), mais ilustrativa a simulação. Frases muito longas tornam as matrizes pesadas visualmente — e o objetivo aqui é didático, não força bruta.
Arquitetura
Decoder simplificado
decoder-only · empilhado N× nos LLMs modernos
Frase de entrada
texto bruto
Token Embedding
vetores de significado
Positional Encoding
ordem das palavras
Masked Multi-Head Self-Attention
só vê o passado
Add & Norm
atalho + normaliza
+
Feed-Forward (MLP)
refina cada posição
Add & Norm
atalho + normaliza
+
Linear
projeta no vocabulário
Softmax
vira distribuição
Próximo token
saída amostrada
Esta é uma versão didática de **um** bloco decoder. Em um LLM real, dezenas destes blocos são empilhados, cada um refinando o significado e atualizando milhões de parâmetros aprendidos durante o treinamento. ChatGPT, Claude, Gemini, Llama e companhia: todos *decoder-only*, autoregressivos, prevendo um token por vez.
Frase atual
"A inteligência artificial pode"
Quando você confirmar a frase e iniciar a simulação, ela se quebrará em tokens, ganhará coordenadas de significado, posição, atenção sobre cada palavra — e, no fim, virará uma probabilidade para o próximo token.
Etapa 1 de 8
MEL · ML Executive Lab
@AndreBarcaui
Edição experimental · 2026