Fazendo um LLM do Zero — Sessão 06: Dando uma Profissão ao Modelo (Fine-Tuning) 🎯👨‍⚕️

#llm #python #genai #gpt

Fazendo um LLM do Zero — Sessão 06: Dando uma Profissão ao Modelo (Fine-Tuning) 🎯👨‍⚕️
Até a sessão anterior, nosso GPT era como um adolescente que leu a biblioteca inteira: ele conhece todas as palavras, sabe construir frases bonitas e entende a estrutura da língua. Mas se você perguntar a ele: “Este e-mail é um spam ou uma promoção?”, ele pode simplesmente começar a escrever um poema sobre e-mails.

Ele tem conhecimento, mas não tem foco.

Na Sessão 06, aprendemos a transformar esse “estudante geral” em um “profissional especializado”. Como Sebastian Raschka detalha no Capítulo 6 de seu livro, esse processo se chama Fine-Tuning (Ajuste Fino). É aqui que a IA deixa de ser apenas um brinquedo curioso e se torna uma ferramenta útil para resolver problemas reais.

1. Da Educação Básica à Especialização

Podemos comparar a vida de um LLM com a carreira de um médico.

O Pré-treinamento (que vimos na Sessão 05) é a escola e a faculdade de medicina: o modelo aprende tudo sobre o corpo humano e a biologia de forma geral.

O Fine-tuning é a residência médica: o modelo escolhe uma especialidade (como Cardiologia ou Dermatologia) e foca intensamente nela.

Em vez de aprender a prever qualquer palavra, o modelo agora é treinado para uma tarefa específica, como Classificação de Texto.

2. Colocando um🎩 “Chapéu de Decisão”🧢(Classification Head)

Um GPT original foi desenhado para gerar texto. Para transformá-lo em um classificador (alguém que diz “Sim/Não”, “Positivo/Negativo”), precisamos fazer uma pequena cirurgia no seu cérebro.

Nós removemos a camada que gera palavras e colocamos uma Cabeça de Classificação.

Essa nova camada olha para toda a compreensão de texto que o modelo já tem e toma uma decisão final: “Baseado em tudo o que li nesta frase, a chance de ser Spam é 98%”.

3. Inteligência Eficiente: Congelar ou não Congelar?

Treinar um modelo inteiro de novo seria um desperdício de tempo e dinheiro. Afinal, o modelo já sabe o que é um verbo ou um substantivo. Por que ensinar isso de novo?

Join Medium for free to get updates from this writer.

Sebastian Raschka nos mostra que podemos ser inteligentes: Congelamos (Freeze) a maior parte do modelo e treinamos apenas a camada final. Ou, se tivermos mais dados, podemos Descongelar (Unfreeze) as últimas camadas para um ajuste mais fino.

É como se você contratasse um mestre de obras experiente: você não precisa ensiná-lo a usar um martelo, apenas mostra onde quer que a nova parede seja construída.

4. A Nova Linha de Montagem

O treinamento agora muda de cara. Não usamos mais apenas “texto puro”. Usamos Dados Rotulados (Exemplo:“Eu amei este filme” ->Rótulo:Positivo).

O modelo processa o texto, passa pela cabeça de classificação e nós comparamos a resposta dele com o rótulo real. O erro agora não é mais “qual era a próxima palavra”, mas sim “você acertou a categoria?”.

5. O Diagnóstico Final: A Matriz de Confusão

Como saber se o nosso especialista é realmente bom? Apenas “acurácia” pode enganar.

Se 90% dos seus e-mails não são spam, e o modelo disser “não é spam” para tudo, ele terá 90% de acerto, mas será um modelo inútil para detectar spams reais.

Para isso, usamos a Matriz de Confusão. Ela nos mostra onde o modelo está “confuso”: ele está deixando passar muito spam (Falso Negativo) ou está bloqueando e-mails importantes (Falso Positivo)?