DEV Community: Igor Pestana

Fine-Tuning e RAG: Entendendo as Estratégias para Personalizar um Chatbot com IA

Igor Pestana — Thu, 03 Apr 2025 20:53:38 +0000

Para tornar um chatbot mais preciso e eficiente, é essencial definir como ele aprende e acessa informações. O Fine-Tuning permite que o modelo aprenda novas informações de forma definitiva, como uma aula particular que ele nunca esquece - embora, com o tempo, tanta informação acumulada possa deixá-lo um pouco confuso. Já o RAG combina busca e geração de texto para fornecer respostas sempre atualizadas, funcionando como um aluno esperto que sempre consulta as anotações mais atualizadas antes de responder.

Vamos explorar como essas estratégias funcionam, suas vantagens e quando usar cada uma.

1. Fine-Tuning – Memória de Longo Prazo

O fine-tuning é um processo onde um modelo pré-treinado (como o GPT-4, LLaMA, Claude e Gemini) é ajustado com novos exemplos específicos para um domínio.

Como funciona?

Você fornece um conjunto de dados estruturado no formato input → output para o treinamento.
O modelo aprende novas informações e padrões, ajustando seus pesos internos – valores numéricos que determinam como a rede neural processa os dados.
Esses pesos armazenam o conhecimento adquirido, permitindo que o modelo gere respostas sem precisar consultar uma base de conhecimento externa.

Memória no Fine-Tuning

Memória de Longo Prazo

O conhecimento aprendido durante o treinamento é armazenado nos pesos da rede neural, que controlam a forma como o modelo transforma entradas em respostas.
Após o treinamento, os pesos não mudam automaticamente com novas informações. Isso significa que o modelo não se atualiza dinamicamente – se precisar aprender algo novo, é necessário um novo fine-tuning.

O que são os Pesos (Weights) em uma Rede Neural?

Os pesos em uma rede neural são valores numéricos ajustáveis que determinam a importância de cada conexão entre os neurônios artificiais. Eles funcionam como parâmetros que modulam a forma como os dados de entrada são processados e transformados em saída. Durante o treinamento de um modelo, esses pesos são ajustados repetidamente através de algoritmos de otimização, como o backpropagation, para minimizar erros e melhorar a precisão das respostas. Esse ajuste é o que permite ao modelo aprender padrões e armazenar conhecimento, funcionando como uma memória de longo prazo. Quanto mais treinado um modelo for, mais refinados serão seus pesos, resultando em respostas mais precisas e adequadas ao contexto aprendido.

Vantagens:

Respostas rápidas e diretas, pois o conhecimento já está embutido no modelo.
Funciona bem para tarefas específicas como suporte técnico ou linguagem especializada.

Desvantagens:

Não é fácil de atualizar – se novas informações surgirem, é necessário um novo treinamento.
Pode ser caro e demorado.

Exemplo de uso:

Um chatbot médico treinado para responder perguntas sobre cardiologia com base em milhares de artigos médicos.

2. RAG (Retrieval-Augmented Generation) – Memória de Curto e Longo Prazo

O RAG (Geração Aumentada por Recuperação) combina busca e geração de texto, permitindo que o LLM consulte uma base de conhecimento antes de formular sua resposta.

Como funciona?

O sistema armazena documentos em um banco de dados vetorial
Quando recebe uma pergunta, ele busca os textos mais relevantes e os envia como contexto para o LLM.
O modelo usa essa informação para gerar uma resposta precisa.
Fluxo do processo:
- O usuário faz uma pergunta.
- O sistema identifica o documento com o conteúdo mais próximo em significado.
- Um prompt é gerado, combinando a pergunta do usuário com o conteúdo recuperado, orientando o LLM a produzir uma resposta contextualizada e precisa.

Memória no RAG

Memória de Curto e Longo Prazo

Curto Prazo: O modelo recebe o contexto relevante no momento da geração da resposta, mas não "aprende" esse conteúdo permanentemente.
Longo Prazo: O armazenamento das informações acontece em uma base vetorial, que pode ser consultada sempre que necessário.
O modelo se mantém atualizado sem precisar de um novo treinamento, pois busca sempre os dados mais recentes.

Search-Based dentro do RAG

O processo de recuperação de informações no RAG é baseado em Search-Based, que busca documentos relevantes antes de passar os dados ao modelo de IA. No entanto, diferente do Search-Based puro, que apenas retorna os documentos encontrados, o RAG processa esses dados com um LLM para formular uma resposta mais elaborada e natural.

O que são Bancos Vetoriais?

Os bancos de dados vetoriais são sistemas especializados em armazenar e recuperar embeddings de forma eficiente. Diferente de bancos relacionais (como MySQL), que armazenam dados em tabelas, os bancos vetoriais armazenam vetores gerados a partir de embeddings em um espaço multidimensional, permitindo buscas por similaridade sem a necessidade de correspondência exata entre palavras ou frases. Eles utilizam técnicas como busca aproximada de vizinhos (ANN - Approximate Nearest Neighbors) para encontrar embeddings semelhantes rapidamente, o que é essencial em aplicações como busca semântica, recomendação de conteúdo e reconhecimento de imagens. Isso os torna essenciais para aplicações de inteligência artificial que precisam encontrar informações relevantes com base no significado e não apenas em palavras específicas.

Por que são importantes no RAG?

Permitem busca semântica, retornando textos relevantes mesmo que a pergunta seja feita com palavras diferentes.
São altamente escaláveis, podendo armazenar milhões de embeddings sem perder eficiência.
Utilizam métodos avançados de indexação, como HNSW (Hierarchical Navigable Small World), para tornar as buscas mais rápidas.

Bancos de Dados Vetoriais Nativos

FAISS – Desenvolvido pelo Facebook, é um dos mais usados para busca vetorial aproximada em larga escala.
Milvus – Open-source, distribuído e altamente escalável, ideal para aplicações de IA.
Pinecone – Plataforma gerenciada que simplifica busca vetorial em tempo real.
Weaviate – Banco vetorial open-source com GraphQL, usado em IA e NLP.
Qdrant – Alternativa robusta, com bom suporte a filtros e alto desempenho.

Bancos de Dados Tradicionais com Suporte a Vetores

PostgreSQL (pgvector) – Uma das opções mais populares, permitindo busca vetorial dentro do SQL.
Redis (RedisSearch + HNSW) – Oferece busca vetorial eficiente dentro de um banco in-memory.
Elasticsearch (dense_vector) – Suporte a vetores dentro de um motor de busca altamente escalável.
MongoDB (Atlas Vector Search) – Busca vetorial integrada ao MongoDB Atlas, facilitando o uso com dados não estruturados.
ClickHouse (distance functions) – Banco analítico que permite armazenar e buscar vetores rapidamente.

Fonte: https://blog.det.life/why-you-shouldnt-invest-in-vector-databases-c0cd3f59d23c

O que são Embeddings?

Os embeddings são representações numéricas de textos que permitem que um sistema compreenda o significado das frases sem depender exclusivamente das palavras exatas. Eles convertem textos em vetores dentro de um espaço matemático, onde expressões com significados semelhantes ficam mais próximas umas das outras.

Essa técnica de Processamento de Linguagem Natural (PLN) transforma textos em representações vetoriais, posicionando palavras e frases em um espaço multidimensional. Assim, quando um usuário faz uma pergunta, o sistema busca no modelo vetorial os textos mais próximos, identificando similaridades e recuperando a informação mais relevante para gerar uma resposta precisa.

Exemplo de Embeddings na prática

As frases "Como faço para redefinir minha senha?" e "Esqueci minha senha, como recuperar?" podem ter palavras diferentes, mas seus embeddings serão próximos, pois têm o mesmo significado.
Com isso, o chatbot pode recuperar a resposta correta mesmo que a pergunta não tenha sido feita com as palavras exatas.

Gráfico com representação vetorial de palavras em um espaço tridimensional

Fonte: Microsoft Certified: Azure AI Fundamental

O gráfico ilustra como os embeddings representam palavras como pontos em um espaço multidimensional, onde termos semanticamente similares estão mais próximos uns dos outros. No exemplo, palavras relacionadas a cães e gatos, como "Dog", "Gato", "Latido" e "Miado", aparecem agrupadas, enquanto "Skateboard", um termo não relacionado, está mais distante. Essa organização é essencial para sistemas que utilizam bancos vetoriais, que armazenam e indexam esses vetores para permitir buscas eficientes. Em um banco vetorial, ao buscar por "cachorro", o sistema pode encontrar automaticamente palavras próximas, como "latido" e "gato", sem precisar de uma correspondência exata, tornando a recuperação de informações mais inteligente e contextualizada.

Vantagens:

Fácil de atualizar sem precisar re-treinar o modelo.
Permite respostas contextualizadas e embasadas em documentos reais.

Desvantagens:

Depende da qualidade da indexação dos dados.
Pode aumentar o tempo de resposta devido ao processo de busca.

Exemplo de uso:

Um chatbot corporativo que consulta documentos internos para responder dúvidas de funcionários.

Método	Memória Interna?	Curto Prazo	Longo Prazo	Atualização Fácil?	Melhor Para...
Fine-Tuning	✅ Sim	❌	✅	❌ Não (requer re-treino)	Dados estáveis e linguagem específica
RAG	✅ Parcialmente	✅	✅	✅ Sim (busca sempre os dados mais recentes)	Respostas baseadas em conhecimento dinâmico

Se você precisa de um chatbot que se lembre de informações novas e possa ser atualizado sem re-treinamento, RAG é a melhor escolha.

Comparando Frameworks para Node.js: Express, Fastify e Nest.js

Igor Pestana — Thu, 19 Dec 2024 13:46:02 +0000

Escolher o framework certo para trabalhar com Node.js pode fazer toda a diferença em termos de desempenho, produtividade e escalabilidade. Neste artigo, vamos colocar na arena três gigantes do backend: Express, Fastify e Nest.js. Bora comparar de um jeito descontraído e direto ao ponto? 🚀

1. Express

O Básico

O Express é o veterano aqui. É o framework mais popular para Node.js, conhecido por sua simplicidade e flexibilidade. Lançado em 2010, ele se tornou um padrão de facto para desenvolvimento backend.

Prós

Popularidade: Comunidade gigante, cheio de exemplos e tutoriais.
Flexibilidade: Você faz do seu jeito; sem muitas regras ou convenções. Poucas convenções; você tem total controle sobre como estruturar seu projeto.
Ecossistema: Tem middleware pra tudo. Milhares de middlewares disponíveis para adicionar funcionalidades rapidamente.

Contras

Desempenho: Não é exatamente o Usain Bolt dos frameworks. Pode não ser a melhor escolha para aplicações que exigem alta performance.
Bagunça em Projetos Grandes: Sem uma estrutura padrão, pode virar uma "muvuca" com o tempo. A falta de uma arquitetura definida pode levar a dificuldades em projetos maiores.

Quando Usar

APIs simples que precisam estar no ar ontem.
Projetos pequenos e médios onde você quer manter controle total.

Exemplo básico com Express:

const express = require('express');
const app = express();

app.get('/', (req, res) => {
  res.send('Hello, Express!');
});

app.listen(3000, () => {
  console.log('Server running on port 3000');
});

2. Fastify

O Básico

O Fastify é o novato do grupo, lançado em 2016. Lançado em 2016, ele oferece validação de dados nativa e um sistema de plugins otimizado.

Prós

Performance de Outro Mundo: Extremamente rápido, ideal para aplicações que lidam com grande volume de requisições.
Validação Nativa: Tem suporte embutido para JSON Schema, facilitando a validação de dados. O esquema JSON integrado é uma mão na roda.
Plugins Modernos: Arquitetura baseada em plugins bem estruturada. Fácil de estender sem se perder na bagunça.

Contras

Comunidade Menor: Ainda não chegou no hype do Express e a comunidade é menor.
Adaptação: Se você vem do Express, pode exigir adaptação.

Quando Usar

Sistemas de alta performance, tipo streaming ou fintech.
APIs onde milissegundos fazem diferença.

Exemplo básico com Fastify:

const fastify = require('fastify')();

fastify.get('/', async (request, reply) => {
  return { message: 'Hello, Fastify!' };
});

fastify.listen(3000, (err) => {
  if (err) throw err;
  console.log('Server running on port 3000');
});

3. Nest.js

O Básico

O Nest.js é um framework moderno que se destaca por sua arquitetura baseada em módulos, inspirada no Angular, e é feito pra quem gosta de organização. Ele é otimizado para TypeScript, embora suporte JavaScript também.

Prós

Arquitetura Organizada: Baseada em módulos, o que facilita a vida nos projetos grandes.
Suporte Nativo a TypeScript: Segurança no código sem dor de cabeça.
Tudo Embutido: Suporte para GraphQL, microsserviços, WebSockets e mais.
Testabilidade: Projetado com testes em mente, oferece suporte nativo para mocks e injeção de dependência.

Contras

Curva de Aprendizado: Mais complexo para iniciantes. Não é plug-and-play, vai exigir dedicação.
Performance Moderada: Menos eficiente que o Fastify em alguns cenários.

Quando Usar

Projetos gigantes e corporativos onde cada detalhe importa.
Quando você quer impressionar com uma estrutura impecável.
Aplicações com múltiplos serviços, como GraphQL e WebSockets.

Exemplo básico com Nest.js:

import { Module, Controller, Get } from '@nestjs/common';
import { NestFactory } from '@nestjs/core';

@Controller()
class AppController {
  @Get()
  getHello() {
    return 'Hello, Nest.js!';
  }
}

@Module({
  controllers: [AppController],
})
class AppModule {}

async function bootstrap() {
  const app = await NestFactory.create(AppModule);
  await app.listen(3000);
  console.log('Server running on port 3000');
}
bootstrap();

Comparação entre Express, Fastify e Nest.js

Critério	Express	Fastify	Nest.js
Popularidade	Amplamente utilizado e conhecido. Comunidade enorme.	Popularidade crescente. Comunidade menor, mas ativa.	Crescimento rápido, especialmente para aplicações robustas.
Performance	Médio. Projetado para flexibilidade, não velocidade.	Alta. Projetado para ser rápido, com suporte nativo a JSON Schema.	Médio. Baseado no Express ou Fastify, depende da escolha.
Curva de aprendizado	Baixa. Fácil para iniciantes em Node.js.	Baixa. Semelhante ao Express, mas com foco em JSON Schema.	Alta. Arquitetura modular, baseada em conceitos do Angular.
Flexibilidade	Altamente flexível. Poucas convenções pré-definidas.	Flexível, mas com estrutura mais moderna que Express.	Modular e altamente estruturado. Convenções fortes.
Arquitetura	Minimalista, sem padrão de projeto definido.	Minimalista, mas com mais estrutura que Express.	Baseado em arquitetura modular e decoradores TypeScript.
Validação de Dados	Precisa de bibliotecas externas como `Joi`, `Yup`.	Suporte nativo via JSON Schema.	Suporte integrado usando `class-validator` ou outras opções.
Suporte a TypeScript	Precisa de configuração adicional.	Suporte nativo a TypeScript.	Suporte nativo e totalmente otimizado para TypeScript.
Ecossistema	Rico em middlewares e bibliotecas de terceiros.	Boa coleção de plugins oficiais e de terceiros.	Integração nativa com ferramentas como GraphQL, WebSocket, etc.
Escalabilidade	Bom para projetos pequenos e médios.	Bom para projetos que requerem alta performance.	Excelente para grandes projetos corporativos.
Facilidade de Testes	Fácil, mas exige configuração manual de ferramentas.	Semelhante ao Express, com melhorias em algumas áreas.	Testes facilitados com suporte nativo para mocks e dependências.
Adequação	APIs simples e projetos de rápido desenvolvimento.	APIs de alta performance e tempo de resposta rápido.	Aplicações corporativas e complexas, com alta modularidade.

Conclusão

Se sua prioridade é simplicidade, o Express é o clássico que nunca decepciona. Precisa de performance top? Vai de Fastify sem pensar duas vezes. E se quer algo robusto, cheio de recursos e organizado, o Nest.js é o caminho.

Qual desses vai ser o MVP da sua próxima aplicação? Deixe nos comentários e bora trocar ideia!