DEV Community: Felipe Wendel

🚀 Projeto completo: Data Lake Enterprise com AWS S3, Glue e Athena

Felipe Wendel — Sat, 21 Feb 2026 11:17:18 +0000

🚀 Projeto ETL em Python com dados públicos de clima + MySQL na nuvem

Felipe Wendel — Fri, 20 Feb 2026 12:54:13 +0000

Nas últimas semanas, eu quis transformar uma ideia simples em algo real: construir um pipeline ETL completo, enxuto e pronto para ser compartilhado. O resultado foi um projeto em Python que extrai dados públicos de clima em tempo real, padroniza esses dados e grava tudo em um banco relacional (MySQL).

A arquitetura ficou bem direta e modular:

🔹 1) Extract

No módulo de extração eu consumo a API pública da OpenWeatherMap.

Esse estágio já nasce preparado para produção:

✅ timeout definido

✅ tentativas de retry

✅ tratamento de erros (rate limit, API key inválida, cidade inexistente)

✅ suporte a múltiplas cidades de uma vez

🔹 2) Transform

Aqui o objetivo foi padronizar e enriquecer o dado bruto.

Eu normalizei campos como temperatura, umidade, vento e pressão, e adicionei classificações de temperatura e umidade para facilitar análises futuras.

Exemplo: Frio, Moderado, Quente; Seco, Normal, Úmido.

O resultado é um dataset limpo e pronto para consumo analítico.

🔹 3) Load

A camada de carregamento usa SQLAlchemy para persistir os dados em banco relacional.

Inicialmente SQLite para testes locais, mas o projeto já está preparado para MySQL na nuvem (AWS RDS, Google Cloud SQL, Azure).

Tudo transacional, com histórico completo de execução.

✅ Pontos que tornam o projeto realmente profissional:

Código modular e escalável

Tratamento robusto de erros

Logging detalhado

Documentação completa

Pronto para executar localmente ou em cloud

Pipeline executável com um único comando

📌 Fluxo principal do projeto:

etl_pipeline.py → orquestra o ETL

extract.py → extrai dados

transform.py → transforma e enriquece

load.py → carrega no banco

config.py → centraliza configuração

💡 O que aprendi com esse projeto:

Mesmo um ETL simples pode ser estruturado com boas práticas de engenharia de dados, modularidade e padrões de produção. O diferencial está em projetar pensando em escalabilidade, rastreabilidade e facilidade de manutenção — exatamente o que esse pipeline entrega.

🚀 Pipeline de Ingestão de Dados CSV para Data Lake na AWS

Felipe Wendel — Thu, 12 Feb 2026 21:35:35 +0000

Desenvolvi um pipeline completo de engenharia de dados que automatiza todo o processo de ingestão, transformação e catalogação de arquivos CSV em um Data Lake moderno e escalável na AWS.

🎯 Problema Resolvido:
Muitas empresas recebem dados em CSV de diferentes fontes (sistemas legados, APIs, integrações), mas enfrentam desafios com custos de armazenamento, lentidão em queries e falta de governança. Este pipeline resolve esses problemas com uma arquitetura serverless que escala automaticamente.

💻 Stack Tecnológico:
• AWS Lambda - Processamento serverless com auto-scaling
• Amazon S3 - Storage em camadas (Raw Zone + Data Lake)
• AWS Glue - Catalogação automática de metadados
• Amazon Athena - Queries SQL serverless
• CloudWatch - Monitoramento e logs em tempo real
• SNS - Notificações de erros e alertas
• Python 3.9+ - Pandas, PyArrow, Boto3
• Terraform - Infrastructure as Code completa
• GitHub Actions - CI/CD automatizado
• pytest + moto - Suite de testes automatizados

✨ Principais Funcionalidades:
✅ Conversão automática CSV → Parquet com 80% de redução no storage
✅ Particionamento inteligente por data para otimizar queries
✅ Validação automática de schema e qualidade dos dados
✅ Tratamento robusto de erros com retry logic e dead letter queue
✅ Catalogação automática no AWS Glue para consultas SQL via Athena
✅ Sistema completo de monitoramento com alarmes e notificações SNS
✅ Testes automatizados com pytest e moto (80%+ de cobertura)
✅ CI/CD pipeline para deploy automatizado e seguro
✅ Logs estruturados para troubleshooting eficiente

🏗️ Arquitetura Serverless Event-Driven:
Upload de CSV no S3 Raw → S3 Event Trigger → Lambda Processing → Validação de Schema → Conversão para Parquet → Storage no Data Lake (particionado) → Catalogação no Glue Catalog → Queries SQL com Athena

📊 Resultados e Impacto:
• 80% de redução nos custos de armazenamento (CSV vs Parquet comprimido)
• Queries 10x+ mais rápidas com formato colunar otimizado
• 100% automatizado - zero intervenção manual necessária
• Processa milhares de arquivos por dia com escalabilidade automática
• Custo operacional mínimo - paga apenas pelo processamento real (serverless)
• Tempo de implementação reduzido com IaC (deploy em minutos)

💡 Diferenciais Técnicos:
• Código modular e testável seguindo princípios SOLID
• Infraestrutura versionada e reproduzível com Terraform
• Observabilidade completa com métricas customizadas
• Segurança com IAM roles e políticas de least privilege
• Documentação técnica completa e diagramas de arquitetura