🚀 Pipeline de Ingestão de Dados CSV para Data Lake na AWS

Desenvolvi um pipeline completo de engenharia de dados que automatiza todo o processo de ingestão, transformação e catalogação de arquivos CSV em um Data Lake moderno e escalável na AWS.

🎯 Problema Resolvido:
Muitas empresas recebem dados em CSV de diferentes fontes (sistemas legados, APIs, integrações), mas enfrentam desafios com custos de armazenamento, lentidão em queries e falta de governança. Este pipeline resolve esses problemas com uma arquitetura serverless que escala automaticamente.

💻 Stack Tecnológico:
• AWS Lambda - Processamento serverless com auto-scaling
• Amazon S3 - Storage em camadas (Raw Zone + Data Lake)
• AWS Glue - Catalogação automática de metadados
• Amazon Athena - Queries SQL serverless
• CloudWatch - Monitoramento e logs em tempo real
• SNS - Notificações de erros e alertas
• Python 3.9+ - Pandas, PyArrow, Boto3
• Terraform - Infrastructure as Code completa
• GitHub Actions - CI/CD automatizado
• pytest + moto - Suite de testes automatizados

✨ Principais Funcionalidades:
✅ Conversão automática CSV → Parquet com 80% de redução no storage
✅ Particionamento inteligente por data para otimizar queries
✅ Validação automática de schema e qualidade dos dados
✅ Tratamento robusto de erros com retry logic e dead letter queue
✅ Catalogação automática no AWS Glue para consultas SQL via Athena
✅ Sistema completo de monitoramento com alarmes e notificações SNS
✅ Testes automatizados com pytest e moto (80%+ de cobertura)
✅ CI/CD pipeline para deploy automatizado e seguro
✅ Logs estruturados para troubleshooting eficiente

🏗️ Arquitetura Serverless Event-Driven:
Upload de CSV no S3 Raw → S3 Event Trigger → Lambda Processing → Validação de Schema → Conversão para Parquet → Storage no Data Lake (particionado) → Catalogação no Glue Catalog → Queries SQL com Athena

📊 Resultados e Impacto:
• 80% de redução nos custos de armazenamento (CSV vs Parquet comprimido)
• Queries 10x+ mais rápidas com formato colunar otimizado
• 100% automatizado - zero intervenção manual necessária
• Processa milhares de arquivos por dia com escalabilidade automática
• Custo operacional mínimo - paga apenas pelo processamento real (serverless)
• Tempo de implementação reduzido com IaC (deploy em minutos)

💡 Diferenciais Técnicos:
• Código modular e testável seguindo princípios SOLID
• Infraestrutura versionada e reproduzível com Terraform
• Observabilidade completa com métricas customizadas
• Segurança com IAM roles e políticas de least privilege
• Documentação técnica completa e diagramas de arquitetura