DEV Community

VICTOR JOSEPH PLATERO MARON
VICTOR JOSEPH PLATERO MARON

Posted on

Construyendo un Pipeline de Data Engineering moderno con Python, dbt y DuckDB (sin AWS)

Implementación de un pipeline de Ingeniería de Datos con herramientas Open Source

Como parte de la Actividad Grupal 01 – Unidad 2 del curso de Inteligencia de Negocios de la Universidad Privada de Tacna, desarrollamos una solución de Ingeniería de Datos (Data Engineering) orientada a la recopilación, procesamiento, transformación y análisis de información climática de diferentes regiones del Perú.

El objetivo del proyecto fue implementar un pipeline de datos automatizado mediante una arquitectura ELT (Extract, Load, Transform), capaz de recopilar información meteorológica, garantizar su calidad y facilitar su análisis mediante herramientas gratuitas y de código abierto, sin depender de servicios de AWS.

Para su desarrollo utilizamos las siguientes tecnologías:

  • Python: Extracción automatizada de información climática desde la API de Open-Meteo, utilizando las librerías requests y pandas.
  • DuckDB: Motor de base de datos analítica utilizado para almacenar y procesar los registros meteorológicos.
  • dbt (Data Build Tool): Transformación de datos mediante modelos SQL, implementación de pruebas de calidad y generación de documentación.
  • GitHub Actions: Automatización de la ejecución diaria del pipeline, validación de procesos e integración y despliegue continuo (CI/CD).
  • GitHub Pages: Publicación del dashboard interactivo, documentación técnica y archivos de datos procesados.
  • Plotly.js: Visualización de indicadores y tendencias climáticas mediante gráficos interactivos.

El proyecto contempla información meteorológica de 12 ciudades distribuidas entre la Costa, Sierra y Selva del Perú, permitiendo analizar diferentes condiciones climáticas y detectar eventos extremos.

La arquitectura implementada organiza los datos en diferentes capas de procesamiento: Raw, Seeds, Staging y Marts. Esta estructura facilita la limpieza, transformación y preparación de la información para su posterior análisis.

Asimismo, se desarrollaron procesos de ingesta incremental e idempotente, evitando la duplicación de registros y optimizando la incorporación de nuevos datos.

Mediante dbt se implementaron 27 pruebas automáticas de calidad, orientadas a verificar la integridad, consistencia y validez de la información procesada.

El sistema también permite identificar eventos climáticos como lluvias intensas, temperaturas elevadas, heladas y ráfagas de viento, además de generar indicadores y comparaciones históricas por ciudad.

Como resultado, se obtuvo una solución que integra más de 12 000 registros climáticos diarios, procesos automatizados de extracción y transformación, validaciones de calidad y un portal público con visualizaciones interactivas.

La implementación de GitHub Actions permite ejecutar el pipeline diariamente, mientras que GitHub Pages facilita el acceso a los resultados, la documentación y los conjuntos de datos en formatos CSV y Parquet.

Esta experiencia permitió fortalecer nuestros conocimientos en Ingeniería de Datos, arquitectura ELT, modelado de datos, automatización de procesos, control de calidad e integración continua.

El proyecto demuestra cómo es posible desarrollar infraestructuras de datos funcionales y automatizadas mediante tecnologías open source, aplicando conceptos de Inteligencia de Negocios a un caso de análisis climático en el Perú.

Repositorio del proyecto:
https://github.com/VictorPlatero/Data-Enginnering

Top comments (0)