DEV Community: Alvaro Garcia

Introducción a los Data Lakes Parte 2

Alvaro Garcia — Wed, 19 Aug 2026 15:54:09 +0000

En el post anterior exploramos qué es un Data Lake y por qué son tan importantes en el ecosistema de datos actual. Ahora es momento de ensuciarnos las manos y ver exactamente qué servicios de AWS necesitamos para construir un Data Lake completamente serverless y cómo orquestarlos.

Los Servicios Fundamentales

Un Data Lake serverless en AWS se construye sobre cinco pilares fundamentales que trabajan en conjunto para crear una solución escalable y costo-eficiente:

Storage
Procesamiento
Catalogo
Seguridad
Explotación

Amazon S3 - El Corazón del Storage

S3 no es solo nuestro sistema de archivos, es la piedra angular del Data Lake. Aquí almacenamos tanto los datos crudos como los procesados, y su organización es crucial para el rendimiento y los costos.

Estructura de carpetas de un data lake estandar:

data-lake-bucket/
├── raw/                    # Datos sin procesar
│   ├── year=2024/
│   ├── month=12/
│   └── day=15/
├── processed/              # Datos transformados
│   ├── bronze/             # Limpieza básica
│         ├── year=2024/
│         ├── month=12/
│         └── day=15/           
│   ├── silver/            # Transformaciones de negocio
│         ├── year=2024/
│         ├── month=12/
│         └── day=15/         
│   └── gold/              # Datos listos para consumo
│         ├── year=2024/
│         ├── month=12/
│         └── day=15/        
└── athena-results/        # Resultados de queries

Notarás que todo el data lake se encuentra en un mismo bucket, esto es lo más recomendable ya que S3 tiene un límite de 100 bucket que podemos crear por cuenta (no importa la región, ya que S3 es un servicio global)

Configuraciones clave en S3:

Versionado habilitado para auditoría y rollback
Lifecycle policies para optimizar costos (Standard → IA → Glacier)
Server-side encryption con KMS para seguridad si es necesario.
Cross-region replication para disaster recovery

AWS Glue - El Motor de Transformación

Glue es suite de servicios de data serverless que maneja tanto el descubrimiento de esquemas como las transformaciones de datos.

Componentes principales:

Glue Jobs: Herramienta predilecta para ejecutar ETLs, nos permite procesar y transformar los datos de forma paralela, serverless y escalable usando Spark (en general Pyspark)
Glue Catalog: Metastore centralizado que actúa como nuestro "diccionario o catálogo de datos"
Glue Crawlers: Descubren automáticamente la estructura de los datos que dejamos en el storage que para este ejemplo es S3.

Un Glue Job típico se ve así:

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# Leer datos del catálogo
datasource = glueContext.create_dynamic_frame.from_catalog(
    database="mi_database",
    table_name="raw_data"
)

# Transformar datos
transformed = ApplyMapping.apply(
    frame=datasource,
    mappings=[
        ("old_column", "string", "new_column", "string"),
        ("timestamp", "string", "processed_date", "timestamp")
    ]
)

# Escribir a S3 en formato Parquet
glueContext.write_dynamic_frame.from_options(
    frame=transformed,
    connection_type="s3",
    connection_options={"path": "s3://mi-bucket/processed/"},
    format="parquet"
)

job.commit()

Amazon Athena - La Ventana de Consultas

Athena nos permite consultar nuestros datos directamente desde S3 usando SQL estándar (ANSI SQL), sin necesidad de provisionar servidores y como si estuvieramos utilizando PrestoDB como motór de consultas.

Ventajas clave:

Pay-per-query: Solo pagas por los datos escaneados
Integración nativa con Glue Catalog
Soporte para múltiples formatos: Parquet, ORC, JSON, CSV
Particionado automático para optimizar performance
Limitación a usuarios: Se puede limitar la cantidad de querys, tiempo de consultas y volumen escaneado por usuario y grupo.
Seguridad integrada: Se integra a otros servicios especialmente LakeFormation para la facil gobernanza de los datos.

Ejemplo de query optimizada:

SELECT 
    region,
    COUNT(*) as total_events,
    AVG(revenue) as avg_revenue
FROM processed_sales
WHERE year = '2024' 
    AND month = '12'
    AND event_type = 'purchase'
GROUP BY region
ORDER BY avg_revenue DESC;

Importante - Nunca hagas un Select * From porque va a ser la consulta más cara de tu vida.

AWS Lambda - La Automatización Inteligente

Lambda actúa como el pegamento que conecta todos los servicios, respondiendo a eventos y orquestando workflows complejos.

Casos de uso comunes:

Triggers de S3: Procesar archivos automáticamente al llegar
Validación de datos: Verificar calidad antes del procesamiento
Notificaciones: Alertar sobre fallos o completitud de procesos
Orquestación: Coordinar múltiples Glue Jobs

Ejemplo de función Lambda que se ejecuta cuando llega un archivo:

import boto3
import json

def lambda_handler(event, context):
    glue_client = boto3.client('glue')

    # Extraer información del evento S3
    bucket = event['Records'][0]['s3']['bucket']['name']
    key = event['Records'][0]['s3']['object']['key']

    # Iniciar Glue Job si es un archivo de datos
    if key.startswith('raw/') and key.endswith('.json'):
        response = glue_client.start_job_run(
            JobName='process-raw-data',
            Arguments={
                '--input_path': f's3://{bucket}/{key}',
                '--output_path': f's3://{bucket}/processed/'
            }
        )

        return {
            'statusCode': 200,
            'body': json.dumps(f'Job iniciado: {response["JobRunId"]}')
        }

AWS CDK - Infrastructure as Code

CDK nos permite definir toda nuestra infraestructura usando Python, manteniendo versionado y reproducibilidad.

from aws_cdk import (
    Stack,
    aws_s3 as s3,
    aws_glue as glue,
    aws_lambda as lambda_,
    aws_s3_notifications as s3n
)

class DataLakeStack(Stack):
    def __init__(self, scope, construct_id, **kwargs):
        super().__init__(scope, construct_id, **kwargs)

        # S3 Bucket para el Data Lake
        data_lake_bucket = s3.Bucket(
            self, "DataLakeBucket",
            versioned=True,
            lifecycle_rules=[
                s3.LifecycleRule(
                    id="move-to-ia",
                    transitions=[
                        s3.Transition(
                            storage_class=s3.StorageClass.INFREQUENT_ACCESS,
                            transition_after=Duration.days(30)
                        )
                    ]
                )
            ]
        )

        # Glue Database
        database = glue.CfnDatabase(
            self, "DataLakeDatabase",
            catalog_id=self.account,
            database_input=glue.CfnDatabase.DatabaseInputProperty(
                name="data_lake_db",
                description="Database for Data Lake"
            )
        )

Flujo de Datos Completo

El flujo típico en nuestro Data Lake serverless sigue este patrón:

Ingesta: Los datos llegan a S3/raw/ desde diversas fuentes
Detección: S3 Event Notification dispara una Lambda
Catalogación: Glue Crawler descubre el esquema
Procesamiento: Glue Job transforma los datos
Almacenamiento: Datos procesados van a S3/processed/
Consulta: Athena permite análisis ad-hoc
Visualización: Herramientas de BI consumen desde Athena

Optimización de Costos

Formatos de Archivo

Parquet para análisis columnar (reduce costos de Athena hasta 90%)
Compresión GZIP o Snappy para reducir storage
Particionado inteligente por fecha/región/categoría

Estrategias de Storage

S3 Intelligent Tiering para archivos con patrones de acceso variables
Lifecycle policies para mover datos antiguos automáticamente
Spot instances en Glue para workloads no críticas

Monitoreo y Alertas

# CloudWatch Custom Metrics en Lambda
import boto3

cloudwatch = boto3.client('cloudwatch')

def put_custom_metric(metric_name, value, unit='Count'):
    cloudwatch.put_metric_data(
        Namespace='DataLake/Processing',
        MetricData=[
            {
                'MetricName': metric_name,
                'Value': value,
                'Unit': unit
            }
        ]
    )

Seguridad y Governance

IAM Roles y Políticas

Cada servicio necesita permisos específicos y mínimos:

Glue Role: Acceso a S3 y CloudWatch Logs
Lambda Role: Triggers de S3 y inicio de Glue Jobs
Athena Users: Solo lectura en tablas específicas

Encriptación End-to-End

S3: Server-side encryption con KMS
Glue: Encriptación en jobs y catálogo
Athena: Encriptación de resultados

Próximos Pasos

En el siguiente post profundizaremos en AWS Glue en la práctica, incluyendo:

Optimización de Glue Jobs para grandes volúmenes
Testing y debugging de transformaciones
Patrones avanzados de ETL
Integración con herramientas de CI/CD

Un Data Lake serverless en AWS no es solo una colección de servicios, es un ecosistema integrado que, bien diseñado, puede escalar desde gigabytes hasta petabytes manteniendo costos controlados y performance óptimo.

¿Implementaste alguna de estas arquitecturas? ¿Qué desafíos te encontraste?

Contame en los comentarios tu experiencia con tus Data Lakes.

Introducción a los Data Lakes

Alvaro Garcia — Sun, 21 Jan 2024 23:36:23 +0000

Hola a todos como post inaugural en esta comunidad me gustaría contarles un poco sobre Data Lakes de una forma un poco más general.

Que es un DATA LAKE ?

Un data lake es un gran repositorio de datos estructurados y no estructurados, es donde podemos volcar todos los datos que genera la compañia.

En general los data lakes son estructuras bastante mas grandes en cuanto a volumen y capacidad de procesamiento que una base de datos normal.

Los data lakes y especialmente los data lakes en aws cobraron una notoriedad muy grande en los ultimos años, ya que nos permiten escalar en volumen de datos y capacidad de procesamiento de manera eficiente y a costos sensiblemente más bajos que con los métodos tradicionales.

Flujo de los datos

Como gran sistema de procesamiento y almacenamiento de información el data lake tiene 3 objetivos principales.

Crecimiento de los datos

Otra cuestión importante que tienen los data lakes es el crecimiento de los datos, en un data lake podemos almacenar datos de practicamente cualquier formato:

Actividad de los usuarios/clientes
Sensores IOT
Mensajeria y Redes sociales
Emails
Fotos
Videos

Estos datos pueden crecer muchisimo dependiendo del rubro y caso de uso, pero uno siempre piensa que tiene muchos menos datos de los que cree.

Desafios en la administración de un Data Lake

Algunos de los desafios que plantea la administración de un Data Lake se pueden ver a simple vista, mientras que otros surgen de el descontrol de los primeros.

En primer lugar tenemos que un data lake está en constante crecimiento y de manera exponencial algo que al final del día debe estar ordenado y aplicado de manera costo eficiente.

Luego tenemos las fuentes de datos, sistemas de archivos, apis, bases de datos, sistemas enlatados, streaming de video, redes sociales. No hay límite en cuanto desde donde podemos recibir información lo que nos obliga a mantenernos versátiles.

Como tercer punto tenemos la diversidad de esos mismos datos como vimos anteriormente, cualquier tipo de archivo del que podamos extraer un dato califica para ingresar a un data lake.

y como último desafio tenemos los más importantes a mi parecer, la cantidad de usuarios que van a utilizar el data lake y luego la capacidad de integración que requiera nuestro lago de datos con sistemas externos ya sea para analizar y/o visualizar información.

Arquitectura de un Data Lake en AWS

Ahora que ya sabemos que es y porqué es tan importante un data lake hoy en día, vemos cual es la arquitectura mínima que debemos crear para que nuestro proyecto califique como un data lake.

Canalización del análisis de datos

Definamos entonces cual es el proceso que debe seguir un dato al momento de ingresar en un data lake y como este debe actuar para que al final de todo ese camino obtengamos información.

Como pueden ver el proceso está separado en pocos pasos:

Recopilar: Aqui es donde aplicamos las tecnicas necesaria para que el dato viaje a nuestra infraestructura, ya sea que nosotros tengamos que ir a buscarla como tambien proveer un método que le permita a los proveedores de datos enviarlos al data lake. Una vez que el dato llega se almacena crudo.
Procesar y Analizar: En esta estapa vamos a tomar los datos crudos y los trabajaremos de manera que podamos obtener finalmente información relevante donde nuevamente vamos a almacenar la información en el repositorio correspondiente.
Visualizar: Por ultimo una vez que ya tenemos información debemos utilizar algun tipo de herramienta que permita al usuario visualizarla y analizarla de una manera que se ajuste a su caso de uso. Quizá con una herramienta de BI para un usuario mas ejecutivo o algo más potente como una jpyter notebook para un analista de datos.

La clave de este proceso es entender segun el dato y el caso de uso con que velocidad necesitamos tenerlo disponible desde su momento de creación. Así definiremos el balance entre costo y latencia/rendimiento.

Próximos pasos

En el siguiente post vamos a repasar los servicios de aws que necesitamos minimamente para montar un Data Lake completamente Serverless.