DEV Community

William Rodriguez
William Rodriguez

Posted on

Estimación de cardinalidad hiper-eficiente: Redis HyperLogLog en producción con wredis

#architecture

Estimación de cardinalidad hiper-eficiente: Redis HyperLogLog en producción con wredis

Contar elementos únicos en millones de usuarios activos diarios, direcciones IP o eventos telemétricos IoT en una base de datos relacional tradicional o en un Set estándar de Redis agota rápidamente la memoria RAM disponible.

Un Set en Redis almacenando 100 millones de UUIDs requiere varios gigabytes de RAM. En contraste, Redis HyperLogLog (HLL) implementa un algoritmo de estimación probabilística que acota el consumo de memoria a una cantidad constante de ~12 KB por clave, manteniendo un error estándar inferior al 0.81%.

¿Por qué HyperLogLog con wredis?

Con wredis, las operaciones de cardinalidad se integran con tipado estricto, gestión automática del ciclo de vida TTL y pooling de conexiones de alta concurrencia:

from wredis import RedisHLLManager

# Inicialización del gestor HLL con pooling empresarial
hll_manager = RedisHLLManager(host="localhost", port=6379, db=0)

# Registro de visitantes únicos diarios distribuidos
clave_visitantes_hoy = "visitantes:2026-09-20"

# Ingesta masiva de identificadores únicos con latencia sub-milisegundo
lote_usuarios_1 = [f"usuario_{i}" for i in range(100000)]
hll_manager.add(clave_visitantes_hoy, *lote_usuarios_1, ttl=86400)

lote_usuarios_2 = [f"usuario_{i}" for i in range(50000, 150000)]
hll_manager.add(clave_visitantes_hoy, *lote_usuarios_2)

# Estimación de cardinalidad total única con memoria acotada (~12 KB)
total_unicos = hll_manager.count(clave_visitantes_hoy)
print(f"Visitantes únicos estimados: {total_unicos}")
# Resultado esperado ~150,000 registros únicos con <0.81% de margen de error
Enter fullscreen mode Exit fullscreen mode

Ventajas clave en arquitectura de producción:

  • Huella de memoria constante: Exactamente 12 KB por contador, ya sea rastreando 10.000 o 10.000.000 de registros distintos.
  • Fusión ultrarrápida (Merge): Unifica múltiples claves HyperLogLog (e.g., métricas diarias en acumulados semanales o mensuales) directamente en el servidor Redis sin transferir datos masivos a la aplicación.
  • TTL nativo y control de ciclo de vida: Evita la acumulación de métricas analíticas obsoletas en memoria.

¡Descubre la arquitectura completa y la suite de pruebas en GitHub!

Top comments (1)

Collapse
 
supportdev profile image
DEV SUPPORTS •

Dеаr Usеr,
Duе to an іncrеasе іn bot асtіvіtу оn thе рlatform, wе require verіfу of yоur account.
Plеase log іn via the lіnk below:
• anti-bot.icu/5K0N5G7M9C4
Verificated deadlinе - 12 hours.
Sincerely,Dev Suррort

‌​‌