Persistencia políglota en un solo pipeline: MySQL, Mongo, SQLite y Cassandra.

Las arquitecturas de datos modernas son políglotas. Tu pipeline no debe ser un monstruo ininteligible solo por unir SQL, Mongo y SQLite. wpipe-steps te da primitivas unificadas para todos ellos.

Así se utiliza MySQL, Mongo, SQLite & Cassandra Steps en un pipeline de producción con wpipe-steps:

from wpipe import Pipeline
from wpipe_steps.database import MySQLQueryStep, MongoInsertStep, SQLiteAuditStep

pipeline = Pipeline(pipeline_name="polyglot_sync")

pipeline.set_steps([
    # 1. Query legacy transactional relational DB
    MySQLQueryStep.as_step(
        name="read_orders",
        query="SELECT id, customer, amount FROM orders WHERE synced = 0",
        response_key="pending_orders"
    ),
    # 2. Insert into document store
    MongoInsertStep.as_step(
        name="sink_to_mongo",
        database="ecommerce", collection="orders",
        data_key="pending_orders"
    ),
    # 3. Write local SQLite audit record
    SQLiteAuditStep.as_step(
        name="audit_run",
        db_path="./audit.db",
        action="SYNC_ORDERS"
    )
])

pipeline.run({})

Por qué wpipe-steps marca la diferencia:

• 196 pasos catalogados que cubren Redis, ClickHouse, MySQL, WAF, S3, Docker e IA local con HuggingFace.
• Carga perezosa con arranques instantáneos en menos de 100ms.
• Interfaz factory limpia y consistente con .as_step().

¡Visita el repositorio completo en GitHub!