Infraestructura de streaming para la entrega de datos

Cuando los datos deben moverse de forma continua y reaccionar con rapidez, la infraestructura de streaming los transporta. Esta guía cubre la infraestructura de streaming para la entrega de datos.

Cuándo encaja el streaming

El streaming encaja con datos continuos y basados en eventos —telemetría, transacciones, señales— donde los consumidores reaccionan a medida que llegan los eventos. Para el análisis periódico, los lotes son más simples y baratos.

Brókeres y protocolos

Las plataformas de streaming de eventos (como Kafka) y la mensajería ligera (como MQTT) mueven datos con distintos compromisos de rendimiento, huella y semántica. La elección sigue al caso de uso.

Garantías de entrega

Los sistemas de streaming ofrecen distintas garantías —como mucho una vez, al menos una vez, exactamente una vez— con compromisos de coste y complejidad. El orden y la deduplicación importan cuando la corrección depende de ellos.

Escalado y resiliencia

La partición, la contrapresión, la reproducción y la monitorización hacen los flujos de nivel de producción. Sin ellas, los flujos de alto volumen fallan bajo carga o pierden datos en silencio.

Consideraciones de sourcing

La latencia de la fuente limita la frescura del flujo, y los datos personales en los flujos necesitan agregación o anonimización en el pipeline. La seguridad se aplica a la infraestructura en directo.

En un modelo gestionado

Un socio gestionado puede entregar datos sobre infraestructura de streaming con las garantías y la resiliencia que necesita su caso de uso.

Garantías de entrega and resilience

Las plataformas de streaming difieren en las garantías que ofrecen —como mucho una vez, al menos una vez, exactamente una vez— con compromisos de coste y complejidad, y el orden y la deduplicación importan cuando la corrección depende de ellos. Los flujos de nivel de producción también necesitan partición, gestión de contrapresión, reproducción y monitorización; sin ellas, los flujos de alto volumen fallan bajo carga o pierden datos en silencio.

Elegir según el caso de uso

El streaming encaja con datos continuos, basados en eventos y reactivos; para el análisis periódico, los lotes son más simples y baratos. La latencia de la fuente limita la frescura del flujo, y los datos personales en los flujos necesitan agregación o anonimización en el pipeline, con la seguridad aplicada a la infraestructura en directo.

Fuentes y lecturas adicionales

• Referencias de streaming de Apache Kafka y CNCF.
• OASIS: especificación MQTT.
• Referencias del sector sobre garantías de streaming.
• Práctica interna: entrega por streaming de DataSupplier.