Emre Demir

Posted on Apr 1 • Originally published at apidog.com

Google Pub Sub: Umfassender Leitfaden für Cloud Messaging

Google Pub Sub, offiziell bekannt als Google Cloud Pub/Sub, ist ein vollständig verwalteter Echtzeit-Messaging-Dienst für die asynchrone Kommunikation zwischen unabhängigen Anwendungen und Diensten. Das System ermöglicht die Entkopplung von Systemen mit einem zuverlässigen, skalierbaren Publish-Subscribe-Modell und unterstützt Aufnahme und Verteilung von Ereignissen im großen Maßstab – essenziell für moderne Cloud-Anwendungen.

Probiere Apidog noch heute aus

Ob Sie Mikroservices bauen, Analyse-Pipelines einrichten oder verteilte Systeme integrieren: Das Verständnis von Google Pub Sub ist entscheidend für die Entwicklung Cloud-nativer Anwendungen.

Wie Google Pub Sub funktioniert: Schlüsselkonzepte und Architektur

Google Pub Sub basiert auf dem Publish-Subscribe-Messaging-Prinzip. Ein Publisher sendet Nachrichten an ein Topic, während Subscribers diese Nachrichten asynchron empfangen.

Kernkomponenten von Google Pub Sub

Topics (Themen): Benannte Ressourcen für Nachrichten von Publishern.
Subscriptions (Abonnements): Nachrichtenstrom von einem Topic an Abonnenten.
Publishers (Herausgeber): Anwendungen, die Nachrichten an ein Topic senden.
Subscribers (Abonnenten): Anwendungen oder Dienste, die Nachrichten aus einem Abonnement eines Topics empfangen.

Nachrichtenfluss

Publisher sendet Nachricht an ein Topic.
Ein oder mehrere Abonnements sind mit dem Topic verbunden.
Abonnenten holen (pull) oder empfangen (push) Nachrichten von ihren Abonnements.
Nachrichten werden durch die Abonnenten bestätigt (ack), was At-Least-Once-Zustellung garantiert.

Google Pub Sub unterstützt Push- und Pull-Zustellung:

Pull: Abonnenten fordern Nachrichten explizit an.
Push: Nachrichten werden automatisch an einen konfigurierten HTTP-Endpunkt gesendet.

Zuverlässigkeit und Skalierbarkeit

Pub Sub speichert Nachrichten redundant über mehrere Zonen, garantiert At-Least-Once-Zustellung und skaliert automatisch auf Millionen Nachrichten pro Sekunde – ideal für Big Data-, Analyse- und IoT-Szenarien.

Hauptfunktionen, die Google Pub Sub auszeichnen

1. Vollständig verwaltet und serverlos

Keine Serververwaltung nötig. Skalierung, Verfügbarkeit und Dauerhaftigkeit werden automatisch von Google übernommen.

2. Globale Verfügbarkeit

Regionenübergreifende Nutzung – ideal für globale Anwendungen und Disaster Recovery.

3. Flexible Zustellungsmodi

Wählen Sie zwischen Push- und Pull-Zustellung. Fan-out-Muster sind nativ.

4. Sicherheit und Compliance

Verschlüsselung im Transit und at Rest. Zugriffskontrolle über IAM-Richtlinien.

5. Geordnete Zustellung und Exactly-Once-Verarbeitung

Optionale Nachrichtenreihenfolge pro Schlüssel sowie Integration mit Dataflow ermöglichen anspruchsvolle Verarbeitungssemantiken.

Google Pub Sub einrichten: Schritt-für-Schritt-Anleitung

So richten Sie Google Pub Sub für Ihr Cloud-Projekt ein:

1. Ein Topic erstellen

gcloud pubsub topics create my-topic

2. Ein Abonnement erstellen

gcloud pubsub subscriptions create my-subscription --topic=my-topic

3. Eine Nachricht veröffentlichen

gcloud pubsub topics publish my-topic --message="Hello, world!"

4. Nachrichten abrufen

gcloud pubsub subscriptions pull my-subscription --auto-ack

Alternativ können Sie die Google Cloud Pub/Sub Client-Bibliotheken für Java, Python, Node.js usw. nutzen.

Beispiel: Veröffentlichen und Empfangen mit Python

from google.cloud import pubsub_v1

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path('your-project-id', 'my-topic')
publisher.publish(topic_path, b'Hello, Pub/Sub!')

subscriber = pubsub_v1.SubscriberClient()
subscription_path = subscriber.subscription_path('your-project-id', 'my-subscription')

def callback(message):
    print(f"Received: {message.data}")
    message.ack()

subscriber.subscribe(subscription_path, callback=callback)

Praxisbeispiele für Google Pub Sub

1. Ereignisgesteuerte Mikroservices

Mikroservices können Ereignisse via Pub Sub austauschen, ohne enge Kopplung – das fördert Skalierbarkeit und Wartbarkeit.

2. Erfassung von Analyse- und Protokolldaten

Protokolle und Analysedaten lassen sich per Pub Sub einfach an BigQuery, Dataflow oder andere Plattformen streamen.

3. IoT-Datenströme

Millionen IoT-Geräte senden Sensordaten an Pub/Sub-Topics; Backend-Services verarbeiten diese in Echtzeit.

4. Echtzeit-Benachrichtigungen

Mit Pub Sub können Sie Benachrichtigungen, Dashboard-Updates oder Workflow-Auslösungen in Echtzeit realisieren.

5. Workflow-Orchestrierung

Komplexe, verteilte Workflows lassen sich mit Pub Sub lose koppeln und effizient steuern.

Google Pub Sub in die API-gesteuerte Entwicklung integrieren

Für robuste APIs, die mit Google Pub Sub interagieren, ist Apidog ein wertvolles Tool. Mit Apidog können Entwickler:

APIs entwerfen und dokumentieren, die Nachrichten an Pub/Sub-Topics senden oder abonnieren.
Pub/Sub-Endpunkte mocken, um Nachrichtenflüsse im Entwicklungsprozess zu simulieren.
HTTP-Push-Endpunkte testen, die Nachrichten von Pub/Sub empfangen, um korrekte Datenverarbeitung sicherzustellen.

Binden Sie Apidog in Ihren Workflow ein, um APIs, die mit Pub Sub interagieren, zu entwerfen, zu mocken und zu testen und so Ihre Entwicklung zu beschleunigen.

Best Practices für die Verwendung von Google Pub Sub

1. Strukturierte Nachrichten-Payloads

Nutzen Sie JSON oder Protobuf für Payloads, um Interoperabilität und einfaches Parsen sicherzustellen.

2. Idempotente Abonnenten

Implementieren Sie Abonnenten so, dass Wiederholungen (wegen At-Least-Once-Zustellung) keine Probleme verursachen.

3. Überwachen und Alarmieren

Verwenden Sie Google Cloud Monitoring für Metriken wie Nachrichtenrückstände, Latenz und Fehlerraten.

4. Zugriffskontrolle

Steuern Sie Berechtigungen präzise mit IAM-Rollen. Nur notwendige Rechte vergeben.

5. API-First-Entwicklung

Definieren Sie Pub/Sub-APIs und Schemata frühzeitig und nutzen Sie Apidog zur Dokumentation und Konsistenzsicherung im Team.

Erweiterte Funktionen: Sortierung, Filterung und Dead-Letter-Topics

Nachrichtenreihenfolge

Für strikte Reihenfolge (z.B. Finanztransaktionen): Nutzen Sie Schlüssel zum Erzwingen der Nachrichtenreihenfolge.

Nachrichtenfilterung

Abonnements können nach Attributen filtern und so nur relevante Nachrichten empfangen.

Dead-Letter-Topics

Richten Sie Dead-Letter-Topics ein, um unzustellbare Nachrichten separat zu behandeln und später zu analysieren.

Google Pub Sub Preise und Limits

Die Preise richten sich nach dem Datenvolumen (z.B. 10 GB/Monat kostenlos). Prüfen Sie aktuelle Limits und Details auf der Google Cloud Pub/Sub Preisgestaltungsseite.

Praktisches Beispiel: Aufbau einer Echtzeit-Analyse-Pipeline mit Google Pub Sub

Beispiel: Webanalyseplattform. Jedes Seitenaufruf-Ereignis wird von der Frontend-App als JSON an ein Pub/Sub-Topic gesendet. Ein Backend-Service abonniert das Topic, verarbeitet die Events und speichert aggregierte Daten in BigQuery.

Workflow:

Frontend: Publiziert JSON an das Topic pageviews.
Pub/Sub: Leitet Ereignisse an das Abonnement analytics-service weiter.
Backend: Holt Nachrichten, verarbeitet sie und schreibt in BigQuery.
Dashboard: Fragt BigQuery für Echtzeit-Metriken ab.

Mit Apidog können Sie die API-Endpunkte für das Publizieren und Empfangen entwerfen, dokumentieren und Mock-Antworten für Frontend- und Backend-Tests erstellen.

Fazit: Google Pub Sub für moderne Cloud-Anwendungen meistern

Google Pub Sub ist ein zentrales Element für skalierbare, ereignisgesteuerte Cloud-Architekturen. Es ermöglicht robustes Echtzeit-Messaging, Big-Data-Ingestion und die Entkopplung von Microservices.

Ob API-Design, Workflow-Orchestrierung oder Analyse-Pipelines: Pub Sub beschleunigt Innovation und sorgt in Kombination mit Tools wie Apidog für dokumentierte, wartbare und zuverlässige Anwendungen.

DEV Community