Allgemeines

F: Was ist Amazon MSK?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) ist ein AWS-Streaming-Datenservice, der die Infrastruktur und den Betrieb von Apache Kafka verwaltet und es Entwicklern und DevOps-Managern ermöglicht, Apache-Kafka-Anwendungen auf AWS auszuführen, ohne dass sie zu Experten im Betrieb von Apache-Kafka-Clustern werden müssen. Amazon MSK ist der ideale Ort, um bestehende oder neue Apache Kafka-Anwendungen in AWS auszuführen. Amazon MSK betreibt und wartet Apache Kafka -Cluster, bietet sofort einsatzbereite Sicherheitsfunktionen für Unternehmen und verfügt über eingebaute AWS-Integrationen, die die Entwicklung von Streaming-Datenanwendungen beschleunigen. Als Einstieg können Sie bestehende Apache Kafka-Workloads in Amazon MSK migrieren oder mit wenigen Klicks neue Workloads innerhalb von Minuten von Grund auf neu erstellen. Es fallen keine Datentransfergebühren für den Datenverkehr in Clustern an, und es sind keine Verpflichtungen oder Vorauszahlungen erforderlich. Sie zahlen nur für die tatsächlich genutzten Ressourcen.
 
F: Was ist Apache Kafka?
Apache Kafka ist eine leistungsstarke, fehlertolerante und skalierbare Open-Source-Plattform für den Aufbau von Echtzeit-Streaming-Datenpipelines und -Anwendungen. Apache Kafka ist ein Streaming-Datenspeicher, der Anwendungen, die Streaming-Daten in seinen Datenspeicher produzieren (Produzenten), von solchen Anwendungen entkoppelt, die Streaming-Daten aus dem Datenspeicher verwenden (Konsumenten). Unternehmen nutzen Apache Kafka als Datenquelle für Anwendungen, die kontinuierlich Streaming-Daten analysieren und darauf reagieren. Erfahren Sie mehr über Apache Kafka.
 
F: Was sind Streaming-Daten?
Beim Streaming von Daten handelt es sich um einen kontinuierlichen Stream kleiner Datensätze oder Ereignisse (ein Datensatz oder Ereignis besteht normalerweise aus wenigen Kilobyte), die von Tausenden von Computern, Geräten, Websites und Anwendungen generiert werden. Zu den Streaming-Daten gehören eine Vielzahl an Daten, wie Protokolldateien, die von Kunden auf Ihren Mobil- oder Webanwendungen generiert werden, E-Commerce-Käufe, Spieleraktivitäten im Spiel, Informationen aus sozialen Netzwerken, Börsenmarktinformationen, Geodaten-Services, Sicherheitsprotokolle, Metriken und Telemetriedaten von verbundenen Geräten oder Instrumenten in Rechenzentren. Mit Streaming-Datendiensten wie Amazon MSK und Amazon Kinesis Data Streams können Sie Streaming-Daten auf einfache Weise kontinuierlich erfassen, verarbeiten und bereitstellen. Erfahren Sie mehr über Streaming-Daten.
 
F: Was sind die wichtigsten Funktionen von Apache Kafka?
Apache Kafka verfügt über drei Hauptfunktionen:
 
  • Apache Kafka speichert Streaming-Daten auf fehlertolerante Weise und stellt einen Puffer zwischen Produzenten und Konsumenten bereit. Es speichert Ereignisse als kontinuierliche Datensätze und bewahrt die Reihenfolge, in der die Datensätze produziert wurden. 
  • Apache Kafka ermöglicht es vielen Datenproduzenten – z. B. Websites, Internet-der Dinge (IoT)-Geräte, Amazon Elastic Compute Cloud (Amazon EC2) – kontinuierlich Streaming-Daten zu veröffentlichen und sie anhand von Apache-Kafka-Themen zu kategorisieren. Zahlreiche Datenkonsumenten (z. B. Machine Learning-Anwendungen, AWS-Lambda-Funktionen oder Microservices) lesen diese Themen in eigener Geschwindigkeit aus, ähnlich einer Nachrichtenwarteschlange oder einem Unternehmensnachrichtensystem.
  • Datenkonsumenten verarbeiten Daten aus Apache Kafka-Themen auf First-in-First-out-Basis, wobei die Reihenfolge, in der die Daten produziert wurden, erhalten bleibt.
 
F: Welches sind die Kernkonzepte von Apache Kafka?
Apache Kafka speichert Datensätze in Themen. Datenproduzenten schreiben Datensätze in Themen und Datenkonsumenten lesen Datensätze aus Themen. Jeder Datensatz in Apache Kafka besteht aus einem Schlüssel, einem Wert und einem Zeitstempel. Apache Kafka partitioniert Themen und repliziert diese Partitionen über mehrere Knoten, die Broker genannt werden. Apache Kafka läuft als Cluster auf einem oder mehreren Brokern, und Broker können sich in mehreren AWS-Verfügbarkeitszonen befinden, um einen hochverfügbaren Cluster zu erstellen. Apache Kafka basiert auf Apache ZooKeeper, um Cluster-Aufgaben zu koordinieren, und kann den Status für Ressourcen beibehalten, die mit einem Apache-Kafka-Cluster interagieren.
 
F: Wann sollte ich Apache Kafka einsetzen?
Apache Kafka wird verwendet, um Echtzeitanwendungen zu unterstützen, die Streaming-Daten umwandeln, bereitstellen und darauf reagieren, und um Echtzeit-Streaming-Datenpipelines aufzubauen, die zuverlässig Daten zwischen mehreren Systemen oder Anwendungen übertragen.
 
F: Was macht Amazon MSK?
Mit Amazon MSK ist es einfach, Open-Source-Versionen von Apache Kafka in AWS mit hoher Verfügbarkeit und Sicherheit zu starten und gleichzeitig die Integration mit AWS-Diensten zu ermöglichen, ohne dass ein Apache Kafka-Cluster ausgeführt werden muss. Amazon MSK ermöglicht es Ihnen, Open Source-Versionen von Apache Kafka zu verwenden und zu konfigurieren, während der Service die Einrichtung, Bereitstellung, AWS-Integration und laufende Wartung von Apache Kafka-Clustern verwaltet.
 
Mit nur wenigen Klicks in der Konsole können Sie einen Amazon MSK-Cluster einrichten. Von dort aus ersetzt Amazon MSK unbrauchbare Broker, repliziert automatisch Daten für Hochverfügbarkeit, verwaltet Apache ZooKeeper-Knoten, stellt bei Bedarf automatisch Hardware-Patches bereit, verwaltet die Integration in AWS-Services, macht wichtige Metriken über die Konsole sichtbar und unterstützt Apache Kafka-Versionsupgrades, sodass Sie von Verbesserungen an der Open-Source-Version von Apache Kafka profitieren können.
 
F: Welche Apache Kafka-Versionen werden von Amazon MSK unterstützt?
Die unterstützten Kafka-Versionen sind in der Amazon-MSK-Dokumentation aufgeführt.
 
F: Sind Apache Kafka-APIs mit Amazon MSK kompatibel?
Ja, alle Datenebenen- und Admin-APIs werden von Amazon MSK nativ unterstützt.
 
F: Wird der Apache Kafka AdminClient von Amazon MSK unterstützt?
Ja.
 
F: Unterstützt Amazon MSK die Registrierung von Schemata?
Ja, Apache Kafka Kunden können die AWS Glue Schema Registry, eine serverlose Funktion von AWS Glue, ohne zusätzliche Kosten nutzen. Besuchen Sie die Benutzerdokumentation von Schema Registry für die ersten Schritte und weitere Informationen.

Datenproduktion und -konsum

F: Kann ich Apache Kafka APIs verwenden, um Daten von und nach Apache Kafka zu übertragen?
Ja, Amazon MSK unterstützt die nativen Produzenten- und Konsumenten-APIs von Apache Kafka. Ihr Anwendungscode muss nicht geändert werden, wenn Clients innerhalb von Amazon MSK mit Clustern arbeiten.
 
F: Kann ich Apache Kafka Connect, Apache Kafka Streams oder jede andere Ökosystemkomponente von Apache Kafka mit Amazon MSK verwenden?
Ja, Sie können jede Komponente verwenden, die die Apache Kafka Produzenten- und Konsumenten-APIs sowie den Apache Kafka Admin Client nutzt. Tools, die .jar-Dateien in Apache Kafka-Cluster hochladen, sind derzeit nicht mit Amazon MSK kompatibel, darunter Confluent Control Center, Confluent Auto Data Balancer und Uber  uReplicator.

Migration zu Amazon MSK

F: Kann ich Daten innerhalb meines bestehenden Apache Kafka-Clusters zu Amazon MSK migrieren?
Ja, Sie können Drittanbieter-Tools oder Open Source-Tools wie MirrorMaker verwenden, die mit Open Source-Apache Kafka geliefert werden, um Daten aus Clustern in einen Amazon MSK-Cluster zu replizieren. Hier finden Sie ein Amazon MSK-Migrationslabor, das Ihnen hilft, eine Migration durchzuführen.

Versionsupgrades

F: Werden Upgrades der Apache Kafka-Version unterstützt?
Ja, Amazon MSK unterstützt vollständig unterstützte Apache Kafka-Versionsupgrades im Hintergrund. Weitere Informationen zu Upgrades ihrer Apache Kafka-Version und bewährten Methoden zu hoher Verfügbarkeit finden Sie in der Dokumentation zu Versionsupgrades.

Cluster

F: Wie erstelle ich meinen ersten Amazon MSK-Cluster?
Sie können Ihren ersten Cluster mit nur wenigen Klicks in der AWS-Managementkonsole oder mit Hilfe der AWS SDKs erstellen. Wählen Sie zunächst in der Amazon MSK-Konsole eine AWS-Region aus, in der ein Amazon MSK-Cluster erstellt werden soll. Bestimmen Sie einen Namen für Ihren Cluster, die VPC, mit der Sie den Cluster betreiben möchten, eine Datenreplikationsstrategie für den Cluster und die Subnetze für jede AZ. Wählen Sie anschließend einen Broker-Instance-Typ und die Anzahl der Broker pro AZ aus und klicken Sie auf „Erstellen“.

F: Welche Ressourcen befinden sich in einem Cluster?
Jeder Cluster enthält Broker-Instances, bereitgestellten Speicher und Apache ZooKeeper-Knoten.

F: Welche Broker-Instance-Typen kann ich innerhalb eines Amazon MSK-Clusters bereitstellen?
Sie können Instances der EC2 T3- oder der EC2 M5-Instance-Familie verwenden.
 
F: Bietet Amazon MSK Reserved Instance-Preise an?
Nein, derzeit nicht.

F: Muss ich für die Bereitstellung und Bezahlung von Broker-Boot-Volumes sorgen?
Nein, jeder Broker, den Sie bereitstellen, beinhaltet Boot-Volume-Speicher, der vom Amazon MSK-Service verwaltet wird.

F: Wenn ich einen Apache Kafka-Cluster erstelle, erscheinen dann die zugrunde liegenden Ressourcen (z. B. Amazon EC2-Instances) in meiner EC2-Konsole?
Einige Ressourcen, wie z. B. elastische Netzwerkschnittstellen (ENIs), werden in Ihrem Amazon EC2-Konto angezeigt. Andere Amazon MSK-Ressourcen werden in Ihrem EC2-Konto nicht angezeigt, da diese vom Amazon MSK-Service verwaltet werden.

F: Was muss ich innerhalb eines Amazon MSK-Clusters bereitstellen?
Sie müssen Broker-Instances und Broker-Speicher mit jedem Cluster, den Sie erstellen, bereitstellen. Sie brauchen keine Apache ZooKeeper-Knoten bereitzustellen, da diese Ressourcen ohne Aufpreis bei jedem von Ihnen erstellten Cluster enthalten sind.

F: Wie lautet die standardmäßige Broker-Konfiguration für einen Cluster?
Sofern nicht anders angegeben, verwendet Amazon MSK die gleichen Standardwerte, die auch in der Open Source-Version von Apache Kafka angegeben sind. Die Standardeinstellungen sind hier dokumentiert. 
F: Kann ich Broker so bereitstellen, dass sie über AZs hinweg unausgewogen sind (z. B. 3 in us-east-1a, 2 in us-east-1b, 1 in us-east-1c)?
Nein, Amazon MSK setzt die bewährte Vorgehensweise durch, Brokermengen über AZs hinweg innerhalb eines Clusters zu verteilen.

F: Wie funktioniert die Datenreplikation in Amazon MSK?
Amazon MSK verwendet die Leader-Follower-Replikation von Apache Kafka, um Daten zwischen Brokern zu replizieren. Mit Amazon MSK ist die Bereitstellung von Clustern mit Multi-AZ-Replikation ganz einfach und Sie können thematisch eine benutzerdefinierte Replikationsstrategie verwenden. Standardmäßig werden bei jeder der Replikationsoptionen Leader- und Follower-Broker unter Verwendung der angegebenen Replikationsstrategie eingesetzt und isoliert. Wenn Sie beispielsweise eine Replikationsstrategie für 3 AZ-Broker mit einem Broker pro AZ-Cluster auswählen, erstellt Amazon MSK einen Cluster von drei Brokern (1 Broker in drei AZs in einer Region), und standardmäßig ist der Replikationsfaktor des Themas ebenfalls drei (es sei denn, Sie überschreiben den Replikationsfaktor des Themas).

F: Kann ich die Standard-Broker-Konfigurationen ändern oder eine Cluster-Konfiguration in Amazon MSK hochladen?
Ja, mit Amazon MSK können Sie benutzerdefinierte Konfigurationen erstellen und auf neue und bestehende Cluster anwenden. Weitere Informationen zu benutzerdefinierten Konfigurationen finden Sie in der Konfigurationsdokumentation.

F: Welche Konfigurationseigenschaften kann ich anpassen?
Die Konfigurationseigenschaften, die Sie anpassen können, werden hier dokumentiert.

F: Wie lautet die Standardkonfiguration für ein neues Thema?
Amazon MSK verwendet die Standardkonfiguration von Apache Kafka, wenn hier nichts anderes angegeben ist.

Themen

F: Wie erstelle ich Themen?
Nachdem Ihr Apache Kafka-Cluster erstellt wurde, können Sie mit Hilfe der Apache Kafka-APIs Themen erstellen. Alle Aktionen und Konfigurationen auf Themen- und Partitionsebene werden über Apache Kafka-APIs durchgeführt. Der folgende Befehl ist ein Beispiel für das Erstellen eines Themas mithilfe von Apache Kafka-APIs:
 
bin/kafka-topics.sh --create —bootstrap-server ConnectionString:9092 --replication-factor 3 --partitions 1 --topic TopicName  

Netzwerk

F: Kann Amazon MSK in einer Amazon VPC ausgeführt werden?
Ja, Amazon MSK kann immer innerhalb einer Amazon VPC ausgeführt werden, die vom Amazon MSK-Service verwaltet wird. Amazon MSK-Ressourcen sind für Ihre eigene Amazon VPC-, Subnetz- und Sicherheitsgruppe verfügbar, die Sie beim Einrichten des Clusters auswählen. IP-Adressen Ihrer VPCs sind über elastische Netzwerkschnittstellen (ENIs) mit Ihren Amazon MSK-Ressourcen verbunden, und der gesamte Netzwerkverkehr bleibt im AWS-Netzwerk und ist nicht über das Internet zugänglich.
 
F: Ist die Verbindung zwischen meinen Clients und einem Amazon MSK-Cluster immer privat?
Ja, die einzige Möglichkeit, Daten aus einem Amazon MSK-Cluster zu produzieren und zu konsumieren, besteht über eine private Verbindung zwischen den Clients in Ihrer VPC und dem Amazon MSK-Cluster. Amazon MSK unterstützt keine öffentlichen Endpunkte.

F: Wie werden die Broker in meinem Amazon MSK-Cluster den Clients in meiner VPC zugänglich gemacht?
Die Broker in Ihrem Cluster werden den Clients in Ihrer VPC über elastische Netzwerkschnittstellen (ENIs) zugänglich gemacht, die in Ihrem Konto erscheinen. Die Sicherheitsgruppen auf den ENIs bestimmen die Quelle und Art des Ein- und Ausgangsverkehrs, der auf Ihren Brokern zulässig ist.

F: Wie kann ich Clients, die in verschiedenen AWS-Konten betrieben werden, Zugriff auf meinen Cluster gewähren?
Sie können VPC-Peering verwenden, um Clients, die in verschiedenen AWS-Konten betrieben werden, Zugriff auf Ihren Cluster zu gewähren.

Mit der VPC verbinden

Q: Wie verbinde ich mich mit meinem AWS MSK-Cluster außerhalb der VPC?

Es gibt verschiedene Methoden, um eine Verbindung zu Ihren AWS MSK-Clustern außerhalb Ihrer VPC herzustellen.

Verschlüsselung

F: Kann ich in meinem Amazon MSK-Cluster Daten verschlüsseln?
Ja, Amazon MSK verwendet die serverseitige Amazon-EBS-Verschlüsselung und AWS-KMS-Schlüssel zur Verschlüsselung von Speichervolumen.

F: Werden Daten während der Übertragung zwischen Brokern in einem Amazon MSK-Cluster verschlüsselt?
Ja, in neuen Clustern ist standardmäßig die Verschlüsselung während der Übertragung über TLS für die Kommunikation zwischen Brokern aktiviert. Sie können die Verwendung der Verschlüsselung während der Übertragung deaktivieren, wenn ein Cluster erstellt wird.

F: Werden Daten während der Übertragung zwischen meinen Apache Kafka-Clients und dem Amazon MSK-Dienst verschlüsselt?
Ja, standardmäßig ist die In-Transit-Verschlüsselung nur für über die CLI- oder AWS-Konsole erstellte Cluster auf TLS eingestellt. Für Clients ist zur Kommunikation mit Clustern, welche die TLS-Verschlüsselung nutzen, weitere Konfiguration erforderlich. Sie können die Standardverschlüsselungseinstellung durch Auswahl der TLS/Klartext- oder Klartext-Einstellungen ändern. Weitere Informationen: Über MSK-Verschlüsselung

F: Werden Daten während der Übertragung zwischen Brokern und Apache-ZooKeeper-Knoten in einem Amazon-MSK-Cluster verschlüsselt?
Ja, Amazon-MSK-Cluster mit Apache Kafka Version 2.5.1 oder höher unterstützen TLS-Verschlüsselung im Transit zwischen Kafka-Brokern und ZooKeeper-Knoten.
 
Q: Kann ich die Verschlüsselungseinstellungen meines Clusters aktualisieren?
Sie können die Einstellungen für die Client-to-Broker-Verschlüsselung auf Ihren Clustern über die Konsole oder die API für die Sicherheitsaktualisierung ändern. Bitte beachten Sie, dass die Einstellungen für die Broker-to-Broker-Verschlüsselung bei bestehenden Clustern nicht geändert werden können. 

Zugriffsverwaltung

F: Wie steuere ich die Cluster-Authentifizierung und die Apache Kafka API-Autorisierung?
Amazon MSK bietet drei Möglichkeiten zur Steuerung der Authentifizierung (AuthN) und Autorisierung (AuthZ). 1) IAM-Zugriffskontrolle für beide AuthN/Z (empfohlen), 2) TLS-Zertifikatsauthentifizierung (CA) für AuthN und Zugriffskontrolllisten für AuthZ, und 3) SASL/SCRAM für AuthN und Zugriffskontrolllisten für AuthZ. Amazon MSK empfiehlt die Verwendung von IAM-Zugriffskontrolle. Sie ist am einfachsten zu verwenden und, da sie standardmäßig den Zugriff mit den geringsten Rechten vorsieht, die sicherste Option.

F: Wie funktioniert die Autorisierung in Amazon MSK?
Wenn Sie IAM-Zugriffskontrolle verwenden, verwendet Amazon MSK die von Ihnen geschriebenen Richtlinien und seinen eigenen Autorisierer, um Aktionen zu autorisieren. Wenn Sie TLS-Zertifikat-Authentifizierung oder SASL/SCRAM verwenden, verwendet Apache Kafka Zugriffskontrolllisten (ACLs) für die Autorisierung. Um ACLs zu aktivieren, müssen Sie die Clientauthentifizierung mithilfe von TLS-Zertifikaten oder SASL/SCRAM aktivieren.

F: Wie kann ich einen Client gleichzeitig authentifizieren und autorisieren?
Wenn Sie die IAM-Zugriffskontrolle verwenden, authentifiziert und autorisiert Amazon MSK für Sie, ohne dass Sie zusätzliche Einstellungen vornehmen müssen. Wenn Sie die TLS-Authentifizierung verwenden, können Sie den D-Namen von Client-TLS-Zertifikaten als Prinzipal der ACL verwenden, um Client-Anforderungen zu autorisieren. Wenn Sie SASL/SCRAM verwenden, können Sie den Benutzernamen als Prinzipal der ACL verwenden, um Client-Anfragen zu autorisieren.

F: Wie steuere ich Service-API-Aktionen?
Sie können Service-API-Aktionen mit AWS IAM steuern.

F: Kann ich die IAM-Zugriffskontrolle für einen bestehenden Cluster aktivieren?
Nein, aber eine Funktion, mit der Sie Ihre Authentifizierungseinstellungen aktualisieren können, ist in Kürze verfügbar.

F: Kann ich IAM-Zugriffskontrolle außerhalb von Amazon MSK verwenden?
Nein, IAM-Zugriffskontrolle ist nur für Amazon-MSK-Cluster verfügbar.

Q: Kann ich die Authentifizierungseinstellungen meines Clusters aktualisieren?
Sie können die Authentifizierungsmodi für Ihre Cluster von der Konsole aus oder über die Update-Security-API aktivieren oder deaktivieren. Bei der Verwendung der API werden die explizit deklarierten Authentifizierungsmodi entsprechend geändert, während nicht deklarierten unverändert beibehalten werden. Wenn Ihr Cluster beispielsweise mTLS für die Authentifizierung verwendet und Sie die IAM-Zugriffskontrolle durch Aufrufen der Update-Security-API aktivieren, werden sowohl mTLS- als auch die IAM-Zugriffskontrolle in Ihrem Cluster aktiviert.

F: Kann ich in meinem Cluster mehrere Authentifizierungsmodi aktivieren?
 Ja, Sie können Ihrem Cluster mehrere Authentifizierungsmodi hinzufügen, sowohl bei der Erstellung als auch bei Aktualisierungen. Die Broker innerhalb des Clusters haben dedizierte Ports für jeden Authentifizierungsmodus und Ihre Kunden, die sich über diese Ports mit Kafka verbinden, müssen den entsprechenden Authentifizierungsmodus aktiviert haben.

F: Kann ich einen Authentifizierungsmodus in meinem Cluster deaktivieren?
 Ja, Sie können einen Authentifizierungsmodus deaktivieren. Um sicherzustellen, dass Ihre Kunden die Verbindung zu den Brokern nicht verlieren, deaktivieren Sie keine bestehenden Authentifizierungsmodi, bis alle Kunden auf die Verwendung anderer verfügbarer Authentifizierungsmodi aktualisiert wurden.

F: Kann ich mit meinem Cluster Kunden zurückverfolgen, die einen Authentifizierungsmodus verwenden?
 Ja, Sie können die Anzahl der offenen Verbindungen nach Authentifizierungsmodus zurückverfolgen, indem Sie die ClientConnectionCount-Metrik verwenden, die im AWS-/Kafka-Namespace in Amazon-CloudWatch-Metriken veröffentlicht wird.

Überwachung, Metriken, Protokoll, Markierung

F: Wie überwache ich die Leistung meiner Cluster oder Themen?
Sie können die Leistung Ihrer Cluster über die Amazon MSK-Konsole oder die Amazon CloudWatch-Konsole überwachen, oder Sie können über Prometheus, einer Open-Source-Überwachungslösung, mithilfe von Open Monitoring auf JMX- und Host-Metriken zugreifen.
 
F: Wie hoch sind die Kosten für die verschiedenen CloudWatch- Überwachungslevels?
Die Kosten der Überwachung Ihres Clusters mit Amazon CloudWatch hängt vom Überwachungslevel und der Größe Ihres Apache Kafka-Clusters ab. Amazon CloudWatch belastet metrisch pro Monat und enthält ein kostenloses Kontingent. Weitere Informationen finden Sie auf der Seite für die Amazon CloudWatch Preisgestaltung. Für Details zur Anzahl der exponierten Metriken für jedes Überwachungslevel rufen Sie die Amazon MSK-Dokumentation zur Überwachung auf.
 
F: Welche Überwachungswerkzeuge sind mit Open Monitoring mit Prometheus kompatibel?
Werkzeuge, die für das Lesen aus Prometheus-Exportern konzipiert wurden, sind mit Open Monitoring kompatibel, darunter: Datadog, Lenses, New Relic, Sumologic oder ein Prometheus-Server. Weitere Details zum Open Monitoring finden Sie in der Amazon MSK-Dokumentation zum Open Monitoring.
 
F: Wie kann ich den Betriebszustand und die Leistung von Clients überwachen?
Sie können mit jeder Client-seitigen Überwachungsanwendung arbeiten, die von der von Ihnen verwendeten Apache Kafka-Version unterstützt wird.
 
F: Kann ich Amazon MSK-Ressourcen mit Tags versehen?
Ja, Sie können Amazon MSK-Cluster über die AWS-CLI oder -Konsole kennzeichnen.
 
F: Wie überwache ich den Verbraucher-Lag?
Metriken zur Verbraucherverzögerung auf Themenebene sind als Teil des Standardsatzes an Metriken verfügbar, den Amazon MSK bei Amazon CloudWatch für alle Cluster veröffentlicht. Es ist keine zusätzliche Einrichtung erforderlich, um diese Metriken zu erhalten. Um Metriken auf Partitionsebene (Partitionsdimension) zu erhalten, können Sie die erweiterte Überwachung (PER_PARTITION_PER_TOPIC) auf Ihrem Cluster aktivieren. Alternativ können Sie die Offene Überwachung auf Ihrem Cluster aktivieren und einen Prometheus-Server verwenden, um Metriken auf Partitionsebene von den Brokern in Ihrem Cluster zu erfassen. Verbraucherverzögerungskennzahlen sind, wie auch andere Kafka-Kennzahlen, unter Port 11001 verfügbar.
 
F: Wie viel kostet es, die Metrik der Verzögerung der Verbraucher bei Amazon CloudWatch zu veröffentlichen?
Metriken auf Themenebene sind im Standardsatz der MSK-Metriken von Amazon enthalten, die kostenlos sind. Partition Level Metriken werden gemäß den Amazon CloudWatch-Preisen berechnet.
 
F: Wie kann ich auf die Apache Kafka-Broker-Protokolle zugreifen?
Sie können die Bereitstellung von Broker-Protokollen für neue und bestehende Amazon MSK-Cluster aktivieren. Sie können Broker-Protokolle an Amazon CloudWatch Logs, Amazon S3 und Kinesis Data Firehose liefern. Kinesis Data Firehose unterstützt unter anderem den Amazon Elasticsearch Service. Wie Sie diese Funktion aktivieren können, erfahren Sie in der Amazon MSK Protokollierungsdokumentation. Informationen zu den Preisen finden Sie auf den Preisseiten von CloudWatch Logs und Kinesis Data Firehose.
 
F: Wie hoch ist die Protokollierungsstufe für Maklerprotokolle?
Amazon MSK bietet INFO-Level-Protokolle für alle Broker innerhalb eines Clusters.
 
F: Wie kann ich auf die Apache ZooKeeper-Protokolle zugreifen?
Sie können Apache ZooKeeper-Protokolle über ein Support-Ticket anfordern.
 
F: Kann ich die Verwendung von Apache Kafka-Ressourcen-APIs protokollieren, z. B. Topic erstellen?
Ja, wenn Sie IAM-Zugriffskontrolle verwenden, wird die Verwendung von Apache Kafka-Ressourcen-APIs in AWS CloudTrail protokolliert. 

Apache Kafka Connect

F: Was ist Apache Kafka Connect?

Kafka Connect, eine Open-Source-Komponente von Apache Kafka, ist ein Framework zur Verbindung von Apache Kafka mit externen Systemen wie Datenbanken, Schlüssel-Werte-Datenbank, Suchindex und Dateisystemen.

F: Wo bekomme ich die Konnektoren?

MSK Connect führt jeden Konnektor aus, der die Kafka Connect-Schnittstellen implementiert. Es gibt viele Quellen für Konnektoren, unter anderem von unseren Partnern, Open-Source-Projekten wie Debezium und kommerziellen Konnektoranbietern wie Confluent und lenses.io.

F: Kann ich MSK Connect verwenden, um Daten zwischen verschiedenen Apache-Kafka-Clustern zu verschieben?

Ja, Sie können Konnektoren verwenden, die sowohl von Kafka lesen als auch in Kafka schreiben. Das beliebte Apache-Kafka-Replikationstool MirrorMaker 2 verwendet Kafka Connect, um Daten zwischen Themen auf verschiedenen Apache-Kafka-Clustern zu replizieren. Dies bietet einen einfachen Weg, Daten zwischen Kafka-Clustern zu synchronisieren oder zu migrieren.

F: Unterstützt MSK Connect nicht-MSK-Apache-Kafka-Cluster?

MSK Connect funktioniert mit Amazon MSK-Clustern, anderen Apache-Kafka- und kompatiblen Clustern, einschließlich selbst verwalteter Cluster in EC2- oder nicht-AWS-Umgebungen, vorbehaltlich der Amazon-VPC-Konnektivität. 

Apache ZooKeeper

F: Was ist Apache ZooKeeper?
Von https://zookeeper.apache.org/: „Apache ZooKeeper ist ein zentralisierter Service zur Verwaltung von Konfigurationsinformationen, Benennung, verteilten Synchronisierung und zur Bereitstellung von Gruppendiensten.“ Alle diese Arten von Services werden in irgendeiner Form von verteilten Anwendungen genutzt“, einschließlich Apache Kafka.

F: Verwendet Amazon MSK Apache ZooKeeper?
Ja, Amazon MSK verwendet Apache ZooKeeper und verwaltet Apache ZooKeeper innerhalb jedes Clusters als Teil des Amazon MSK-Service. Apache ZooKeeper-Knoten sind in jedem Cluster ohne zusätzliche Kosten enthalten.
 
F: Wie interagieren meine Clients mit Apache ZooKeeper?
Ihre Clients können mit Apache ZooKeeper über einen Apache ZooKeeper-Endpunkt interagieren, der vom Service bereitgestellt wird. Dieser Endpunkt wird in der AWS-Verwaltungskonsole oder über die DescribeCluster-API bereitgestellt.

Integrationen

F: Mit welchen AWS-Services ist Amazon MSK integriert?
Amazon MSK ist mit folgenden Services integriert:

Skalierung

F: Wie kann ich den Speicher in meinem Cluster vergrößern?
Sie können den Speicher in Ihrem Cluster mithilfe der AWS-Managementkonsole oder der AWS-Befehlszeilenschnittstelle vergrößern.
 
F: Wie kann ich den Speicher in meinem Cluster automatisch erweitern?
Sie können eine Auto Scaling-Richtlinie für die Speicherung mit der AWS-Managementkonsole oder durch die Erstellung einer Auto Scaling-Richtlinie für AWS Anwendungen mit Hilfe der AWS CLI oder APIs erstellen.

F: Kann ich die Anzahl der Broker in einem vorhandenen Cluster skalieren?
Ja. Sie können die Anzahl der Broker für bestehende Amazon MSK-Cluster nach unten oder oben skalieren.
 
F: Kann ich die Broker-Größe in einem vorhandenen Cluster skalieren?
Ja. Sie können auf Ihren Amazon MSK-Clustern auf einen kleineren oder größeren Broker-Typ skalieren.
 
F: Wie verteile ich Partitionen auf Broker?
Sie können Cruise Control für die automatische Neuverteilung von Partitionen verwenden, um die E/A-Abwärme zu verwalten. In der Cruise Control-Dokumentation finden Sie weitere Informationen. Alternativ können Sie die Kafka Admin API "kafka-reassign-partitions.sh" verwenden, um Partitionen neu auf Broker zu verteilen.

Preise und Verfügbarkeit

F: Wie sieht die Preisgestaltung von Amazon MSK aus?
Die Preisgestaltung gelten pro Broker-Stunde und pro GB-Monat des bereitgestellten Speichers. Die AWS-Datenübertragungstarife gelten für den Datentransfer in und aus Amazon MSK. Auf unserer Preisseite finden Sie entsprechende Informationen hierzu.

F: Bezahle ich für die Datenübertragung infolge einer Datenreplikation?
Nein, die gesamte Datenübertragung innerhalb des Clusters ist ohne Aufpreis im Service enthalten.
 
F: Welche AWS-Regionen bieten Amazon MSK an?
Die Amazon MSK-Regionsverfügbarkeit ist hierdokumentiert. 

F: Wie sieht die Preisgestaltung für Datenübertragungen aus?
Sie zahlen standardmäßige AWS-Datenübertragungskosten für Daten, die in und aus einem Amazon MSK-Cluster übertragen werden. Für die Datenübertragung innerhalb des Clusters in einer Region, einschließlich der Datenübertragung zwischen Brokern und der Datenübertragung zwischen Brokern und Apache ZooKeeper-Knoten, wird Ihnen keine Gebühr berechnet.

Compliance

F: Welche Compliance-Programme gelten für Amazon MSK?
Amazon MSK ist für die folgenden Programme kompatibel oder berechtigt:
  • HIPAA-konform
  • PCI
  • ISO
  • SOC 1,2,3

Eine vollständige Liste der AWS-Services und Compliance-Programme finden Sie unter AWS-Services in Scope nach Compliance-Programm.

Service Level Agreement

F: Was garantiert das Amazon MSK-SLA?
Unser Amazon MSK-SLA garantiert einen monatlichen Verfügbarkeitsprozentsatz von mindestens 99,9 % für Amazon MSK.
 
F: Wie erfahre ich, ob ich für eine Gutschrift aus dem SLA qualifiziert bin?
Sie haben Anspruch auf eine SLA-Gutschrift für Amazon MSK im Rahmen des Amazon MSK SLA, wenn Multi-AZ-Bereitstellungen auf Amazon MSK während eines monatlichen Abrechnungszyklus einen monatlichen Uptime-Prozentsatz von weniger als 99,9% aufweisen.
 
Ausführliche Informationen zu allen Bestimmungen des SLA sowie Einzelheiten zur Geltendmachung eines Anspruchs finden Sie auf der Amazon MSK-SLA-Detailseite.

Erste Schritte mit Amazon MSK

Kosten berechnen
Kosten berechnen

Zur Seite mit den Preisen für Amazon MSK

Lesen Sie das Handbuch „Erste Schritte“
Lesen Sie das Handbuch „Erste Schritte“

In dieser Schritt-für-Schritt-Anleitung erfahren Sie, wie Sie Ihren Apache Kafka-Cluster auf Amazon MSK einrichten können.

Führen Sie Ihren Apache Kafka-Cluster aus
Führen Sie Ihren Apache Kafka-Cluster aus

Führen Sie Ihren Apache Kafka-Cluster jetzt auf Amazon MSK aus. Melden Sie sich bei der Amazon MSK-Konsole an.