Allgemeines

F: Was ist Amazon MSK?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) ist ein AWS-Streaming-Datenservice, der die Apache-Kafka-Infrastruktur und Betrieb verwaltet und es Entwicklern und DevOps-Managern erleichtert, Apache-Kafka-Anwendungen und Kafka-Connect-Konnektoren auf AWS auszuführen, ohne dass sie Experten für den Betrieb von Apache Kafka werden müssen. Mit Amazon MSK werden Apache-Kafka-Cluster betrieben, gewartet und skaliert. Amazon MSK bietet standardmäßig Sicherheitsfunktionen auf Unternehmensniveau und verfügt über eingebaute AWS-Integrationen, die die Entwicklung von Streaming-Datenanwendungen beschleunigen. Für den Einstieg können Sie bestehende Apache-Kafka-Workloads und Kafka-Connect-Konnektoren in Amazon MSK migrieren oder mit wenigen Klicks von Grund auf neu erstellen. Es fallen keine Datentransfergebühren für den Datenverkehr in Clustern an und es sind keine Verpflichtungen oder Vorauszahlungen erforderlich. Sie zahlen nur für die tatsächlich genutzten Ressourcen.
 
F: Was ist Apache Kafka?
Apache Kafka ist eine leistungsstarke, fehlertolerante und skalierbare Open-Source-Plattform für den Aufbau von Echtzeit-Streaming-Datenpipelines und -Anwendungen. Apache Kafka ist ein Streaming-Datenspeicher, der Anwendungen, die Streaming-Daten in seinen Datenspeicher produzieren (Produzenten), von solchen Anwendungen entkoppelt, die Streaming-Daten aus dem Datenspeicher verwenden (Konsumenten). Unternehmen nutzen Apache Kafka als Datenquelle für Anwendungen, die kontinuierlich Streaming-Daten analysieren und darauf reagieren. Erfahren Sie mehr über Apache Kafka.
 
F. Was ist Kafka Connect?
Kafka Connect, eine Open-Source-Komponente von Apache Kafka, ist ein Framework zur Verbindung von Apache Kafka mit externen Systemen wie Datenbanken, Schlüssel-Werte-Datenbank, Suchindex und Dateisystemen.
 
F: Was sind Streaming-Daten?
Beim Streaming von Daten handelt es sich um einen kontinuierlichen Stream kleiner Datensätze oder Ereignisse (ein Datensatz oder Ereignis besteht normalerweise aus wenigen Kilobyte), die von Tausenden von Computern, Geräten, Websites und Anwendungen generiert werden. Zu den Streaming-Daten gehören eine Vielzahl an Daten, wie Protokolldateien, die von Kunden auf Ihren Mobil- oder Webanwendungen generiert werden, E-Commerce-Käufe, Spieleraktivitäten im Spiel, Informationen aus sozialen Netzwerken, Börsenmarktinformationen, Geodaten-Services, Sicherheitsprotokolle, Metriken und Telemetriedaten von verbundenen Geräten oder Instrumenten in Rechenzentren. Mit Streaming-Datendiensten wie Amazon MSK und Amazon Kinesis Data Streams können Sie Streaming-Daten auf einfache Weise kontinuierlich erfassen, verarbeiten und bereitstellen. Erfahren Sie mehr über Streaming-Daten.
 
F: Was sind die wichtigsten Funktionen von Apache Kafka?
Apache Kafka verfügt über drei Hauptfunktionen:
  • Apache Kafka speichert Streaming-Daten auf fehlertolerante Weise und stellt einen Puffer zwischen Produzenten und Konsumenten bereit. Es speichert Ereignisse als kontinuierliche Datensätze und bewahrt die Reihenfolge, in der die Datensätze produziert wurden.
  • Apache Kafka ermöglicht es vielen Datenproduzenten – z. B. Websites, Internet of Things(IoT)-Geräte, Amazon Elastic Compute Cloud (Amazon EC2) – kontinuierlich Streaming-Daten zu veröffentlichen und sie anhand von Apache-Kafka-Themen zu kategorisieren. Zahlreiche Datenkonsumenten (z. B. Machine Learning-Anwendungen, AWS-Lambda-Funktionen oder Microservices) lesen diese Themen in eigener Geschwindigkeit aus, ähnlich einer Nachrichtenwarteschlange oder einem Unternehmensnachrichtensystem.
  • Datenkonsumenten verarbeiten Daten aus Apache-Kafka-Themen auf First-in-First-out-Basis, wobei die Reihenfolge, in der die Daten produziert wurden, erhalten bleibt.

F: Welches sind die Kernkonzepte von Apache Kafka?
Apache Kafka speichert Datensätze in Themen. Datenproduzenten schreiben Datensätze in Themen und Datenkonsumenten lesen Datensätze aus Themen. Jeder Datensatz in Apache Kafka besteht aus einem Schlüssel, einem Wert, einem Zeitstempel und manchmal aus Header-Metadaten. Apache Kafka partitioniert Themen und repliziert diese Partitionen über mehrere Knoten, die Broker genannt werden. Apache Kafka läuft als Cluster auf einem oder mehreren Brokern, und Broker können sich in mehreren AWS-Verfügbarkeitszonen befinden, um einen hochverfügbaren Cluster zu erstellen. Apache Kafka basiert auf Apache ZooKeeper, um Cluster-Aufgaben zu koordinieren, und kann den Status für Ressourcen beibehalten, die mit einem Apache-Kafka-Cluster interagieren.
 
F: Wann sollte ich Apache Kafka einsetzen?
Apache Kafka unterstützt die Echtzeitanwendungen, die Streaming-Daten umwandeln, bereitstellen und auf sie reagieren. Mit Apache Kafka lassen sich Echtzeit-Pipelines für Streaming-Daten entwickeln, die Daten zuverlässig zwischen mehreren Systemen oder Anwendungen übertragen.
 
F: Was macht Amazon MSK?
Amazon MSK erleichtert den sicheren und hochverfügbaren Einstieg und die Ausführung von Open-Source-Versionen von Apache Kafka auf AWS. Außerdem bietet Amazon MSK Integrationen mit AWS-Services, ohne dass der operative Aufwand für den Betrieb eines Apache Kafka-Clusters anfällt. Amazon MSK ermöglicht es Ihnen, Open-Source-Versionen von Apache Kafka zu verwenden, während der Service die Einrichtung, Bereitstellung, AWS-Integrationen und laufende Wartung von Apache-Kafka-Clustern verwaltet.

Mit nur wenigen Klicks in der Konsole können Sie einen Amazon-MSK-Cluster erstellen. Von dort aus ersetzt Amazon MSK unbrauchbare Broker, repliziert automatisch Daten für Hochverfügbarkeit, verwaltet Apache-ZooKeeper-Knoten, stellt bei Bedarf automatisch Hardware-Patches bereit, verwaltet die Integration in AWS-Services, macht wichtige Metriken über die Konsole sichtbar und unterstützt Apache-Kafka-Versionsupgrades, sodass Sie von Verbesserungen an der Open-Source-Version von Apache Kafka profitieren können.
 
F: Welche Apache Kafka-Versionen werden von Amazon MSK unterstützt?
Die unterstützten Kafka-Versionen sind in der Amazon-MSK-Dokumentation aufgeführt.
 
F: Sind Apache Kafka-APIs mit Amazon MSK kompatibel?
Ja, alle Datenebenen- und Admin-APIs werden von Amazon MSK nativ unterstützt.
 
F: Wird der Apache Kafka AdminClient von Amazon MSK unterstützt?
Ja.
 
F: Unterstützt Amazon MSK die Registrierung von Schemata?
Ja, Apache Kafka Kunden können die AWS Glue Schema Registry, eine serverlose Funktion von AWS Glue, ohne zusätzliche Kosten nutzen. Besuchen Sie die Benutzerdokumentation von Schema Registry für die ersten Schritte und weitere Informationen.

MSK Serverless

F: Was ist MSK Serverless?
MSK Serverless ist ein Clustertyp für Amazon MSK, der es Ihnen vereinfacht, Apache-Kafka-Cluster zu betreiben, ohne Rechen- und Speicherkapazität verwalten zu müssen. Sie können Ihre Anwendungen mit MSK Serverless ausführen, ohne Cluster bereitstellen, konfigurieren oder optimieren zu müssen und Sie zahlen für das Datenvolumen, das Sie streamen und aufbewahren.

F: Balanciert MSK Serverless automatisch Partitionen innerhalb eines Clusters aus?
Ja. Mit MSK Serverless können Partitionen vollständig verwaltet, überwacht und verschoben werden, um eine gleichmäßige Auslastung des Clusters zu erreichen.

F: Wie viel Datendurchsatzkapazität unterstützt MSK Serverless?
MSK Serverless bietet eine Schreibkapazität von bis zu 200 MB/s und eine Lesekapazität von 400 MB/s pro Cluster. Um außerdem eine ausreichende Durchsatzverfügbarkeit für alle Partitionen in einem Cluster zu gewährleisten, weist MSK Serverless bis zu 5 MBps an sofortiger Schreibkapazität und 10 MBps an sofortiger Lesekapazität pro Partition zu.

F: Welche Sicherheitsfunktionen bietet MSK Serverless?
Der gesamte Datenverkehr während der Übertragung und alle Daten im Ruhezustand werden von MSK Serverless mit vom Service verwalteten Schlüsseln verschlüsselt, die über den AWS Key Management Service (KMS) ausgegeben werden. Die Verbindung zwischen Clients und MSK Serverless erfolgt über eine private Verbindung mit AWS PrivateLink, ohne dass Ihr Datenverkehr dem öffentlichen Internet ausgesetzt ist. Zusätzlich bietet MSK Serverless eine IAM-Zugriffskontrolle, mit der Sie die Client-Authentifizierung und Client-Autorisierung für Apache-Kafka-Ressourcen wie beispielsweise Themen verwalten können.

F: Wie können Produzenten und Konsumenten auf meine MSK-Serverless-Cluster zugreifen?
Wenn Sie einen MSK Serverless-Cluster erstellen, stellen Sie Subnetze einer oder mehrerer Amazon Virtual Private Clouds (VPCs) bereit, die die Clients des Clusters hosten. Clients, die in einer dieser VPCs gehostet werden, können sich mit dem MSK-Serverless-Cluster über dessen Broker-Bootstrap-String verbinden.

F: In welchen Regionen ist MSK Serverless verfügbar?
Die aktuelle regionale Verfügbarkeit entnehmen Sie bitte der Webseite mit Preisinformationen zu MSK.

Q: Welche Arten der Authentifizierung unterstützt MSK Serverless?
MSK Serverless unterstützt derzeit AWS IAM für die Client-Authentifizierung und -Autorisierung. Ihre Clients können zur Authentifizierung eine AWS-IAM-Rolle übernehmen, und Sie können die Zugriffskontrolle mit eine zugeordneten IAM-Richtlinie umsetzen.

Q: Wie kann ich in meinem MSK Serverless-Cluster Daten verarbeiten?
Zur Verarbeitung von Daten in Ihren MSK Serverless-Cluster-Themen können Sie alle mit Apache Kafka kompatiblen Tools einsetzen. MSK Serverless integriert sich in Amazon Kinesis Data Analytics for Apache Flink für die zustandsbehaftete Stream-Verarbeitung und in AWS Lambda für die Verarbeitung von Ereignissen. Mit Kafka Connect-Senkverbinder können Sie auch Daten zu jedem gewünschten Ziel senden.

F: Wie gewährleistet MSK Serverless eine hohe Verfügbarkeit?
Wenn Sie eine Partition anlegen, erstellt MSK Serverless 2 Repliken davon und platziert sie in verschiedenen Availability Zones. Darüber hinaus werden ausgefallene Backend-Ressourcen von MSK Serverless automatisch erkannt und wiederhergestellt, um eine hohe Verfügbarkeit zu wahren.

Datenproduktion und -konsum

F: Kann ich Apache-Kafka-APIs verwenden, um Daten von und nach Apache Kafka zu übertragen?
Ja, Amazon MSK unterstützt die nativen Produzenten- und Konsumenten-APIs von Apache Kafka. Ihr Anwendungscode muss nicht geändert werden, wenn Clients innerhalb von Amazon MSK mit Clustern arbeiten.

F: Kann ich Apache Kafka Connect, Apache Kafka Streams oder jede andere Ökosystemkomponente von Apache Kafka mit Amazon MSK verwenden?
Ja, Sie können jede Komponente verwenden, die die Apache Kafka Produzenten- und Konsumenten-APIs sowie den Apache Kafka Admin Client nutzt. Werkzeuge, die .jar-Dateien in Apache Kafka-Cluster hochladen, sind derzeit nicht mit Amazon MSK kompatibel, darunter Confluent Control Center, Confluent Auto Data Balancer und Uber uReplicator.

Migration zu Amazon MSK

F: Kann ich Daten innerhalb meines bestehenden Apache-Kafka-Clusters zu Amazon MSK migrieren?
Ja, Sie können Tools von Drittanbietern oder Open-Source-Tools wie MirrorMaker verwenden, die von Apache Kafka unterstützt werden, um Daten aus Clustern in einen Amazon-MSK-Cluster zu replizieren. Hier finden Sie ein Amazon- MSK-Migrationslabor, das Ihnen hilft, eine Migration durchzuführen.

Versionsupgrades

F: Werden Upgrades der Apache-Kafka-Version unterstützt?
Ja, Amazon MSK unterstützt vollständig verwaltete In-Place-Apache-Kafka-Versions-Upgrades für bereitgestellte Cluster. Weitere Informationen zu Upgrades ihrer Apache-Kafka-Version und bewährten Methoden zu hoher Verfügbarkeit finden Sie in der Dokumentation zu Versionsupgrades.

Cluster

F: Wie erstelle ich meinen ersten Amazon-MSK-Cluster?
Sie können Ihren ersten Cluster mit nur wenigen Klicks in der AWS-Managementkonsole oder mit Hilfe der AWS-SDKs erstellen. Wählen Sie zunächst in der Amazon-MSK-Konsole eine AWS-Region aus, in der ein Amazon-MSK-Cluster erstellt werden soll. Wählen Sie einen Namen für Ihren Cluster, die Virtual Private Cloud (VPC), in der Sie den Cluster betreiben möchten und die Subnetze für jede AZ. Bei der Erstellung eines bereitgestellten Clusters können Sie auch den Typ der Maklerinstanz, die Anzahl der Makler pro AZ und den Speicherplatz pro Makler auswählen.
 
F: Welche Ressourcen befinden sich in einem Cluster?
Bereitgestellte Cluster enthalten Broker-Instances, bereitgestellten Speicher und abstrahierte Apache-ZooKeeper-Knoten. Serverlose Cluster sind eine eigenständige Ressource, die alle zugrunde liegenden Ressourcen abstrahiert.
 
F: Welche Broker-Instance-Typen kann ich innerhalb eines Amazon MSK-Clusters bereitstellen?
Für bereitgestellte Cluster können Sie EC2 T3.small oder Instanzen aus der EC2-M5-Instance-Family wählen. Bei serverlosen Clustern sind die Broker vollständig abstrahiert.

F: Bietet Amazon MSK Reserved-Instance-Preise an?
Nein, derzeit nicht.
 
F: Muss ich für die Bereitstellung und Bezahlung von Broker-Boot-Volumes sorgen?
Nein, jeder Broker, den Sie bereitstellen, beinhaltet Boot-Volume-Speicher, der vom Amazon-MSK-Service verwaltet wird.
 
F: Wenn ich einen Apache Kafka-Cluster erstelle, erscheinen dann die zugrunde liegenden Ressourcen (z. B. Amazon EC2-Instances) in meiner EC2-Konsole?
Einige Ressourcen, wie z. B. elastische Netzwerkschnittstellen (ENIs), werden in Ihrem Amazon EC2-Konto angezeigt. Andere Amazon-MSK-Ressourcen werden in Ihrem EC2-Konto nicht angezeigt, da diese vom Amazon-MSK-Service verwaltet werden.
 
F: Was muss ich innerhalb eines Amazon-MSK-Clusters bereitstellen?
Für bereitstellgestellte Cluster müssen Sie Broker-Instances und Broker-Speicher mit jedem Cluster, den Sie erstellen, bereitstellen. Optional können Sie Speicherdurchsatz für Speichervolumen bereitstellen, der zur nahtlosen Skalierung von E/A eingesetzt werden kann, ohne dass zusätzliche Broker bereitgestellt werden müssen. Sie brauchen keine Apache ZooKeeper-Knoten bereitzustellen, da diese Ressourcen ohne Aufpreis bei jedem von Ihnen erstellten Cluster enthalten sind. Bei serverlosen Clustern erstellen Sie einfach einen Cluster als Ressource.
 
F: Wie lautet die standardmäßige Broker-Konfiguration für einen Cluster?
Sofern nicht anders angegeben, verwendet Amazon MSK die gleichen Standardwerte, die auch in der Open Source-Version von Apache Kafka angegeben sind. Die Standardeinstellungen für beide Clustertypen sind hier dokumentiert.
F: Kann ich Broker so bereitstellen, dass sie über AZs hinweg unausgewogen sind (z. B. 3 in us-east-1a, 2 in us-east-1b, 1 in us-east-1c)?
Nein, Amazon MSK setzt die bewährte Vorgehensweise durch, Brokermengen über AZs hinweg innerhalb eines Clusters zu verteilen.

F: Wie funktioniert die Datenreplikation in Amazon MSK?
Amazon MSK verwendet die Leader-Follower-Replikation von Apache Kafka, um Daten zwischen Brokern zu replizieren. Mit Amazon MSK ist die Bereitstellung von Clustern mit Multi-AZ-Replikation ganz einfach und Sie können thematisch eine benutzerdefinierte Replikationsstrategie verwenden. Standardmäßig werden bei jeder der Replikationsoptionen Leader- und Follower-Broker bereitgestellt und mit der angegebenen Replikationsstrategie isoliert. Wenn Sie beispielsweise eine Replikationsstrategie mit drei AZ-Brokern und einem Broker pro AZ-Cluster auswählen, erstellt Amazon MSK einen Cluster aus drei Brokern (ein Broker in drei AZs in einer Region), und standardmäßig (sofern Sie den Themenreplikationsfaktor nicht überschreiben) ist der Themenreplikationsfaktor ebenfalls drei.

F: Kann ich die Standard-Broker-Konfigurationen ändern oder eine Cluster-Konfiguration in Amazon MSK hochladen?
Ja, mit Amazon MSK können Sie benutzerdefinierte Konfigurationen erstellen und auf neue und bestehende Cluster anwenden. Weitere Informationen zu benutzerdefinierten Konfigurationen finden Sie in der Konfigurationsdokumentation.

F: Welche Konfigurationseigenschaften kann ich anpassen?
Die Konfigurationseigenschaften, die Sie anpassen können, werden hier dokumentiert.

F: Wie lautet die Standardkonfiguration für ein neues Thema?
Amazon MSK verwendet die Standardkonfiguration von Apache Kafka, wenn hier nichts anderes angegeben ist.

Themen

F: Wie erstelle ich Themen?
Nachdem Ihr Apache-Kafka-Cluster erstellt wurde, können Sie mit Hilfe der Apache-Kafka-APIs Themen erstellen. Alle Aktionen und Konfigurationen auf Themen- und Partitionsebene werden über Apache-Kafka-APIs durchgeführt. Der folgende Befehl ist ein Beispiel für die Erstellung eines Themas mit den Apache-Kafka-APIs und den für Ihren Cluster verfügbaren Konfigurationsdetails:

bin/kafka-topics.sh --create —bootstrap-server <BootstrapBrokerString> --replication factor 3 --partitions 1 --topic TopicName

Netzwerk

F: Kann Amazon MSK in einer Amazon VPC ausgeführt werden?
Ja, Amazon MSK kann immer innerhalb einer Amazon VPC ausgeführt werden, die vom Amazon-MSK-Service verwaltet wird. Amazon-MSK-Ressourcen sind für Ihre eigene Amazon VPC-, Subnetz- und Sicherheitsgruppe verfügbar, die Sie beim Einrichten des Clusters auswählen. IP-Adressen Ihrer VPCs sind über elastische Netzwerkschnittstellen (ENIs) mit Ihren Amazon-MSK-Ressourcen verbunden, und der gesamte Netzwerkverkehr bleibt im AWS-Netzwerk und ist standardmäßig nicht über das Internet zugänglich.

F: Wie werden die Broker in meinem Amazon-MSK-Cluster den Clients in meiner VPC zugänglich gemacht?
Die Broker in Ihrem Cluster werden den Clients in Ihrer VPC über ENIs, die in Ihrem Konto erscheinen, zugänglich gemacht. Die Sicherheitsgruppen auf den ENIs bestimmen die Quelle und Art des Ein- und Ausgangsverkehrs, der auf Ihren Brokern zulässig ist.

F: Ist es möglich, eine Verbindung zu meinem Cluster über das öffentliche Internet herzustellen?
Ja, Amazon MSK bietet eine Option zum sicheren Herstellen einer Verbindung mit den Brokern von Amazon-MSK-Clustern, auf denen Apache Kafka 2.6.0 oder höher über das Internet ausgeführt wird. Durch die Aktivierung des öffentlichen Zugriffs können autorisierte Clients außerhalb einer privaten Amazon Virtual Private Cloud (VPC) verschlüsselte Daten in und aus bestimmten Amazon-MSK-Clustern streamen. Sie können den öffentlichen Zugriff für MSK-Cluster ohne zusätzliche Kosten aktivieren, nachdem ein Cluster erstellt wurde, es fallen jedoch die standardmäßigen AWS-Datenübertragungskosten für Cluster-Ingress und -Egress an. Weitere Informationen zum Aktivieren des öffentlichen Zugriffs finden Sie in der Dokumentation zum öffentlichen Zugriff.

F: Ist die Verbindung zwischen meinen Clients und einem Amazon-MSK-Cluster privat?
Standardmäßig ist die einzige Möglichkeit, Daten von einem Amazon-MSK-Cluster zu produzieren und zu konsumieren, über eine private Verbindung zwischen Ihren Clients in Ihrer VPC und dem Amazon-MSK-Cluster. Wenn Sie jedoch den öffentlichen Zugriff für Ihren Amazon-MSK-Cluster aktivieren und eine Verbindung zu Ihrem MSK-Cluster mithilfe der öffentlichen Bootstrap-Broker-Zeichenfolge herstellen, wird die Verbindung, obwohl authentifiziert, autorisiert und verschlüsselt, nicht mehr als privat betrachtet. Wir empfehlen, dass Sie die Sicherheitsgruppen des Clusters so konfigurieren, dass sie über eingehende TCP-Regeln verfügen, die den öffentlichen Zugriff von Ihrer vertrauenswürdigen IP-Adresse zulassen, und diese Regeln so restriktiv wie möglich gestalten, wenn Sie den öffentlichen Zugriff aktivieren.

Mit der VPC verbinden

Frage: Wie stelle ich über das Internet eine Verbindung zu meinem Amazon-MSK-Cluster her?
Der einfachste Weg besteht darin, die öffentliche Konnektivität über das Internet zu den Brokern von MSK-Clustern zu aktivieren, auf denen Apache Kafka 2.6.0 oder höher ausgeführt wird. Aus Sicherheitsgründen können Sie den öffentlichen Zugriff beim Erstellen eines MSK-Clusters nicht aktivieren. Sie können jedoch einen vorhandenen Cluster aktualisieren, um ihn öffentlich zugänglich zu machen. Sie können auch einen neuen Cluster erstellen und ihn dann aktualisieren, um ihn öffentlich zugänglich zu machen. Weitere Informationen zum Aktivieren des öffentlichen Zugriffs finden Sie in der Dokumentation zum öffentlichen Zugriff.

Frage: Wie stelle ich innerhalb des AWS-Netzwerks, aber außerhalb der Amazon VPC des Clusters eine Verbindung zu meinem Amazon-MSK-Cluster her?
Sie können die Verbindung zu Ihrem MSK-Cluster von einem anderen VPC- oder AWS-Konto als dem Ihres MSK-Clusters aus herstellen, indem Sie die private Multi-VPC-Konnektivität für MSK-Cluster aktivieren, auf denen die Apache-Kafka-Versionen 2.7.1. oder höher ausgeführt werden. Sie können die private Konnektivität erst nach der Cluster-Erstellung für eines der unterstützten Authentifizierungsschemata (IAM-Authentifizierung, SASL SCRAM und mTLS-Authentifizierung) aktivieren. Sie sollten Ihre Clients so konfigurieren, dass sie sich über von Amazon MSK verwaltete VPC-Verbindungen, die die AWS-PrivateLink-Technologie verwenden, privat mit dem Cluster verbinden, um private Konnektivität zu ermöglichen. Weitere Informationen zum Einrichten privater Konnektivität finden Sie in der Dokumentation zum Zugriff über AWS.

Verschlüsselung

F: Kann ich in meinem Amazon-MSK-Cluster Daten verschlüsseln?
Ja, Amazon MSK verwendet die serverseitige Verschlüsselung von Amazon Elastic Block Store (Amazon EBS) und Schlüssel von AWS Key Management Service (AWS KMS) zur Verschlüsselung von Speichervolumen.

F: Werden Daten während der Übertragung zwischen Brokern in einem Amazon-MSK-Cluster verschlüsselt?
Ja, in neuen Clustern ist standardmäßig die Verschlüsselung während der Übertragung über TLS für die Kommunikation zwischen Brokern aktiviert. Bei bereitgestellten Clustern können Sie bei der Erstellung eines Clusters die Verwendung der Verschlüsselung bei der Übertragung deaktivieren.

F: Werden Daten während der Übertragung zwischen meinen Apache-Kafka-Clients und dem Amazon-MSK-Dienst verschlüsselt?
Ja, standardmäßig ist die In-Transit-Verschlüsselung nur für über die CLI- oder AWS-Managementkonsole erstellte Cluster auf TLS eingestellt. Für Clients ist zur Kommunikation mit Clustern, welche die TLS-Verschlüsselung nutzen, weitere Konfiguration erforderlich. Für bereitgestellte Cluster können Sie die Standardverschlüsselungseinstellung ändern, indem Sie die Einstellungen TLS/Klartext oder Klartext auswählen. Lesen Sie mehr zu MSK-Verschlüsselung

F: Werden Daten während der Übertragung zwischen Brokern und Apache-ZooKeeper-Knoten in einem Amazon-MSK-Cluster verschlüsselt?
Ja, Amazon-MSK-Cluster mit Apache Kafka Version 2.5.1 oder höher unterstützen TLS-Verschlüsselung im Transit zwischen Kafka-Brokern und ZooKeeper-Knoten.

Zugriffsverwaltung

F: Wie steuere ich die Cluster-Authentifizierung und die Apache-Kafka-API-Autorisierung?
Für Serverless-Cluster können Sie IAM Access Control sowohl für die Authentifizierung als auch für die Autorisierung verwenden. Für bereitgestellte Cluster haben Sie drei Optionen: 1) Zugriffskontrolle zu AWS Identity and Access Management (IAM) für beide AuthN/Z (empfohlen), 2) TLS-Zertifikat-Authentifizierung (CA) für AuthN und Zugriffskontrolllisten für AuthZ und 3) SASL/SCRAM für AuthN und Zugriffskontrolllisten für AuthZ. Amazon MSK empfiehlt die Verwendung von IAM-Zugriffskontrolle. Es ist die am einfachsten zu verwendende und, da es standardmäßig mit geringstem Berechtigungen arbeitet, welches auch die sicherste Option ist.

F: Wie funktioniert die Autorisierung in Amazon MSK?
Wenn Sie IAM-Zugriffskontrolle verwenden, verwendet Amazon MSK die von Ihnen geschriebenen Richtlinien und seinen eigenen Autorisierer, um Aktionen zu autorisieren. Wenn Sie TLS-Zertifikat-Authentifizierung oder SASL/SCRAM verwenden, verwendet Apache Kafka Zugriffskontrolllisten (ACLs) für die Autorisierung. Um ACLs zu aktivieren, müssen Sie die Clientauthentifizierung mithilfe von TLS-Zertifikaten oder SASL/SCRAM aktivieren.

F: Wie kann ich einen Client gleichzeitig authentifizieren und autorisieren?
Wenn Sie die IAM-Zugriffskontrolle verwenden, authentifiziert und autorisiert Amazon MSK für Sie, ohne dass Sie zusätzliche Einstellungen vornehmen müssen. Wenn Sie die TLS-Authentifizierung verwenden, können Sie den D-Namen von Client-TLS-Zertifikaten als Prinzipal der ACL verwenden, um Client-Anforderungen zu autorisieren. Wenn Sie SASL/SCRAM verwenden, können Sie den Benutzernamen als Prinzipal der ACL verwenden, um Client-Anfragen zu autorisieren.

F: Wie steuere ich Service-API-Aktionen?
Mit AWS Identity and Access Management (IAM) können Sie die Aktionen der Service-API steuern.

F: Kann ich die IAM-Zugriffskontrolle für einen bestehenden Cluster aktivieren?
Ja, Sie können die IAM-Zugangskontrolle für einen bestehenden Cluster über die AWS-Konsole oder über die UpdateSecurity-API aktivieren.

F: Kann ich IAM-Zugriffskontrolle außerhalb von Amazon MSK verwenden?
Nein, IAM-Zugriffskontrolle ist nur für Amazon-MSK-Cluster verfügbar.

F: Wie erteile ich einem Kafka-Client in einem anderen AWS-Konto als dem von Amazon MSK kontoübergreifende Zugriffsberechtigungen, um eine private Verbindung zu meinem Amazon-MSK-Cluster herzustellen?
Sie können Ihrem Amazon-MSK-Cluster eine Cluster-Richtlinie hinzufügen, um Ihrem kontoübergreifenden Kafka-Client Berechtigungen zum Einrichten privater Konnektivität zu Ihrem Amazon-MSK-Cluster zu gewähren. Wenn Sie die IAM-Client-Authentifizierung verwenden, können Sie die Cluster-Richtlinie auch verwenden, um die Berechtigungen der Kafka-Datenebene für den verbindenden Client detailliert zu definieren. Weitere Informationen zu Cluster-Richtlinien finden Sie in der Dokumentation zur Cluster-Richtlinie.

Überwachung, Metriken, Protokoll und Markierung

F: Wie überwache ich die Leistung meiner Cluster oder Themen?
Sie können die Leistung Ihrer Cluster mit der Amazon-MSK-Konsole, der Amazon-CloudWatch-Konsole oder mit JMX und Host-Metriken mit Open Monitoring mit Prometheus, einer Open-Source-Überwachungslösung, überwachen.

F: Wie hoch sind die Kosten für die verschiedenen CloudWatch- Überwachungslevels?
Die Kosten der Überwachung Ihres Clusters mit Amazon CloudWatch hängt vom Überwachungslevel und der Größe Ihres Apache-Kafka-Clusters ab. Amazon CloudWatch wird pro Metrik und Monat berechnet und enthält darunter auch ein kostenloses Kontingent; weitere Informationen finden Sie unter Preisübersicht für Amazon CloudWatch. Einzelheiten zur Anzahl der Metriken, die für jede Überwachungsebene angezeigt werden, finden Sie in der Dokumentation zu Amazon-MSK-Überwachung.

F: Welche Überwachungswerkzeuge sind mit Open Monitoring mit Prometheus kompatibel?
Werkzeuge, die für das Lesen aus Prometheus-Exportern konzipiert wurden, sind mit Open Monitoring kompatibel, darunter: Datadog, Lenses, New Relic, Sumo Logic oder Prometheus-Server. Weitere Details zum Open Monitoring finden Sie in der Amazon-MSK-Dokumentation zum Open Monitoring.

F: Wie kann ich den Betriebszustand und die Leistung von Clients überwachen?
Sie können mit jeder Client-seitigen Überwachungsanwendung arbeiten, die von der von Ihnen verwendeten Apache-Kafka-Version unterstützt wird.

F: Kann ich Amazon-MSK-Ressourcen mit Tags versehen?
Ja, Sie können Amazon-MSK-Cluster über die AWS Command Line Interface (AWS CLI) oder -Konsole kennzeichnen.

F: Wie überwache ich den Verbraucher-Lag?
Metriken zur Verbraucherverzögerung auf Themenebene sind als Teil des Standardsatzes an Metriken verfügbar, den Amazon MSK bei Amazon CloudWatch für alle Cluster veröffentlicht. Es ist keine zusätzliche Einrichtung erforderlich, um diese Metriken zu erhalten. Bei bereitgestellten Clustern können Sie auch Metriken zur Verzögerung des Verbrauchs auf Partitionsebene erhalten (Partitionsdimension). Aktivieren Sie dazu die erweiterte Überwachung (PER_PARTITION_PER_TOPIC) in Ihrem Cluster. Alternativ können Sie die Offene Überwachung auf Ihrem Cluster aktivieren und einen Prometheus-Server verwenden, um Metriken auf Partitionsebene von den Brokern in Ihrem Cluster zu erfassen. Verbraucherverzögerungskennzahlen sind, wie auch andere Kafka-Kennzahlen, unter Port 11001 verfügbar.

F: Was kostet es, die Metrik der Verzögerung der Verbraucher bei Amazon CloudWatch zu veröffentlichen?
Metriken auf Themenebene sind im Standardsatz der MSK-Metriken von Amazon enthalten, die kostenlos sind. Partition Level Metriken werden gemäß den Amazon-CloudWatch-Preisen berechnet.

F: Wie kann ich auf die Apache-Kafka-Broker-Protokolle zugreifen?
Sie können die Broker-Protokollübermittlung für bereitgestellte Cluster aktivieren. Sie können Broker-Protokolle an Amazon CloudWatch Logs, Amazon Simple Storage Service (S3) und Amazon Kinesis Data Firehose liefern. Kinesis Data Firehose unterstützt unter anderem den Amazon OpenSearch Service. Wie Sie diese Funktion aktivieren können, erfahren Sie in der Dokumentation zur Protokollierung in Amazon MSK. Informationen zu den Preisen finden Sie auf den Preisübersichten von CloudWatch Logs und Kinesis Data Firehose.

F: Wie hoch ist die Protokollierungsstufe für Maklerprotokolle?
Amazon MSK bietet INFO-Level-Protokolle für alle Broker innerhalb eines bereitgestellten Clusters.

F: Wie kann ich auf die Apache-ZooKeeper-Protokolle zugreifen?
Sie können Apache-ZooKeeper-Protokolle über ein Support-Ticket anfordern.

F: Kann ich die Verwendung von Apache-Kafka-Ressourcen-APIs protokollieren, z. B. Thema erstellen?
Ja, wenn Sie IAM-Zugriffskontrolle verwenden, wird die Verwendung von Apache-Kafka-Ressourcen-APIs in AWS CloudTrail protokolliert.

Apache ZooKeeper

F: Was ist Apache ZooKeeper?
Von https://zookeeper.apache.org: „Apache ZooKeeper ist ein zentralisierter Service zur Verwaltung von Konfigurationsinformationen, Benennung, verteilten Synchronisierung und zur Bereitstellung von Gruppenservices. Alle diese Arten von Services werden in irgendeiner Form von verteilten Anwendungen genutzt“, einschließlich Apache Kafka.

F: Verwendet Amazon MSK Apache ZooKeeper?
Ja, Amazon MSK verwendet Apache ZooKeeper und verwaltet Apache ZooKeeper innerhalb jedes Clusters als Teil des Amazon-MSK-Service. Apache-ZooKeeper-Knoten sind in jedem Cluster ohne zusätzliche Kosten enthalten.

Integrationen

F: Mit welchen AWS-Services ist Amazon MSK integriert?
Amazon MSK integriert sich mit:
 
Amazon MSK Serverless integriert sich mit:
  • Amazon S3 verwendet Kinesis Data Firehose für die einfache und programmfreie Übertragung von Daten von MSK an Amazon S3.
  • Amazon VPC für Netzwerkisolierung und Sicherheit
  • Amazon CloudWatch für Metriken
  • Amazon IAM für die Authentifizierung und Autorisierung von Apache Kafka und Service-APIs
  • AWS Glue Schema Registry zur Steuerung der Entwicklung von Schemata, die von Apache-Kafka-Anwendungen verwendet werden
  • AWS CloudTrail für AWS-API-Protokolle
  • AWS PrivateLink für private Konnektivität

Skalierung

F: Wie kann ich den Speicher in meinem Cluster vergrößern?
Sie können den Speicher in Ihren bereitgestellten Clustern mithilfe der AWS-Managementkonsole oder der AWS-CLI vergrößern. Sie können auch gestaffelte Speicherung verwenden, um praktisch unbegrenzt Daten auf Ihrem Cluster zu speichern, ohne dass Sie Makler für die Speicherung hinzufügen müssen. In Serverless Clustern wird der Speicher nahtlos entsprechend Ihrer Nutzung skaliert.
 
F: Wie funktioniert gestaffelte Speicherung?
Apache Kafka speichert Daten in Dateien, die als Protokollsegment bezeichnet werden. Sobald jedes Segment vollständig ist, wird es je nach der auf Cluster- oder Themenebene konfigurierten Größe auf die kostengünstige Speicherebene kopiert. Die Daten werden für eine bestimmte Aufbewahrungszeit oder Größe im leistungsoptimierten Speicher gehalten und dann gelöscht. Es gibt eine separate Zeit- und Größenbegrenzung für die kostengünstige Speicherung, der länger ist als der primäre Speicher. Wenn Clients Daten aus Segmenten anfordern, die im kostengünstigen Kontingent gespeichert sind, liest der Broker die Daten daraus und stellt sie auf dieselbe Weise bereit, als ob sie aus dem primären Speicher bereitgestellt würden.

F: Wie kann ich den Speicher in meinem Cluster automatisch erweitern?
Sie können eine Speicherrichtlinie für die automatische Skalierung über die AWS-Mangementkonsole oder eine AWS-Application-Auto-Scaling-Richtlinie über die AWS CLI oder APIs erstellen.
 
F: Kann ich die Anzahl der Broker in einem vorhandenen Cluster skalieren?
Ja. Sie können die Anzahl der Broker für bereitgestellte Amazon-MSK-Cluster nach unten oder oben skalieren.

F: Kann ich die Broker-Größe in einem vorhandenen Cluster skalieren?
Ja. Sie können auf Ihren bereitgestellten Amazon-MSK-Clustern auf einen kleineren oder größeren Broker-Typ skalieren.

F: Wie verteile ich Partitionen auf Broker?
Sie können Cruise Control für die automatische Neuverteilung von Partitionen verwenden, um die I/O-Wärme zu verwalten. In der Cruise-Control-Dokumentation finden Sie weitere Informationen. Alternativ können Sie die Kafka-Admin-API "kafka-reassign-partitions.sh" verwenden, um Partitionen neu auf Broker zu verteilen. In Serverless Clustern gleicht Amazon MSK automatisch Partitionen aus.

Preise und Verfügbarkeit

F: Wie sieht die Preisgestaltung von Amazon MSK aus?
Der Preis hängt von den Ressourcen ab, die Sie erstellen. Weitere Informationen finden Sie auf der Preisseite.

F: Bezahle ich für die Datenübertragung infolge einer Datenreplikation?
Nein, die gesamte Datenübertragung innerhalb des Clusters ist ohne Aufpreis im Service enthalten.

F: Welche AWS-Regionen bieten Amazon MSK an?
Die Amazon-MSK-Regionsverfügbarkeit ist hierdokumentiert.

F: Wie sieht die Preisgestaltung für Datenübertragungen aus?
Sie zahlen standardmäßige AWS-Datenübertragungskosten für Daten, die in und aus einem Amazon-MSK-Cluster übertragen werden. Für die Datenübertragung innerhalb des Clusters in einer Region, einschließlich der Datenübertragung zwischen Brokern und der Datenübertragung zwischen Brokern und Apache ZooKeeper-Knoten, wird Ihnen keine Gebühr berechnet.

Bei Serverless-Clustern zahlen Sie die üblichen AWS-Datenübertragungsgebühren für Daten, die in eine andere Region oder aus einer anderen Region übertragen werden, sowie für Daten, die in das öffentliche Internet übertragen werden.

Compliance

F: Welche Compliance-Programme gelten für Amazon MSK?
Amazon MSK ist für die folgenden Programme kompatibel oder berechtigt:

  • HIPAA-konform
  • PCI
  • ISO
  • SOC 1,2,3

Eine vollständige Liste der AWS Services und Compliance-Programme finden Sie unter AWS Services im Geltungsbereich nach Compliance-Programm.

Service Level Agreement

F: Was garantiert das Amazon-MSK-SLA?
Unser Amazon-MSK-SLA ist hier verfügbar.
 
F: Wie erfahre ich, ob ich zu einer Gutschrift aus dem SLA berechtigt bin?
Sie haben Anspruch auf eine SLA-Gutschrift für Amazon MSK im Rahmen des Amazon MSK SLA, wenn Multi-AZ-Bereitstellungen auf Amazon MSK während eines monatlichen Abrechnungszyklus einen monatlichen Uptime-Prozentsatz von weniger als 99,9% aufweisen.
 
Ausführliche Informationen zu allen Bestimmungen des SLA sowie Einzelheiten zur Geltendmachung eines Anspruchs finden Sie auf der Seite Details zum Amazon-MSK-SLA.

Erste Schritte mit Amazon MSK

Kosten berechnen
Kosten berechnen

Zur Seite mit den Preisen für Amazon MSK

Read the documentation
Prüfen Sie das Handbuch für Erste Schritte

In dieser Schritt-für-Schritt-Anleitung erfahren Sie, wie Sie Ihren Apache-Kafka-Cluster auf Amazon MSK einrichten können.

F&uuml;hren Sie Ihren Apache Kafka-Cluster aus
Führen Sie Ihren Apache Kafka-Cluster aus

Führen Sie Ihren Apache Kafka-Cluster jetzt auf Amazon MSK aus. Melden Sie sich bei der Amazon MSK-Konsole an.