Amazon MSK Express-Broker stellen Amazon S3 jetzt Apache Kafka-Daten bereit
Amazon MSK Express-Broker stellen jetzt Daten für Amazon S3-Allzweck-Buckets bereitet. Somit gibt es eine vollständig verwaltete Funktion, um Daten von Apache Kafka für die nachgelagerte Verarbeitung möglichst einfach und zuverlässig in Amazon S3 bereitzustellen. Diese Funktion lässt sich automatisch skalieren, um Kafka-Daten mit hohem Durchsatz und umfassender Zuverlässigkeit für geschäftskritische Workloads an S3 zu liefern. Dabei sinken die Kosten für Datenerfassung und -bereitstellung im Vergleich zu selbstverwalteten Alternativen um bis zu 60 %.
Kunden stellen Amazon S3 Apache Kafka-Daten für Anwendungsfälle wie Protokollarchivierung, Compliance-bedingte Datenaufbewahrung, Kafka-Replay und das Training von KI/ML-Modellen bereit und bauen diese Pipelines in der Regel mit selbstverwalteten Konnektoren auf. Diese werden mit zunehmender Auslastung jedoch kostspielig und betrieblich komplex, sodass Teams gezwungen sind, S3-Connector-Plug-ins zu entwickeln oder zu beziehen, Genehmigungen für deren Bereitstellung einzuholen, die Kapazität kontinuierlich zu skalieren und Sicherheitsupdates auf der gesamten Konnektorenflotte anzuwenden. Mit dieser Funktion kümmert sich MSK Express automatisch um die Skalierung, Wiederholungsversuche und Backpressure, sodass Kunden ihre Konnektorenflotten nicht mehr verwalten oder teamübergreifend koordinieren müssen. MSK Express unterstützt bei der Datenübermittlung an Amazon S3 einen Durchsatz von bis zu 10 GB/s und verwaltet Routineabläufe wie Kapazitätsskalierung und Versionsupgrades ohne Bereitstellungslücken. Darüber hinaus können Kunden diese zusätzliche Übertragungsmöglichkeit nutzen, ohne höheren Broker-Austrittsdurchsatz bereitzustellen. Dadurch entfallen die zusätzlichen Infrastrukturkosten, die normalerweise bei der Skalierung konnektorbasierter Pipelines entstehen. So können Kunden die Bereitstellung dem tatsächlichen Workload-Bedarf entsprechend skalieren, statt sich an Spitzenzeiten zu orientieren. Das ermöglicht eine zuverlässige Lieferung an Amazon S3 mit hohem Durchsatz, wobei der betriebliche Aufwand entfällt und die Kosten sinken.
Die Datenübermittlung von Amazon MSK an Amazon S3 ist ab sofort in allen AWS-Regionen verfügbar, in denen Amazon MSK Express-Broker angeboten werden. Preisinformationen finden Sie auf der Preisseite. Weitere Informationen finden Sie im Amazon MSK-Entwicklerhandbuch und in den Amazon MSK KI-Skills.