re:Invent 2018 / Werner Vogels Keynote / Amazon MSK

Amazon Managed Streaming for Kafka(MSK)のプレビューが発表になりました。

Amazon MSK

ストリーミングデータを処理するApache Kafkaは、リアルタイムのストリーミングデータパイプラインとアプリケーションを構築するためのオープンソースのプラットフォームです。Amazon MSKは、Apache Kafka APIを使用してデータ・レイクを作成したり、データベースとの間で変更をストリーミングしたり、マシンの学習および分析アプリケーションを強化することができるフルマネージドサービスです。

Apache Kafkaクラスターは、実動環境でセットアップ、スケール、および管理が難しく、、サーバーのプロビジョニング、手動によるApache Kafkaの構成、障害が発生したサーバーの置き換え、サーバーのパッチとアップグレードの調整、高可用性のためのクラスターの設計、データの永続的な保管と保護、負荷変動をサポートするスケーリングイベントの計画などが必要になります。

KafkaのAmazon Managed Streamingは、Apache Kafkaのインフラストラクチャ管理の専門知識を必要とせずに、Apache Kafkaで本番アプリケーションを構築して実行することを容易にします。つまり、インフラストラクチャの管理に要する時間を短縮し、アプリケーションを構築する時間を短縮できます。

Amazon MSKは、ネットワーク分離、Amazon VPC、コントロールプレーンAPI認証用のAWS IAM、および残りの暗号化など、Apache Kafkaクラスターの複数レベルのセキュリティーを提供します。Amazon MSKの暗号化サポートは、AWS Key Management Service  （KMS）と統合されてい  ます。

– プロダクトマーケティング エバンジェリスト 亀田