Amazon Web Services ブログ
[AWS Black Belt Online Seminar] Amazon Managed Streaming for Apache Kafka (Amazon MSK) 資料及び QA 公開
先日 (2019/11/20) 開催しました AWS Black Belt Online Seminar「 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。
20191120 AWS Black Belt Online Seminar Amazon Managed Streaming for Apache Kafka (Amazon MSK)
AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます）
Q. MSK の Kafka クラスタを構成する broker インスタンスにログインしたり、システムログを確認する方法はありますか？
A. Broker インスタンスはフルマネージドで提供しており、SSH ログインするといったことはできません。Amazon Managed Streaming for Kafka (以下、Amazon MSK) の API 呼び出しのログは AWS CloudTrail で保存されますが、システムログについては確認する方法はございません。一方で、Apache Kafka クラスターの挙動については、Amazon CloudWatch のメトリクスを提供していますので、そちらから確認することが出来ます。併せてご活用下さい。
Q. 一時的なデータ流量増加対応等のために broker をスケールアウトさせた後、再度スケールインさせることはできますか？
A. スケールアウトは可能ですが、スケールインは、現在のところできません。
Q. Kafka Connect 等はサポートしていますか？
A. はい、Amazon MSK 内に Kafka Connect はインストールされていませんが、Amazon EC2 上に Kafka Connect 等の外部ツールをインストールすることで利用ができます。Amazon MSK では、Kafka MirrorMaker や Kafka Connect のようなオープンソースの Kafka に付随するツールや、Schema Registry や Burrow などの Kafka の周辺ツールとフレームワークをご利用頂けます。クラスターに Jar ファイルのロードが必要なツールはご利用頂けませんのでご注意下さい。
Q. Amazon MSK と Amazon Kinesis Data Streams の使い分けはどのように考えればよいですか？
A. Amazon MSK と Amazon Kinesis Data Streams には、それぞれの以下のような特徴があります。
- API とエコシステム
Amazon MSK では、オープンソースである Apache Kafka の API をそのまま利用可能です。また、Apache Kafka のエコシステムを利用することもできます。一方で、Amazon Kinesis Data Streams は AWS が提供する API を利用します。また、AWS IoT Core や Amazon CloudWatch Logs、AWS Lambda、Amazon Kinesis Family など、他のAWSサービスとより深く統合されています。 - インフラ構成
Amazon MSK はクラスターをプロビジョニングします。例えば、クラスターに対して設定変更が必要になった場合には、ご自身で設定変更をして頂く必要があります。Apache Kafka の特性上、スケーリングや更新をクライアントに対してシームレスに行うことは困難です。一方で、Amazon Kinesis Data Streams はインフラの管理が不要なサーバーレス構成であり、シャード数という形で必要なスループットをプロビジョニングします。API のエンドポイントが提供されるため、スケーリングをシームレスに行うこともできます。
以上の特徴より、Amazon MSK の主なユースケースとしては、オンプレミスや Amazon EC2 上にある既存の Apache Kafka クラスターの移行先や、Apache Kafka の周辺ツールを利用している、または利用したい場合での利用をお勧めします。Amazon Kinesis Data Streams は、基本的に上記以外の多くのケースで利用をお勧めしています。理由としては、サーバーレス構成であるため、多くの場合でスケーラビリティやコスト面でのメリットがあることや、他のAWSサービスと深く統合されているためです。
—
今後の AWS Webinar | イベントスケジュール
直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。
「AWSome Day Online Conference」は、AWSの主要サービスや基礎知識を約 2.5 時間の短時間の中でポイントを押さえて紹介いたします。技術的な面だけではなく、AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。
日時： 12 月 13 日（金） 15:00 – 17:40 終了予定 | 詳細・お申込みについてはこちら≫
—
AWS Black Belt Online Seminar:
12 月の Black Belt Online Seminar は、AWS 最大のイベントである AWS re:Invent で発表される新サービスや新機能を、現地ラスベガスよりライブ配信する速報セッションや、その他にも内容重視の合計 4 セッションで本年度の最後を締めくくりたいと企画しておりますので、ぜひご視聴ください。
- AWS re:Invent 速報 | 2019 年 12 月 6 日 (金) | 12:00 – 13:00
- Amazon Chime | 2019 年 12 月 10 日 (火) | 12:00 – 13:00
- Amazon Connect Update | 2019 年 12 月 17 日 (火) | 12:00 – 13:00
- AWSのマネジメント&ガバナンス サービスアップデート | 2019 年 12 月 18 日 (水) | 18:00 – 19:00
—
新しい料金体系で、AWSの利用料を見直しませんか？
〜 Amazon EC2が最大72%割引になる新料金体系 『Savings Plans』 のご紹介 〜
2019 年 11 月リリースの新サービス『Savings Plans』は 1 年または 3 年の長期利用契約による、Amazon EC2、AWS Fargate のコストを最大 72 % 削減可能な料金体系です。本 Webinar では Saving Plans ご紹介後、購入方法、お客様の現在の利用状況に合わせたご提案の確認方法のご紹介もさせて頂きます。
日時: 12 月 12 日（木）| 12:30 – 13:00 | 詳細・お申込みについてはこちら≫
—
AWS Hands-on for Beginners 〜Serverless 編〜
AWS Hands-on for Beginners 〜 Serverless 編 〜は、翻訳 Web API の構築を通して、サーバーレスアーキテクチャの基本を学んでいただけるウェビナーシリーズです。サーバーレスアーキテクチャの特徴とその中核となる AWS サービスの概要をお伝えした上で、実際に手を動かしてその理解を深めることができます。主に取り扱う AWS サービスは AWS Lambda、Amazon API Gateway、Amazon DynamoDB の3つです。前提となる必要知識はありませんので、サーバーレスアーキテクチャについて学ぶ第一歩としてご活用ください。
日時： オンデマンドのためいつでも自由に視聴できます | 詳細・お申込みについてはこちら≫
—