Category: Amazon Managed Streaming for Apache Kafka (Amazon MSK)

本記事では、Amazon MSK Express ブローカーが Kafka クラスターの運用をどのようにシンプルにするかを紹介します。サイジング、ストレージ管理、コンピューティングのスケーリング、モニタリング、アクセス制御、高可用性について、Express ブローカーがもたらす改善を解説します。

本記事では、AWS IAM Roles Anywhere を使用して、AWS 外で動作する Kafka クライアントから Amazon MSK クラスターにセキュアに接続する方法を紹介します。X.509 証明書による一時的なセキュリティ認証情報の取得により、長期認証情報の管理が不要になり、セキュリティ体制を強化できます。

本記事では、Amazon CloudWatch を使用した Amazon MSK クラスターの本番環境向けモニタリングの設定方法を解説します。ブローカーの健全性、リソース使用率、コンシューマーラグなどの主要メトリクスのカテゴリ分類と、推奨される CloudWatch アラームのしきい値を紹介し、ストリーミングワークロードの問題を早期に検知するためのプラクティスを説明します。

Amazon MSK Connect と Iceberg Kafka Connect を使用して、トランザクションデータベースから Apache Iceberg テーブルへのリアルタイムデータ同期を実現する方法を紹介します。単一テーブルと複数テーブルの同期、スキーマ進化機能についても解説します。

エネルギー環境が分散型モデルへと進化する中、分散型エネルギーリソース (DER) は、エネルギー市場のさまざまなプレーヤー (電力会社、立法機関、アグリゲーター、消費者、サービスプロバイダー) に課題と機会の両方をもたらしています。
さまざまな関係者が Amazon Web Services (AWS) を活用して DER を最大限に活用する方法について、一連のブログを計画しています。最初のブログでは、アグリゲーターが事業の成長に合わせて拡張できる堅牢な分散型エネルギーリソース管理システム (DERMS) を構築するために、AWS サービスがどのように役立つかを探ります。

Amazon MSK Express ブローカーのインテリジェントリバランシング機能を活用して、CloudWatch メトリクスや事前定義されたスケジュールに基づいて Kafka クラスターを動的にスケーリングするソリューションを紹介します。オンデマンドスケーリングとスケジュールスケーリングの 2 つのアプローチで、パフォーマンスを維持しながらコスト効率を最適化できます。

Amazon MSK、Amazon Aurora PostgreSQL-Compatible Edition、Amazon MSK Connect を使用して、Oracle データベースから AWS への大容量バイナリオブジェクト (LOB) 移行を効率化するストリーミングソリューションを紹介します。

Bazaarvoice は、セルフホスト型 Kafka から Amazon MSK に移行し、運用オーバーヘッドを削減しながら、セキュリティ、信頼性、パフォーマンスを向上させました。この記事では、移行プロセスと得られた教訓を紹介します。

分散型金融 (DeFi) の取引判断には、ブロックチェーンの価格と流動性データが必要です。 しかし、ブロックチ […]

AWS Mainframe Modernization Data Replicationは、Precisely社のCDC技術を活用し、メインフレーム（Db2、IMS、VSAM等）のデータをAWSクラウドへニアリアルタイムで同期するソリューションです。Apply EngineとAmazon MSKを組み合わせることで、メインフレームへの負荷を最小限に抑えながら、S3データレイクやRedshiftへの連携を実現します。