Amazon Web Services ブログ

Category: Kinesis Data Streams

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。 このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

Read More
Custom checkpointing walkthrough

AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化

AWS Lambdaは、Amazon Kinesis Data StreamsやAmazon DynamoDB Streamsなどのソースから取得した複数メッセージをバッチ処理できます。通常の操作では、処理を行う関数は1つのバッチから次のバッチに移動して、ストリームからのメッセージを消費します。 ただし、バッチ内のアイテムの1つでエラーが発生すると、そのバッチ内の同じメッセージ群の一部が再処理される可能性があります。新しいカスタムチェックポイント機能により、失敗したメッセージを含むバッチの処理方法をより詳細に制御できるようになりました。 このブログ記事では、バッチ失敗時のデフォルトの動作と、このエラー状態に対処するために開発者が使用可能なオプションについて説明します。また、この新しいチェックポイント機能の使用方法について説明し、ストリーム処理を行う関数内でこの機能を使用する利点についても説明します。

Read More

Amazon Kinesis Data Analytics Studio の概要 – SQL、Python、または Scala を使用してストリーミングデータをすばやく操作する

タイムリーなインサイトを得て、ビジネスとアプリケーションから受け取った新しい情報に迅速に対応するための最善の方法は、ストリーミングデータを分析することです。これは通常、レコード単位または変動する時間枠で連続的かつ増分的に処理する必要があるデータのことで、相関、集計、フィルタリング、サンプリングなどのさまざまな分析に使用できます。 ストリーミングデータの分析を容易にするために、Amazon Kinesis Data Analytics Studio を紹介します。 まず、Amazon Kinesis コンソールから Kinesis データストリームを選択し、1 回クリックするだけで、Apache Zeppelin と Apache Flink を搭載した Kinesis Data Analytics Studio ノートブックを起動し、ストリーム内のデータをインタラクティブに分析できるようになりました。

Read More

Amazon CloudFront ログを使用したリアルタイムダッシュボードの作成

Amazon CloudFront は AWS グローバルネットワークを使用して、静的および動的なウェブコンテンツを低レイテンシかつ高速で安全に配信するコンテンツ配信ネットワーク (CDN) です。 この度 CloudFront でリアルタイムに利用可能な、デリバリーログを配信する機能が発表されました。このリアルタイムログには、CloudFront が受け取った全てのリクエストに関する詳細情報が含まれます。詳細な情報をリアルタイムで確認することで、運用イベントに迅速に対応できるようになります。 リアルタイムログでは、収集する情報とその配信先をカスタマイズできます。リアルタイムログは Amazon Kinesis Data Streams と統合されており、Amazon Kinesis Data Firehose を使用して一般的な HTTP エンドポイントにログを配信できます。 Amazon Kinesis Data Firehose では Amazon S3、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、および Datadog、New Relic、Splunk などのサービスプロバイダにログを配信できます。このログを使用して、リアルタイムダッシュボードの作成、アラートの設定、異常の調査や運用イベントへの迅速な対応を行うことができます。追跡できる一般的なデータポイントとしては、異なる地理的リージョンからのビューアーリクエスト数や、レイテンシが高いユニークビューアー数などがあります。

Read More