Amazon Web Services ブログ

Category: Kinesis Data Streams

Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング

2021 年 11 月 30 日(米国時間)、新しいキャパシティーモードである Amazon Kinesis Data Streams On-demand をローンチしました。このキャパシティーモードでは、ストリーミングワークロードのキャパシティーのプロビジョニングと管理が不要になります Kinesis Data Streams はフルマネージド型のサーバーレスサービスであり、ストリーミングされたデータを大規模にリアルタイムに処理します。Kinesis Data Streams は、任意の数のソースから任意の量のデータを取得し、必要に応じてスケールアップおよびスケールダウンできます。2013 年 11 月に Kinesis Data Streams を発表して以来、新しいデータストリームの作成は簡単です。 開始するには、ストリームのプロビジョニングに使用するシャードの数を指定するだけで済みます。

Read More

小売業におけるアダプティブ分析: 顧客の行動とエンゲージメントに影響を与える

小売業界において、日常業務におけるデータの重要性に異論のある方はいないでしょう。バッチレポートから意思決定支援、ビジネスインテリジェンスシステムまで、小売の意思決定における運用データの進化は非常に多岐にわたります。今日、アダプティブ分析プラットフォームは、小売業者が次のことができるよう、業界のイノベーションを推進しています。 ビジネスにおける重要なシグナルを検出します。 これらのシグナルの現在の意味と将来の予測を導き出します。 データドリブンな顧客、製品、マーケティング戦略で対応します。 しかし、アダプティブ分析プラットフォームを構築するためには、小売業の経営者が直面する多くの戦略的課題があります。例えば、急速に変化する買い物客の影響や行動のトリガー、人口動態の変化、COVID-19 などの世代別市場レベルの影響、主要な経済圏の景気低迷といった課題や、お客様対応とオペレーション業務を効果的に行うために、予測に基づいた洞察が求められる小売業の職種が一層増えていることなどが挙げられます。

Read More

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。 このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

Read More
Custom checkpointing walkthrough

AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化

AWS Lambdaは、Amazon Kinesis Data StreamsやAmazon DynamoDB Streamsなどのソースから取得した複数メッセージをバッチ処理できます。通常の操作では、処理を行う関数は1つのバッチから次のバッチに移動して、ストリームからのメッセージを消費します。 ただし、バッチ内のアイテムの1つでエラーが発生すると、そのバッチ内の同じメッセージ群の一部が再処理される可能性があります。新しいカスタムチェックポイント機能により、失敗したメッセージを含むバッチの処理方法をより詳細に制御できるようになりました。 このブログ記事では、バッチ失敗時のデフォルトの動作と、このエラー状態に対処するために開発者が使用可能なオプションについて説明します。また、この新しいチェックポイント機能の使用方法について説明し、ストリーム処理を行う関数内でこの機能を使用する利点についても説明します。

Read More

Amazon Kinesis Data Analytics Studio の概要 – SQL、Python、または Scala を使用してストリーミングデータをすばやく操作する

タイムリーなインサイトを得て、ビジネスとアプリケーションから受け取った新しい情報に迅速に対応するための最善の方法は、ストリーミングデータを分析することです。これは通常、レコード単位または変動する時間枠で連続的かつ増分的に処理する必要があるデータのことで、相関、集計、フィルタリング、サンプリングなどのさまざまな分析に使用できます。 ストリーミングデータの分析を容易にするために、Amazon Kinesis Data Analytics Studio を紹介します。 まず、Amazon Kinesis コンソールから Kinesis データストリームを選択し、1 回クリックするだけで、Apache Zeppelin と Apache Flink を搭載した Kinesis Data Analytics Studio ノートブックを起動し、ストリーム内のデータをインタラクティブに分析できるようになりました。

Read More

Amazon CloudFront ログを使用したリアルタイムダッシュボードの作成

Amazon CloudFront は AWS グローバルネットワークを使用して、静的および動的なウェブコンテンツを低レイテンシかつ高速で安全に配信するコンテンツ配信ネットワーク (CDN) です。 この度 CloudFront でリアルタイムに利用可能な、デリバリーログを配信する機能が発表されました。このリアルタイムログには、CloudFront が受け取った全てのリクエストに関する詳細情報が含まれます。詳細な情報をリアルタイムで確認することで、運用イベントに迅速に対応できるようになります。 リアルタイムログでは、収集する情報とその配信先をカスタマイズできます。リアルタイムログは Amazon Kinesis Data Streams と統合されており、Amazon Kinesis Data Firehose を使用して一般的な HTTP エンドポイントにログを配信できます。 Amazon Kinesis Data Firehose では Amazon S3、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、および Datadog、New Relic、Splunk などのサービスプロバイダにログを配信できます。このログを使用して、リアルタイムダッシュボードの作成、アラートの設定、異常の調査や運用イベントへの迅速な対応を行うことができます。追跡できる一般的なデータポイントとしては、異なる地理的リージョンからのビューアーリクエスト数や、レイテンシが高いユニークビューアー数などがあります。

Read More