Amazon Web Services ブログ

Category: Amazon Kinesis

Kinesis Data Firehose で Amazon S3 への動的パーティショニングのサポートを開始

Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイク、データストア、および分析サービスに確実にロードするための便利な方法を提供します。Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、汎用 HTTP エンドポイント、および Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーにストリーミングデータをキャプチャ、変換、配信することができます。Amazon Kinesis Data Firehoseは、データのスループットに合わせて自動的にスケーリングされるフルマネージドサービスであり、継続的な管理を必要としません。また、データストリームをロードする前にバッチ、圧縮、変換、暗号化できるため、ストレージの使用量が最小限に抑えられ、セキュリティが向上します。 Amazon Kinesis Data Firehose を使用するお客様は、多くの場合、分析のためにデータを送信先に送る前に、各コードに含まれる情報に基づいて受信データを動的に分割したいと考えています。その一例として、モノのインターネット (IoT)から受信したデータを生成したデバイスの種類 (Android、iOS、FireTV など) に基づいてセグメント化することが挙げられます。以前は、この機能を実現するには、データが Amazon S3 に書き出されたあとに全く別のジョブを実行してデータをパーティショニングし直す必要がありました。

Read More

小売業におけるアダプティブ分析: 顧客の行動とエンゲージメントに影響を与える

小売業界において、日常業務におけるデータの重要性に異論のある方はいないでしょう。バッチレポートから意思決定支援、ビジネスインテリジェンスシステムまで、小売の意思決定における運用データの進化は非常に多岐にわたります。今日、アダプティブ分析プラットフォームは、小売業者が次のことができるよう、業界のイノベーションを推進しています。 ビジネスにおける重要なシグナルを検出します。 これらのシグナルの現在の意味と将来の予測を導き出します。 データドリブンな顧客、製品、マーケティング戦略で対応します。 しかし、アダプティブ分析プラットフォームを構築するためには、小売業の経営者が直面する多くの戦略的課題があります。例えば、急速に変化する買い物客の影響や行動のトリガー、人口動態の変化、COVID-19 などの世代別市場レベルの影響、主要な経済圏の景気低迷といった課題や、お客様対応とオペレーション業務を効果的に行うために、予測に基づいた洞察が求められる小売業の職種が一層増えていることなどが挙げられます。

Read More

Amazon Kinesis Video Streams WebRTC ハンズオンを公開 – カメラデバイスとの低遅延の双方向メディアストリーミングの方法を学べます

こんにちは、IoT スペシャリストソリューションアーキテクトの三平です。この記事では、Amazon Kinesis Video Streams WebRTC ハンズオンをご紹介します。 Amazon Kinesis Video Streams は、分析、機械学習 (ML)、再生、およびその他の処理のために、コネクテッドデバイスから AWS へ動画を簡単かつ安全にストリーミングできるマネージドサービスです。また、WebRTC を使用した超低レイテンシーの双方向メディアストリーミングもサポートしています。数百万のデバイスからの動画の取り込みや保存、WebRTC の通信を行うためのクラウドインフラストラクチャを、自動的にプロビジョンして、伸縮自在にスケールします。 このハンズオンでは Amazon Kinesis Video Streams で WebRTC を用いてカメラデバイスとブラウザ間でメディアストリーミングを行う方法や、AWS IoT の Credentials Provider を用いてデバイスの認証と Amazon Kinesis Video Streams WebRTC へのアクセスを行う方法を、実際に手を動かしながら1〜2時間で学ぶことができます。

Read More
real-time-collaboration-using-amazon-chime-sdk-messaging

Amazon Chime SDK messagingでリアルタイムコラボレーションを行う

Amazon Chime SDK messagingは、開発者がユーザーのコミュニティを安全かつスケーラブル、そして永続的なメッセージングで簡単に接続するために必要なビルディングブロックを提供します。利用可能なAPIには、メッセージの送信、履歴の取得、メッセージの編集および削除、保存されたメッセージの保持ポリシーの設定、チャットデータのストリーミングエクスポートなどがあります。Amazon Chime SDK messagingは、お客様がより迅速に構築できるよう支援し、運用を簡素化します。 Amazon Chime SDK messagingを1対1のメッセージングユースケースに使用できることに加え、弊社のAPIは、幅広いユースケースに対応できる柔軟性を備えているとお客様は実感されています。Amazon Chime SDK messagingをアプリケーションのデータトランスポートとして使用し、ユーザーにとって真にユニークなエクスペリエンスを構築しています。また私たちのお客様は、コラボレーションチャットから、ビデオ放送と並行したメッセージング、そしてオンラインドキュメントやホワイトボードでのリアルタイムコラボレーションに至るまで、さまざまなエクスペリエンスを構築しています。

Read More

Splunkを使用したAmazon FSxのユーザーアクセスイベントの監視とレポート

このブログは2021年8月11日にPromise Owolabi (Storage Solution Architect)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 エンドユーザの行動やデータへのアクセスを監視することは、最新のデータセキュリティ戦略の中核をなすものです。お客様がワークロードをクラウドに移行する際、顧客データへのエンドユーザーのアクセスをログに記録することは、内部セキュリティポリシーの重要な要素であり、コンプライアンス目標を満たすために必要です。Amazon FSx for Windows File Server (Amazon FSx)のファイルアクセス監査により、AWSは、誰がファイル、フォルダ、またはファイル共有にアクセスしたか、修正したか、またはアクセス権限を変更したかをログに記録する簡単な方法を提供します。これにより、違反や異常な動作を検出することができ、監査のために結果を提示することもできます。 ファイルアクセス監査では、アクセス監査ログをAmazon CloudWatch Logsに送信したり、Amazon Kinesis Data Firehoseにストリーミングしたりすることで、ログのアーカイブ、ログ分析、イベントベースのアクションが可能になります。これにより、お客様は、AWS LambdaなどのAWSサービスやSplunkなどのAWSパートナーソリューションを利用して、ユーザーアクティビティの監視や対応をほぼリアルタイムで自動化することができます。コンプライアンス目標を達成するために、組織は、誰がファイル、フォルダ、ファイル共有にアクセスし、どのようなアクションを実行しているかを知り、実証する必要があります。ファイルアクセス監査は、保護されたデータへのアクセスのために定義されたアクセス制御ルールを検証するために使用できます。

Read More

消費財企業と物流ベンダーがAWSデータレイクで車両管理を最適化する方法

この一連のブログのパート1 「消費財企業と物流ベンダーにとって車両管理データレイクが必要な理由」では、消費財企業と物流ベンダーが輸送と車両管理のためにデータレイクを必要とする理由を説明しました。 簡単に要約すると、データレイクは輸送と車両のデータを保存、管理、分析し、車両のメンテナンス、ドライバーの安全、配送ルート、小売業者や顧客の満足度を最適化し、コストと CO2 排出量を削減する理想的な方法です。 このフォローアップブログでは、さまざまなデータタイプとフォーマットにわたって、スケーラブルに簡単にデータを分析し、輸送車両を最適化できる AWS データレイクのアーキテクチャを説明します。

Read More
Custom checkpointing walkthrough

AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化

AWS Lambdaは、Amazon Kinesis Data StreamsやAmazon DynamoDB Streamsなどのソースから取得した複数メッセージをバッチ処理できます。通常の操作では、処理を行う関数は1つのバッチから次のバッチに移動して、ストリームからのメッセージを消費します。 ただし、バッチ内のアイテムの1つでエラーが発生すると、そのバッチ内の同じメッセージ群の一部が再処理される可能性があります。新しいカスタムチェックポイント機能により、失敗したメッセージを含むバッチの処理方法をより詳細に制御できるようになりました。 このブログ記事では、バッチ失敗時のデフォルトの動作と、このエラー状態に対処するために開発者が使用可能なオプションについて説明します。また、この新しいチェックポイント機能の使用方法について説明し、ストリーム処理を行う関数内でこの機能を使用する利点についても説明します。

Read More

ユースケースに適したAWSビデオサービスの選択

今日、お客様は、ライブストリーミング、ホームセキュリティ、ビデオオンデマンド、工業環境での予知保全、職場でのビデオチャットなど、多くのユースケースでビデオデータ、オーディオデータ、時間符号化データを利用しています。多くの企業や消費者は、仕事やプライベートでの交流を向上するために、ビデオ技術を導入しています。その結果、AI/ML、インタラクティビティ、コンテンツ保護など、ビデオユースケースの数と種類が急速に増加しています。 このブログ記事では、それぞれのAWSビデオサービスの概要と一般的な使用例を紹介し、どのソリューションがお客様に適しているかを判断するのに役立つ情報を提供します。

Read More

AWS Lake Formation による効果的なデータレイクの構築 パート 2: ストリーミングデータソース用の governed table を作成する

本記事は Amazon Web Services, Senior Big Data Architect である 関山 宜孝 によって投稿されたものです。 AWS re:Invent 2020 で、AWS Lake Formation のトランザクション、行レベルのセキュリティ、および高速化のプレビューを発表しました。 このシリーズのパート 1 では、governed table を作成して、オブジェクトを追加する方法を説明しました。この記事では、この例を拡張し、Lake Formation トランザクションを使用して governed table にストリーミングデータを取り込む方法を示します。

Read More
FireLens の内部構造を示す図。

詳解 FireLens – Amazon ECS タスクで高度なログルーティングを実現する機能を深く知る

この記事は Under the hood: FireLens for Amazon ECS Task (記事公開日: 2019 年 11 月 18 日) を翻訳したものです。 2019 年 11 月、Amazon ECS は FireLens によるカスタムログルーティングのサポートを発表しました。FireLens によって、人気の高いオープンソースのロギングプロジェクトである Fluentd や Fluent Bit を簡単に使用することができ、さまざまな AWS サービスやパートナーの宛先にログを送信することができます。 この記事では、私たちがなぜ、どのようにして FireLens を作ったのか、詳しく説明します。また、私が FireLens を使用した結果を共有し、FireLens を設定するための推奨事項を紹介します。この記事では、FireLens、Fluent Bit や Fluentd について深く掘り下げます。Fluentd や Fluent Bit に馴染みのない方は、読み進める前に、Fluentd や Fluent Bit と FireLens のドキュメントをよく理解しておくことをお勧めします。

Read More