Amazon Web Services ブログ

Category: Amazon Kinesis

Amazon CloudFront ログを使用したリアルタイムダッシュボードの作成

Amazon CloudFront は AWS グローバルネットワークを使用して、静的および動的なウェブコンテンツを低レイテンシかつ高速で安全に配信するコンテンツ配信ネットワーク (CDN) です。 この度 CloudFront でリアルタイムに利用可能な、デリバリーログを配信する機能が発表されました。このリアルタイムログには、CloudFront が受け取った全てのリクエストに関する詳細情報が含まれます。詳細な情報をリアルタイムで確認することで、運用イベントに迅速に対応できるようになります。 リアルタイムログでは、収集する情報とその配信先をカスタマイズできます。リアルタイムログは Amazon Kinesis Data Streams と統合されており、Amazon Kinesis Data Firehose を使用して一般的な HTTP エンドポイントにログを配信できます。 Amazon Kinesis Data Firehose では Amazon S3、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、および Datadog、New Relic、Splunk などのサービスプロバイダにログを配信できます。このログを使用して、リアルタイムダッシュボードの作成、アラートの設定、異常の調査や運用イベントへの迅速な対応を行うことができます。追跡できる一般的なデータポイントとしては、異なる地理的リージョンからのビューアーリクエスト数や、レイテンシが高いユニークビューアー数などがあります。

Read More

Route 53 Resolver クエリログを使用して、VPC DNS クエリをログに記録する

Amazon Route 53 チームが、Route 53 Resolver クエリログと呼ばれる新機能をリリースしました。これにより、Amazon Virtual Private Cloud 内のリソースが行うすべての DNS クエリをログに記録できるようになります。Amazon Elastic Compute Cloud (EC2) インスタンス、AWS Lambda 関数、またはコンテナのいずれでも、仮想プライベートクラウドに存在し、DNS クエリを実行する場合、この機能によってログが記録されます。このため、アプリケーションの動作状況の調査と把握をより深く行うことができます。 お客様によれば、DNS クエリログは重要であると言います。お客様の中には、規則に準拠できるようにログを望む方もいれば、DNS クエリの動作をモニタリングしてセキュリティの脅威を発見したいという方もいました。単に、DNS に関連するアプリケーションの問題をトラブルシューティングしたい方もいました。チームはこうしたお客様の声に耳を傾け、洗練されかつ使いやすいと確信したソリューションを開発してきました。 私の場合、Route 53 Resolver についてほとんど何も知らないところから、クエリログを設定し、ドキュメントを一目見ただけで使用できるようになりました。つまり、Route 53 または DNS クエリのログ記録で多くの経験は必要なく、その機能が直感性に優れていることを示していると言えるでしょう。 Amazon CloudWatch Logs、Amazon Simple Storage Service (S3)、Amazon Kinesis Data Firehose の 3 つの AWS のサービスのいずれかに、DNS クエリログを送信するように選択できます。選択するターゲットサービスは、主にデータで何をしたいかによって異なります。コンプライアンス規制(たとえば、オーストラリアの 情Information Security Registered Assessors Program など)がある場合は、Amazon […]

Read More

Amazon Kinesis Video Streams ハンズオンを公開 – カメラデバイスからの動画の収集、ストリーミング再生、分析方法を学ぶことができます

こんにちは、IoT Specialist ソリューションアーキテクトの三平です。この記事では、Amazon Kinesis Video Streams ハンズオンをご紹介します。 Amazon Kinesis Video Streams は、分析、機械学習 (ML)、再生、およびその他の処理のために、接続されたデバイスから AWS へ動画を簡単かつ安全にストリーミングできるマネージドサービスです。数百万のデバイスからの動画をセキュアに取り込み、時系列でインデックスして保存、再生や分析のために容易に取り出すためのインフラストラクチャを、自動的にプロビジョンして、伸縮自在にスケールします。 このハンズオンでは Amazon Kinesis Video Streams を用いた PoC などを容易に行っていただけるよう、カメラデバイス (Raspberry Pi) からクラウドへ動画を収集・保存し、ライブやオンデマンドでストリーミング再生したり、動画ファイルとしてダウンロードしたり、Amazon Rekognition Video と組み合わせてライブ顔認識やニアリアルタイムでの分析などを行ったりする方法を、実際に手を動かしながら3〜4時間で学ぶことができます。

Read More

IoT@Loft #9 IoTにおけるカメラ・動画の扱い方

IoT@Loft の第9回目は「IoTにおけるカメラ・動画の扱い方」をテーマに、初のオンライン開催を行いました。 見守りカメラや監視カメラ、ドライブレコーダーやロボットなど、IoTではカメラや動画を扱う様々なユースケースが存在します。一方で、デバイスやメディアを取り扱う際には、セキュリティやスケーラビリティなどのIoTならではの課題があります。また、Webカメラの普及や低価格化により、デバイスだけではなくサービスとしての差別化が必要になってきており、例えばクラウド側やエッジ側での認識技術などと組み合わせることによる付加価値の提供も重要です。 この回では、エッジAI処理カメラやIoT通信プラットフォームを提供されているソラコム様、防犯カメラのクラウドサービスを提供されているセーフィー様に登壇いただき、カメラデバイスや動画を扱うサービスやソリューションにおけるAWSのユースケースや課題についてお話しいただきました。また、AWSからは、IoTにおける動画ソリューションの構築方法やその事例について紹介しました。

Read More

IoT@Loft #7 – オートモーティブIoT

こんにちは、AWSソリューションアーキテクトの渡邊 です。1月30日の IoT@Loft 第7回目のテーマは、「オートモーティブIoT」でした。MaaSや自動運転などに取り組まれているエンジニアの方々にその取り組みについてご紹介いただきました。また、オートモーティブ分野におけるAWSサービスの活用方法について、AWSよりご紹介しました。

Read More

Kinesis と DynamoDB をイベントソースにする際の AWS Lambda の新しいスケーリング管理

AWS Lambda は、Amazon Kinesis Data Streams と Amazon DynamoDB ストリームのイベントソースで利用可能な、新しいスケーリングパラメータを導入しました。Parallelization Factor は、各シャードにおける Lambda 関数呼び出しの同時実行数を増やす設定を可能にします。このパラメータは、デフォルトでは 1 です。これによって、処理されるレコードの順序を保証しながら、シャード数を過大にスケールすることなく、より高速なストリーム処理が可能になります。

Read More

【開催報告】第9回 AWS Data Lake ハンズオンセミナー

こんにちは。AWS ソリューションアーキテクトの上原誠(@pioh07)です。 9月27日に、「AWS Data Lake ハンズオンセミナー」を開催いたしました。去年から行ってきた恒例のワークショップで第9回目となります。去年から引き続き盛況で、今回も80名以上のお客様にご参加頂きました。 はじめに、AWSにおけるデータ活用のベストプラクティスである Amazon S3 を中心とした Data Lake について解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、Amazon Athena や Amazon Redshift の各 AWS サービスを駆使して実際にラムダアーキテクチャを構築することがゴールです。とはいえ全てを構築するのはボリュームが大きいため、スピードレイヤー or バッチレイヤー or 全部入りでコース分けて取り組めるようハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。今回、参加者も多くいらっしゃいましたので、サポートするソリューションアーキテクトも7名で対応させていただきました。 今回参加できなかった方も、ソリューションアーキテクトのサポートを受けながらハンズオンを行いログ分析を初めてみてはいかがでしょうか? 次回はハロウィンも待ち遠しい11月に開催予定です。ご参加お待ちしております。

Read More

Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました

2019年5月、Amazon Kinesis Data Analytics が東京リージョンで利用できるようになりました。 これまで、東京リージョンにあるデータソース(Amazon Kinesis Data Streams または Amazon Kinesis Data Firehose)を Kinesis Data Analytics に接続するためには、リージョンを跨いで接続する必要がありました。Kinesis Data Analytics が東京リージョンで利用可能となったことにより、日本国内にあるデータソースと接続しやすくなり、ストリームデータ分析の環境をよりシンプルに構築できるようになりました。 Kinesis Data Analytics では、ストリーミングデータをリアルタイムに分析できるため、ビジネス上の素早いアクションが可能になります。今日では、Web・モバイルアプリケーションからのクリックストリームデータ、サーバーのアプリケーションログなど様々なデータソースから継続的にデータが生成されています。Kinesis Data Analytics は、新しいプログラミング言語や処理フレームワークを習得することなく、標準 SQL や Java (Apache Flink) でストリーミングデータをリアルタイムに分析することができます。また、フルマネージドサービスであり、受信データのボリュームとスループットレートに応じて自動的にスケールします。クエリで使用されるリソースのみが課金の対象となり、最低料金や初期費用はありません。

Read More

Elasticsearch と Kibana を使って Amazon Connect のデータをリアルタイムに活用する

このブログポストでは、Amazon Elasticsearch Service (Amazon ES) と Kibana を使って、どのように Amazon Connect コンタクトセンターでリアルタイムなデータ分析を行うかを紹介します。問い合わせ対応時間やサービスレベル、問い合わせの効率具合、エージェントのパフォーマンス、顧客満足度など、様々なサービス・メトリクスを改善するためにコンタクトセンターのパフォーマンスをモニタリングできます。 加えて、Amazon ES を使って問い合わせ追跡レコード (CTR) 、エージェントのイベント・ストリーム、Amazon CloudWatch で取得できる問い合わせフローログを処理し、Kibana を使ってリアルタイムに近い形で可視化するソリューションも紹介します。Elasticsearch はオープンソースの、分散システムの検索と分析のエンジンで、ログ分析や全文検索に利用されています。Kibana はデータ集約と可視化のツールです。Amazon ES と Kibana を用いて、リアルタイムにデータを検索、可視化、分析、洞察することができます。 Amazon Connect は顧客とのやり取りで発生したイベントの詳細をリアルタイムに問い合わせフローログとして提供します。問い合わせフローとは顧客が問い合わせを行ったときの顧客体験を定義したもので、再生するプロンプトや顧客からの入力、問い合わせキューの転送などを定義します。 さらに、Amazon Connect は 分析用にデータをエクスポートするために CTR を Amazon Kinesis Data Firehose に、エージェントのイベントを Amazon Kinesis Data Streams にストリーミングできます。CTR は Amazon Connect インスタンスで発生するイベントや、属性、キュー、エージェントのやり取りをキャプチャーしたものです。エージェントのイベントは、Amazon Connect インスタンスにて起こる、ログイン、ログアウト、ステータスの変更といったエージェントのアクティビティを記録したものです。 ソリューション概要 以下の図は Amazon Connect からの問い合わせフローログや CTR、エージェントのイベントを処理し、Amazon […]

Read More

2018 年に最もよく読まれた AWS データベースブログ

この記事では、私たちが 2018 年に掲載した AWS データブログ記事で、最もよく読まれた10本を紹介しています。このリストをガイドとして使って、まだ読んでいないデータベースブログに目を通す、または特に有益だと思った記事を読み返すことができます。

Read More