Amazon Web Services ブログ

Fluent Bit による集中コンテナロギング

本投稿は Wesley Pettit と Michael Hausenblas による寄稿を翻訳したものです AWS はビルダーのために作られています。ビルダーは常に最適化の方法を模索し、それはアプリケーションのロギングにも当てはまります。全てのログの重要性が同等ということはありません。あるログはリアルタイムの分析を必要とし、他のログは必要となった時に分析が行えるよう単に長期間保管しておくことを必要としたります。それ故に AWS とパートナーが提供する様々なストレージや分析のツールに容易にログをルーティングできることが重要です。 そこで私たちは Fluent Bit をサポートし、コンテナ化されたアプリケーションから AWS やパートナーのログ保存ソリューション、ログ分析ソリューションへのログストリーム向けに、容易に利用可能な拡張ポイントを作成できるようにします。新しくリリースしたAWSコンテナイメージ向けの Fluent Bit プラグインを用いて、ログを Amazon CloudWatch と Amazon Kinesis Data Firehose の送信先 (Amazon S3、Amazon Elasticsearch Service、Amazon Redshift を含みます)へルーティングすることが可能です。 本投稿では、Fluent Bit プラグインのECS、EKS 両クラスタでの動作をご紹介いたします。ツール自体に慣れていない場合は、こちらの記事(basics of Fluentd and the Kinesis Firehose)にあるチュートリアルを確認いただくと参考になるかもしれません。よろしければ AWS containers roadmap の関連するイシュー #10 と #66 もご参照ください。

Read More

Amazon Athena および AWS Storage Gateway を使用して、オンプレミスで作成されたデータを照会する

 企業のお客様は、毎日データセンターで生成されるペタバイト規模のデータへのアクセスを維持、保護、提供する必要があります。従来、これには、未加工データをネットワークアタッチトストレージ (NAS)、ストレージエリアネットワーク (SAN)、またはダイレクトアタッチトストレージ (DAS) に保存し、それを変換してリレーショナルデータベースにロードして照会および分析活動をサポートする、一連の複雑な相互関連システムが含まれます。これは、一般に抽出、変換、ロードまたは ETL として知られています。 これらのシステムはそれぞれ、別々のチームによって別々に維持する必要があります。データベースは DBA によって、基盤となる物理インフラストラクチャはシステムエンジニアによって、などです。AWS では、常にお客様のために「Invent and Simplify」の方法を模索しています。この記事では、オンプレミスで生成された重要なデータを照会するプロセスを簡素化するための、お客様のデータセンターにデプロイできる AWS テクノロジ (AWS Storage Gateway) とサーバーレスのクラウドネイティブテクノロジ (Amazon Athena) の組み合わせた使用について説明します。 Tableau などの一般的なエンタープライズ分析ツールを使用してデータを分析するお客様は、ODBC または JDBC を使用してデータに接続し、データに対してクエリを実行しています。逆に、ファイルシステムはファイルの読み書きに SMB や NFS などのプロトコルを使用します。これまで、データを分析できるようにするためには、データを未加工の形式 (多くの場合はテキストファイル) からリレーショナルデータベースに変換する必要がありました。AWS Storage Gateway および Amazon Athena に入ります。

Read More

Amazon ElastiCache for Redis でクラスターモードを使用する

 私が AWS を気に入っている理由の 1 つは、幅広い技術的ユースケースに取り組むために使用できる多数のビルディングブロックがあることです。Amazon ElastiCache for Redis は、そうしたビルディングブロックの 1 つです。データベースキャッシュの高速化のニーズを最もよく考慮していますが、ElastiCache は非常に柔軟で高速 (マイクロ秒) です。これまでに、ElastiCache を使用して地理空間クエリを実行し、リアルタイムダッシュボードを構築する方法について説明しました。 この記事では、既存のワークロードにほとんど変更を加えることなく、信頼性と可用性を強化するためにクラスターモードを有効にした ElastiCache for Redis を活用する方法について説明します。後で説明するように、クラスターモードには、Redis クラスターの水平方向の拡大および縮小という主な利点があり、クラスターのパフォーマンスへの影響はほとんどありません。これまでに過剰または過少にプロビジョニングされている Redis クラスターに遭遇したことがあるか、その内部の仕組みをもっとよく理解したいなら、この記事をお読みください。 詳細を説明する前に、ElastiCache for Redis クラスターを起動する際の構成オプションについて簡単に説明します。次の図に示すように、(1) シングルノード、(2) クラスターモード無効、(3) クラスターモード有効の 3 つのクラスター構成のいずれかを使用することができます。モードに関係なく、特定のクラスター内のすべてのノードは、(基礎となる EC2 インスタンスに関して) 同じノードタイプおよび構成になるように設計されています。 3 つのモードは、主に信頼性、可用性、およびスケーリングの動作が異なります。本稼働のワークロードの場合は、データの保護を強化するためにレプリケーションを含む構成を使用することを検討してください。プライマリノードを除いて、何らかの理由でノードに障害が発生した場合でも、他のノードにレプリケートされているためデータは失われません。プライマリノードに障害が発生した場合は、レプリケーションのレイテンシーが原因で一部のデータが失われる可能性はあります。次の表は、ElastiCache for Redis の構成間の主な違いをまとめたものです。 シングルノード クラスターモード無効 クラスターモード有効 レプリケーション可能? いいえ はい (ノードあたり最大 5 つのレプリカ) はい (ノードあたり最大 5 つのレプリカ) データパーティション分割可能? […]

Read More

Amazon Transcribe では WebSockets をサポートしています

 Amazon Transcribe のようなサービスが大好きです。魔法のように私の想像力を刺激する一種の未来的なテクノロジーです。さまざまな言語やアクセントにリアルタイムで対応した、正確で自動化されたスピーチ認証システムは本当に素晴らしいものです。多くのユースケースが考えられ、それらのほとんどすべてが興味をそそるものです。今まで使用できた Amazon Transcribe ストリーミング API は HTTP/2 ストリーミングで使用することができました。今日、あなたの構築したリアルタイムの音声機能に対して、別の統合オプションとして WebSockets が追加されています。 この投稿では、ブラウザでクライアント側の JavaScript のみを使用して、スピーチを文字起こししています。ただし、ビルドする前に基礎が必要です。Amazon Transcribe、WebSockets、Amazon Transcribe ストリーミング API に関して多くの情報をレビューし、デモを幅広く説明していきます。詳細な情報については、Amazon Transcribe ドキュメントを確認してください。 アクションがわかりにくい場合は、デモを直接確認できますが、最初にこの記事を簡単に確認することをお勧めします。 Amazon Transcribe とは? Amazon Transcribe は、機械学習モデルを適用し、音声のスピーチをテキストのトランスクリプションに変換します。Amazon Transcribe の最も強力な機能の 1 つは、音声をリアルタイムに文字起こしする機能です。今まで、この機能は HTTP/2 ストリーミングで使用できました。今日、WebSockets を使用して Amazon Transcribe に接続する機能をお知らせしています。 リアルタイムのトランスクリプションでは、Amazon Transcribe は英国英語 (en-GB)、米国英語 (en-US)、フランス語 (fr-FR)、カナダフランス語 (fr-CA)、米国スペイン語 (es-US) をサポートしています。 WebSockets とは? WebSockets は HTTP のように […]

Read More

Amazon Alexa および AWS Systems Manager でのカスタムスキルを使ったデータベースの管理

 Amazon のお客様は何年も、消耗品を注文、音楽を聴く、ミーティングをサポート、ホームデバイスを管理、そして天気や最新ニュースを知るために Amazon Alexa の音声コマンドを使ってこられましたが、AWS のリソース管理となるとどうでしょうか。 AWS のマネージドサービスと完全マネージドサービスは、すでに管理タスクを減らし、アプリケーション上のリソースに焦点を当てることを可能にしていますが、今では音声対話で管理工数をさらに削減できるようになっています。 IT 管理者によるインフラストラクチャの管理と制御 開発者によるメトリクスのチェックと事前定義されたタスクのセキュアな実行 マネージャーによる IT リソースステータスとメトリクスの監視 さらに、これらのタスクはキーボードに触れることなく実行できます。 この記事では、Alexa の音声コマンドを使用して Amazon RDS インスタンス、または Amazon Aurora インスタンスを管理するためにインフラストラクチャを設定する方法について説明します。Alexa に、データベースインスタンスのメトリクス、設定、およびステータスを E メールするだけでなく、再起動やフェイルオーバーも実行してもらいましょう。 前提条件 AWS リソースの適切な音声管理には、以下を含めた AWS のサービスの組み合わせへのアクセスが関与します。 Alexa AWS Lambda Amazon EC2 AWS Systems Manager Amazon CloudWatch Amazon RDS Amazon Aurora Amazon SNS Amazon のクラウドベース音声サービスである Alexa は、毎日使うテクノロジーと直観的にやり取りすることを可能にします。このサービスを最大限に活用していただくため、Amazon は Alexa で音声エクスペリエンスを構築するためのツールと […]

Read More

【開催報告】 第6回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの上総 (Twitter:@tkazusa) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年7月18日に開催された第6回 Amzon SageMaker 事例祭りでは、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。

Read More

[AWS Black Belt Online Seminar] Amazon Simple Queue Service (SQS) 資料及び QA 公開

先日 (2019/07/17) 開催しました AWS Black Belt Online Seminar「Amazon Simple Queue Service (SQS)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190717 AWS Black Belt Online Seminar Amazon Simple Queue Service from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. AWS LambdaでサポートされたAmazon SQSに対するポーリングはどういう方式になりますか? A. 以前はLambdaを定期的に起動し、かつ、SQSに対してポーリング処理を実装する必要がありました。2018年6月にリリースされたAWS Lambdaの新機能により、Amazon SQSがAWS Lambdaのイベントソースとして加わり、LambdaがSQSにロングポーリングをしてメッセージの到着イベントをもとに関数を起動するようになりました。なお正常終了するとキューからメッセージをLambdaが削除します。 構成方法等はこちらをご覧ください また、SQSと連携する場合のAWS Lambdaのエラー発生時の挙動についてはこちらに記載がありますので併せてご確認ください。 Q. 過去のAWS Black Belt Online Seminarの動画は見れますか? A. こちらで、YouTubeをご確認いただけます。 Q. 同期処理の場合に利用できるマネージドサービスにはどのようなものがありますか? A. メッセージングサービスは非同期型になりますが、例えば、HTTP(S)の負荷分散サーバであるELBや、API環境を構築するAmazon API […]

Read More

AWS Lambda および Amazon SageMaker Ground Truth によるカスタムのラベル貼付ジョブの作成

 Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットを構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う作業者に簡単にアクセスでき、一般的なラベル付けタスクのための組み込みワークフローとインターフェイスが提供されます。Ground Truth は自動ラベル付け機能を使用して、ラベル付けコストを最大 70% 下げることができます。人間がラベルを作成したデータから Ground Truth をトレーニングすることにより機能するため、サービスはデータを独立してラベル付けすることを学習します。 組み込みワークフローに加えて、Ground Truth ではカスタムワークフローをアップロードするオプションがあります。カスタムワークフローは、人間のラベル作成者にラベル付け作業を完了するためのすべての指示と必要なツールを与える HTML インターフェイスから構成されています。また、前処理と後処理の AWS Lambda 関数も作成します。 前処理 Lambda 関数は、HTML インターフェイスへの入力をカスタマイズできるように支援します。 後処理 Lambda 関数は、データの処理を支援します。たとえば、その主な使用の 1 つは、精度向上のためのアルゴリズムをホストして、Ground Truth に対して人間が提供するラベルの質を評価する方法を指示します。 アルゴリズムは、同じデータが複数の人間のラベル作成者に提供されるときに、それが「正しい」かの同意を得るために使用されます。これはまた、質の低いデータを提供するラベル作成者も識別し、強調を押さえます。Amazon SageMaker コンソールを使用して、HTML インターフェイスと前と後処理 Lambda 関数をアップロードすることもできます。 正常に HTML インターフェイスを組み込むために、前と後処理の Lambda 関数は カスタムラベル付けワークフローの作成 で指定された入出力仕様を遵守しなければなりません。すべての可動部分をセットアップし、それらが互いに正常にやり取りできるようにするためには、何回か繰り返す必要があることが考えられます。 この記事では、カスタム HTML テンプレートと Lambda 関数のサンプルを使用して、カスタムワークフローをセットアップするプロセスを順に説明していきます。サンプルの Lambda 関数は、AWS […]

Read More

AWS DeepLens – 新たに 7 か国でご注文が可能に

 AWS DeepLens の新しいエディション (2019 年) が、新たに 7 か国 (米国、イギリス、ドイツ、フランス、スペイン、イタリア、およびカナダ) にてご購入いただけるようになりました。日本 では先行予約を受付中です。2019 年エディションではセットアップがより簡素化し、(Amazon SageMaker Neo のおかげで) 機械学習モデルを旧エディションの 2 倍の速さで実行できるようになっています。 新しいチュートリアル 新しいチュートリアルも公開し、ご使用の開始をサポートします。 aws-deepplens-coffee-leaderboard – このチュートリアルでは、顔検出機能を使用してコーヒーを飲む人の数を追跡するというデモをご紹介しています。シーンを監視し、顔が検出されると Lambda 関数を起動します。Amazon Rekognition を使ってコーヒーマグを検出し、デモが保持する (かつ公開されない) DynamoDB データベースに顔の画像を追加します。このデモには、時間の経過とともにコーヒーの数を追跡するリーダーボードも含まれています。アーキテクチャは次のとおりです。 リーダーボードは次のとおりです。 詳細については、「Track the number of coffees consumed using AWS DeepLens」をご覧ください。 aws-deeplens-worker-safety-project – このチュートリアルでは、安全ヘルメットを着用していない労働者を特定するデモをご紹介しています。DeepLens が顔を検出し、画像を S3 にアップロードしてさらに処理を行います。その結果を AWS IoT と Amazon CloudWatch を使用して分析し、ウェブダッシュボードに表示します。アーキテクチャは次のとおりです。 詳細については、ご登録後、30 分間の無料コース「Worker […]

Read More

自宅からヘルスケアアクセスを可能にする: Electronic Caregiver の AWS 搭載の仮想介護者

 Electronic Caregiver の創設者兼 CEO である Anthony Dohrmann 氏は 10 年前に会社を設立したとき、1 億人のアメリカ人と世界中の数え切れない人々が直面していた困難な状況 (慢性疾患の健康管理を管理するという難題) に取り組んでいました。「患者はしばしば受けた治療の指示をよく理解していません。治療の失敗の半数は治療計画と投薬スケジュールを順守していないことに原因があると推定されています」と Dohrmann 氏は説明します。 そのため、Electronic Caregiver は「患者の経験を向上させ、患者を自身のパーソナル治療計画に積極的に参加させられるように」設計されました。「当社は医療従事者、家族、介護者の間のコミュニケーションを改善し、高齢化や病気の必要性に対して情報に基づいた対応をより一層行えるようにしています。当社は、費用のかかる合併症を減らし、健康への影響を改善し、そして寿命を延ばせるようにするつもりです」。 今日、Electronic Caregiver のソリューションは、最先端の 3D アニメーションの仮想介護者である Addison を中心に展開されています。Addison は双方向の会話をすることができ、ユーザーの個人的なニーズに合わせてプログラムされています。人間の在宅介護者と同じ様に、Addison は患者の活動を監視し、薬を服用するように思い出させ、重要な情報を収集し、そしてリアルタイムの健康診断を実施します。それをすべて患者の自宅において行うことで、安全かつ快適に実施します。Addison がいないと患者は病院をいくつも訪問し、在宅介護者への支払いが必要になりますが、Addison のおかげでユーザーはどこにいても健康上のソリューションを享受できます。 その人生を変えるような魔法の力を高めるために、Electronic Caregiver はさまざまな点で AWS に頼っています。HIPPA に準拠した方法で患者データを保存するための生データの計算能力を得るために、Electronic Caregiver のチームは AWS Lambda 関数などのサービスを利用しています。患者向けの経験を高めるために、Electronic Caregiver は Amazon Sumerian を使用して Addison という拡張現実 (AR) キャラクターを開発しました。そして、データの収集と分析などの Addison の背後にあるインテリジェンスにとっては、AWS IoT Core、AWS IoT […]

Read More