Amazon Web Services ブログ

 私が AWS を気に入っている理由の 1 つは、幅広い技術的ユースケースに取り組むために使用できる多数のビルディングブロックがあることです。Amazon ElastiCache for Redis は、そうしたビルディングブロックの 1 つです。データベースキャッシュの高速化のニーズを最もよく考慮していますが、ElastiCache は非常に柔軟で高速 (マイクロ秒) です。これまでに、ElastiCache を使用して地理空間クエリを実行し、リアルタイムダッシュボードを構築する方法について説明しました。 この記事では、既存のワークロードにほとんど変更を加えることなく、信頼性と可用性を強化するためにクラスターモードを有効にした ElastiCache for Redis を活用する方法について説明します。後で説明するように、クラスターモードには、Redis クラスターの水平方向の拡大および縮小という主な利点があり、クラスターのパフォーマンスへの影響はほとんどありません。これまでに過剰または過少にプロビジョニングされている Redis クラスターに遭遇したことがあるか、その内部の仕組みをもっとよく理解したいなら、この記事をお読みください。 詳細を説明する前に、ElastiCache for Redis クラスターを起動する際の構成オプションについて簡単に説明します。次の図に示すように、(1) シングルノード、(2) クラスターモード無効、(3) クラスターモード有効の 3 つのクラスター構成のいずれかを使用することができます。モードに関係なく、特定のクラスター内のすべてのノードは、(基礎となる EC2 インスタンスに関して) 同じノードタイプおよび構成になるように設計されています。 3 つのモードは、主に信頼性、可用性、およびスケーリングの動作が異なります。本稼働のワークロードの場合は、データの保護を強化するためにレプリケーションを含む構成を使用することを検討してください。プライマリノードを除いて、何らかの理由でノードに障害が発生した場合でも、他のノードにレプリケートされているためデータは失われません。プライマリノードに障害が発生した場合は、レプリケーションのレイテンシーが原因で一部のデータが失われる可能性はあります。次の表は、ElastiCache for Redis の構成間の主な違いをまとめたものです。 シングルノード クラスターモード無効 クラスターモード有効 レプリケーション可能? いいえ はい (ノードあたり最大 5 つのレプリカ) はい (ノードあたり最大 5 つのレプリカ) データパーティション分割可能? […]

 Amazon Transcribe のようなサービスが大好きです。魔法のように私の想像力を刺激する一種の未来的なテクノロジーです。さまざまな言語やアクセントにリアルタイムで対応した、正確で自動化されたスピーチ認証システムは本当に素晴らしいものです。多くのユースケースが考えられ、それらのほとんどすべてが興味をそそるものです。今まで使用できた Amazon Transcribe ストリーミング API は HTTP/2 ストリーミングで使用することができました。今日、あなたの構築したリアルタイムの音声機能に対して、別の統合オプションとして WebSockets が追加されています。 この投稿では、ブラウザでクライアント側の JavaScript のみを使用して、スピーチを文字起こししています。ただし、ビルドする前に基礎が必要です。Amazon Transcribe、WebSockets、Amazon Transcribe ストリーミング API に関して多くの情報をレビューし、デモを幅広く説明していきます。詳細な情報については、Amazon Transcribe ドキュメントを確認してください。 アクションがわかりにくい場合は、デモを直接確認できますが、最初にこの記事を簡単に確認することをお勧めします。 Amazon Transcribe とは? Amazon Transcribe は、機械学習モデルを適用し、音声のスピーチをテキストのトランスクリプションに変換します。Amazon Transcribe の最も強力な機能の 1 つは、音声をリアルタイムに文字起こしする機能です。今まで、この機能は HTTP/2 ストリーミングで使用できました。今日、WebSockets を使用して Amazon Transcribe に接続する機能をお知らせしています。 リアルタイムのトランスクリプションでは、Amazon Transcribe は英国英語 (en-GB)、米国英語 (en-US)、フランス語 (fr-FR)、カナダフランス語 (fr-CA)、米国スペイン語 (es-US) をサポートしています。 WebSockets とは? WebSockets は HTTP のように […]

 Amazon のお客様は何年も、消耗品を注文、音楽を聴く、ミーティングをサポート、ホームデバイスを管理、そして天気や最新ニュースを知るために Amazon Alexa の音声コマンドを使ってこられましたが、AWS のリソース管理となるとどうでしょうか。 AWS のマネージドサービスと完全マネージドサービスは、すでに管理タスクを減らし、アプリケーション上のリソースに焦点を当てることを可能にしていますが、今では音声対話で管理工数をさらに削減できるようになっています。 IT 管理者によるインフラストラクチャの管理と制御 開発者によるメトリクスのチェックと事前定義されたタスクのセキュアな実行 マネージャーによる IT リソースステータスとメトリクスの監視 さらに、これらのタスクはキーボードに触れることなく実行できます。 この記事では、Alexa の音声コマンドを使用して Amazon RDS インスタンス、または Amazon Aurora インスタンスを管理するためにインフラストラクチャを設定する方法について説明します。Alexa に、データベースインスタンスのメトリクス、設定、およびステータスを E メールするだけでなく、再起動やフェイルオーバーも実行してもらいましょう。 前提条件 AWS リソースの適切な音声管理には、以下を含めた AWS のサービスの組み合わせへのアクセスが関与します。 Alexa AWS Lambda Amazon EC2 AWS Systems Manager Amazon CloudWatch Amazon RDS Amazon Aurora Amazon SNS Amazon のクラウドベース音声サービスである Alexa は、毎日使うテクノロジーと直観的にやり取りすることを可能にします。このサービスを最大限に活用していただくため、Amazon は Alexa で音声エクスペリエンスを構築するためのツールと […]

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの上総 (Twitter:@tkazusa) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年7月18日に開催された第6回 Amzon SageMaker 事例祭りでは、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。

先日 (2019/07/17) 開催しました AWS Black Belt Online Seminar「Amazon Simple Queue Service (SQS)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190717 AWS Black Belt Online Seminar Amazon Simple Queue Service AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS LambdaでサポートされたAmazon SQSに対するポーリングはどういう方式になりますか？ A. 以前はLambdaを定期的に起動し、かつ、SQSに対してポーリング処理を実装する必要がありました。2018年6月にリリースされたAWS　Lambdaの新機能により、Amazon　SQSがAWS Lambdaのイベントソースとして加わり、LambdaがSQSにロングポーリングをしてメッセージの到着イベントをもとに関数を起動するようになりました。なお正常終了するとキューからメッセージをLambdaが削除します。 構成方法等はこちらをご覧ください また、SQSと連携する場合のAWS Lambdaのエラー発生時の挙動についてはこちらに記載がありますので併せてご確認ください。 Q. 過去のAWS Black Belt Online Seminarの動画は見れますか？ A. こちらで、YouTubeをご確認いただけます。 Q. 同期処理の場合に利用できるマネージドサービスにはどのようなものがありますか？ A. メッセージングサービスは非同期型になりますが、例えば、HTTP(S)の負荷分散サーバであるELBや、API環境を構築するAmazon API Gatewayは同期型で処理が可能です。 — 今後の AWS Webinar […]

 Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットを構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う作業者に簡単にアクセスでき、一般的なラベル付けタスクのための組み込みワークフローとインターフェイスが提供されます。Ground Truth は自動ラベル付け機能を使用して、ラベル付けコストを最大 70% 下げることができます。人間がラベルを作成したデータから Ground Truth をトレーニングすることにより機能するため、サービスはデータを独立してラベル付けすることを学習します。 組み込みワークフローに加えて、Ground Truth ではカスタムワークフローをアップロードするオプションがあります。カスタムワークフローは、人間のラベル作成者にラベル付け作業を完了するためのすべての指示と必要なツールを与える HTML インターフェイスから構成されています。また、前処理と後処理の AWS Lambda 関数も作成します。 前処理 Lambda 関数は、HTML インターフェイスへの入力をカスタマイズできるように支援します。 後処理 Lambda 関数は、データの処理を支援します。たとえば、その主な使用の 1 つは、精度向上のためのアルゴリズムをホストして、Ground Truth に対して人間が提供するラベルの質を評価する方法を指示します。 アルゴリズムは、同じデータが複数の人間のラベル作成者に提供されるときに、それが「正しい」かの同意を得るために使用されます。これはまた、質の低いデータを提供するラベル作成者も識別し、強調を押さえます。Amazon SageMaker コンソールを使用して、HTML インターフェイスと前と後処理 Lambda 関数をアップロードすることもできます。 正常に HTML インターフェイスを組み込むために、前と後処理の Lambda 関数は カスタムラベル付けワークフローの作成 で指定された入出力仕様を遵守しなければなりません。すべての可動部分をセットアップし、それらが互いに正常にやり取りできるようにするためには、何回か繰り返す必要があることが考えられます。 この記事では、カスタム HTML テンプレートと Lambda 関数のサンプルを使用して、カスタムワークフローをセットアップするプロセスを順に説明していきます。サンプルの Lambda 関数は、AWS […]

 AWS DeepLens の新しいエディション (2019 年) が、新たに 7 か国 (米国、イギリス、ドイツ、フランス、スペイン、イタリア、およびカナダ) にてご購入いただけるようになりました。日本 では先行予約を受付中です。2019 年エディションではセットアップがより簡素化し、(Amazon SageMaker Neo のおかげで) 機械学習モデルを旧エディションの 2 倍の速さで実行できるようになっています。 新しいチュートリアル 新しいチュートリアルも公開し、ご使用の開始をサポートします。 aws-deepplens-coffee-leaderboard – このチュートリアルでは、顔検出機能を使用してコーヒーを飲む人の数を追跡するというデモをご紹介しています。シーンを監視し、顔が検出されると Lambda 関数を起動します。Amazon Rekognition を使ってコーヒーマグを検出し、デモが保持する (かつ公開されない) DynamoDB データベースに顔の画像を追加します。このデモには、時間の経過とともにコーヒーの数を追跡するリーダーボードも含まれています。アーキテクチャは次のとおりです。 リーダーボードは次のとおりです。 詳細については、「Track the number of coffees consumed using AWS DeepLens」をご覧ください。 aws-deeplens-worker-safety-project – このチュートリアルでは、安全ヘルメットを着用していない労働者を特定するデモをご紹介しています。DeepLens が顔を検出し、画像を S3 にアップロードしてさらに処理を行います。その結果を AWS IoT と Amazon CloudWatch を使用して分析し、ウェブダッシュボードに表示します。アーキテクチャは次のとおりです。 詳細については、ご登録後、30 分間の無料コース「Worker […]

 Electronic Caregiver の創設者兼 CEO である Anthony Dohrmann 氏は 10 年前に会社を設立したとき、1 億人のアメリカ人と世界中の数え切れない人々が直面していた困難な状況 (慢性疾患の健康管理を管理するという難題) に取り組んでいました。「患者はしばしば受けた治療の指示をよく理解していません。治療の失敗の半数は治療計画と投薬スケジュールを順守していないことに原因があると推定されています」と Dohrmann 氏は説明します。 そのため、Electronic Caregiver は「患者の経験を向上させ、患者を自身のパーソナル治療計画に積極的に参加させられるように」設計されました。「当社は医療従事者、家族、介護者の間のコミュニケーションを改善し、高齢化や病気の必要性に対して情報に基づいた対応をより一層行えるようにしています。当社は、費用のかかる合併症を減らし、健康への影響を改善し、そして寿命を延ばせるようにするつもりです」。 今日、Electronic Caregiver のソリューションは、最先端の 3D アニメーションの仮想介護者である Addison を中心に展開されています。Addison は双方向の会話をすることができ、ユーザーの個人的なニーズに合わせてプログラムされています。人間の在宅介護者と同じ様に、Addison は患者の活動を監視し、薬を服用するように思い出させ、重要な情報を収集し、そしてリアルタイムの健康診断を実施します。それをすべて患者の自宅において行うことで、安全かつ快適に実施します。Addison がいないと患者は病院をいくつも訪問し、在宅介護者への支払いが必要になりますが、Addison のおかげでユーザーはどこにいても健康上のソリューションを享受できます。 その人生を変えるような魔法の力を高めるために、Electronic Caregiver はさまざまな点で AWS に頼っています。HIPPA に準拠した方法で患者データを保存するための生データの計算能力を得るために、Electronic Caregiver のチームは AWS Lambda 関数などのサービスを利用しています。患者向けの経験を高めるために、Electronic Caregiver は Amazon Sumerian を使用して Addison という拡張現実 (AR) キャラクターを開発しました。そして、データの収集と分析などの Addison の背後にあるインテリジェンスにとっては、AWS IoT Core、AWS IoT […]

 お客様が深層学習科学と機械学習 (ML) のバックグラウンドをお持ちでないときに、どのように始めればよいかお尋ねになることがよくあります。 AWS において、私たちの目標はすべての開発者とデータ科学者の手に ML をもたらすことにあります。 AWS トレーニングと認定では edX と提携して、素早く容易に対話形式のコース「Amazon SageMaker: Simplifying Machine Learning Application Development」で ML を使用して開始できるようにしています。 edX でのみ利用できる 「Amazon SageMaker: Simplifying Machine Learning Application Development」は ML の基礎的な理解のための中程度のデジタルコースで、Amazon SageMaker を使用して構築、トレーニング、デプロイできる方法について学ぶことができます。 Amazon SageMaker は ML のワークフロー全体を対象にした 完全マネージド型サービスです。これは、データにラベルを付けて準備し、アルゴリズムを選択し、モデルをトレーニングし、それをデプロイし、予測を行い、動作させるために、微調整して最適化するために役立ちます。 このコースは、AWS 専門家により開発されました。次のことを説明しています。 ML が対応でき、最終的に解決に役立つことができる重要な問題 Amazon SageMaker の組み込みアルゴリズムと Jupyter Notebook インスタンスを使用してモデルをトレーニングする方法 Amazon SageMaker を使用してモデルをデプロイする方法 アプリケーションでパブリッシュされた SageMaker エンドポイントを組み込む方法 Amazon SageMaker: Simplifying Machine […]

 Amazon EMR の速さと柔軟性を、Apache Hive の有用性とユビキタス性と組み合わせることで、両方の長所が得られます。ただし、ビッグデータプロジェクトを始めるのは容易なことではありません。EMR に新しいデータをデプロイする場合でも、既存のプロジェクトを移行する場合でも、この記事では開始するための基本を説明します。 Apache Hive は、Apache Hadoop クラスターで動作するオープンソースのデータウェアハウスおよび分析パッケージです。Hive メタストアには、パーティション名やデータ型など、テーブルとその基礎となるデータの説明が含まれています。Hive は、EMR で実行できるアプリケーションの 1 つです。 この記事が提示するソリューションの大半は、メタストアを管理するために、Hiveにスケーラビリティを提供する Apache Hadoop を使用していることを前提としています。Hadoop を使用しない場合は、Amazon EMR のドキュメントを参照してください。 Hive メタストアのデプロイメント Hive メタストアでは、埋め込み、ローカル、またはリモートの 3 つの構成パターンのいずれかを選択できます。 オンプレミスの Hadoop クラスターを EMR に移行する場合、移行戦略は既存の Hive メタストアの構成によって異なります。 設定を検討する際は、いくつかの重要な事実を考慮してください。Apache Hive には、埋め込みメタストアに使用できる Derby データベースが付属しています。ただし、Derby は本番稼働レベルのワークロードには対応できません。 EMR を実行している場合、Hive はマスターノードのファイルシステム上の MySQL データベースにメタストア情報を一時ストレージとして記録し、ローカルメタストアを作成します。 クラスターが終了すると、そのマスターノードを含めてすべてのクラスターノードがシャットダウンし、データが消去されます。 これらの問題を回避するには、外部 Hive メタストアを作成します。これにより、Hive メタデータストアを実装に合わせて拡張できるようになり、クラスターが終了してもメタストアが維持されるようになります。 EMR 用の外部 Hive メタストアを作成する方法は […]