Amazon Web Services ブログ

AWS が機械学習をすべての開発者と BI アナリストの手に委ねている方法

本日、AWSは Amazon Aurora データベースのリレーショナルデータと Amazon S3 の非構造化データを使用して、機械学習 (ML) 予測をアプリケーションおよびビジネスインテリジェンス (BI) ダッシュボードに簡単に追加する新しい方法を発表しました。SQL (構造化クエリ言語) クエリにいくつかのステートメントを追加し、Amazon QuickSightで数回クリックするだけです。Aurora、Amazon Athena、および Amazon QuickSight は、Amazon SageMaker や Amazon Comprehend などの AWS ML サービスをお使いのアプリケーションから直接呼び出します。これにより、カスタム統合を構築したり、データを移動したり、別のツールを学習したり、複雑なコード行を記述したり、ML の経験を積んだりする必要なく、ML 予測をアプリケーションに簡単に追加できます。 これらの新しい変更により、洗練された ML 予測を SQL クエリとダッシュボードでより簡単に利用できるすることで、データベース開発者やビジネスアナリストがMLをより使いやすくアクセスしやすくなります。以前は、拡張して、本番環境でマネージしてサポートされる必要があるカスタムアプリケーションレベルのコードを書くのに何日も費やす可能性がありました。今では、SQL を書ける人なら誰でも、カスタムの「グルーコード」なしでアプリケーションで予測を作成して使用できます。 データにあふれた世界を理解する AWSは、それほど遠くない将来に、ほぼすべてのアプリケーションに ML と人工知能 (AI) が使用されると固く信じています。数万人のお客様が、データサイエンティストと開発者が大規模な ML モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにするフルマネージドサービスである Amazon SageMaker を通じて ML の恩恵を受けています。 たとえば、Amazon Comprehend のような使いやすい API を介してモデルを構築し、アプリケーションにインテリジェンスを追加するさまざまな方法がありますが、これらのモデルをデータベース、分析、ビジネスインテリジェンスレポートに組み込むことは依然として難しいものになっています。比較的単純なカスタマーサービスの例を考えてみましょう。Amazon Comprehend は、テキストのセンチメントをすばやく評価できます (ポジティブかネガティブか)。私がストアのカスタマーサービスページにフィードバックを残すとします。「あなたの製品は悪臭を放っているので、私は二度と買いません!」 […]

Read More

Amazon Aurora の新機能 – データベースから直接機械学習を使用する

機械学習により、データからより良いインサイトを得ることができます。しかし、ほとんどの構造化データはどこに保存されているのでしょうか? データベースに保存されています! 現在、リレーショナルデータベースのデータで機械学習を使用するには、データベースからデータを読み取り、機械学習モデルを適用するカスタムアプリケーションを開発する必要があります。このアプリケーションを開発するには、データベースとインターラクションして。機械学習を使用できるようにするためのスキルが必要です。これは新しいアプリケーションであり、パフォーマンス、可用性、およびセキュリティを管理する必要があります。 リレーショナルデータベースのデータに機械学習を適用することを簡単にすることができますか? 既存のアプリケーションでも可能ですか? 本日より、Amazon Aurora は、2 つの AWS Machine Learning サービスとネイティブに統合されます。 Amazon SageMaker。カスタム機械学習モデルを迅速に構築、トレーニング、デプロイする機能を提供するサービスです。 Amazon Comprehend。機械学習を使用してテキストのインサイトを見つける自然言語処理 (NLP) サービスです。 この新しい機能を使用すると、クエリで SQL 関数 を使用して、リレーショナルデータベースのデータに機械学習モデルを適用できます。たとえば、Comprehend を使用してユーザーコメントの センチメント を検出したり、SageMakerで構築されたカスタム機械学習モデルを適用したりして、お客様の「解約」のリスクを推定できます。 解約は「変化」と「ターン」を混ぜた言葉で、サービスの使用を停止するお客様を説明するために使用されます。 機械学習サービスからの追加情報を含む大規模なクエリの出力を新しいテーブルに保存したり、機械学習の経験を必要とせずにクライアントが実行する SQL コードを変更するだけで、アプリケーションでこの機能を対話的に使用したりできます。 最初に Comprehend を使用し、次に SageMaker を使用して、Aurora データベースからできることの例をいくつか見てみましょう。 データベース権限の設定 最初のステップは、次の使用したいサービスにアクセスするためのデータベース許可を付与することです。Comprehend、SageMaker、またはその両方。 RDS コンソール で、新しい Aurora MySQL 5.7 データベースを作成します。利用可能な場合、リージョンのエンドポイントの [Connectivity&security] タブで、[IAM ロールの管理] セクションを探します。 そこで、Comprehend と SageMaker をこのデータベースクラスターに接続します。SageMaker の場合、デプロイされた機械学習モデルの エンドポイント の Amazon リソースネーム […]

Read More

Amazon CloudWatch ServiceLens を使用して高度に分散化されたアプリケーションを視覚化して監視する

数千のメトリックとテラバイトのログをもつ、ますます分散するアプリケーションは、視覚化と監視が課題になる場合があります。アプリケーションとその依存関係のエンドツーエンドのインサイトを得て、パフォーマンスのボトルネック、運用上の問題、顧客への影響を迅速に特定できるようにするためには、多くの場合、それぞれ情報の特定のファセットを提示する複数の専用ツールを使用する必要があります。これは代わりに、データの取り込みがより複雑になり、さまざまなインサイトを手作業でつなぎ合わせて、全体的なパフォーマンスを判別し、複数のソリューションを維持するコストが増加します。 本日発表された Amazon CloudWatch ServiceLens は、サーバーレスとコンテナベースのテクノロジーの依存するアプリケーションを含む、高度に分散化されたアプリケーションの健全性、パフォーマンス、可用性の視覚化と分析をすべて1か所にまとめた新しい完全マネージ型の可観測性ソリューションです。CloudWatch ServiceLens は、相関メトリック、ログ、およびアプリケーショントレースの分析とともに、問題が発生しているエンドポイントとリソースを簡単に分離できるようにすることで、平均解決時間 (MTTR) の短縮をサービスマップを使用して、このすべてのデータを 1 つの場所に統合するのに役立ちます。このマップから、アプリケーション内の関係と依存関係を理解し、単一のツールからさまざまなログ、メトリック、およびトレースを深く掘り下げて、迅速に障害を特定することができます。さまざまなツールからのメトリック、ログ、およびトレースデータの相関に費やす重要な時間が短縮されるため、エンドユーザーに発生するダウンタイムが削減されます。 Amazon CloudWatch ServiceLensの開始方法 Amazon CloudWatch ServiceLensを利用して、アプリケーションからトリガーされたアラームの根本原因を診断する方法を見てみましょう。サンプルアプリケーションは、AWS Lambda 関数を使用して、トランザクションデータを Amazon DynamoDB テーブルに読み書きします。Amazon API Gateway は、アプリケーションのフロントエンドであり、GET および PUTリクエストのリソースで、対応する GET および PUT ラムダ関数にトラフィックをダイレクトします。API ゲートウェイ リソースと Lambda 関数では AWS X-Ray トレースを有効にしており、Lambda 関数内から DynamoDB への API 呼び出しがAWS X-Ray SDKを使用してラップされます。開発者ガイドで、コードをインスツルメントする方法の詳細と AWS X-Rayの操作方法を確認できます。 エラー状態によりアプリケーションのアラームがトリガーされたため、最初に停止するのは Amazon CloudWatch コンソールで、そこで [Alarm] リンクをクリックします。1 つ以上の […]

Read More

Amazon QuickSight の条件付き書式で重要な洞察をハイライト

Amazon QuickSight で、条件付き書式設定を使用して、データの重要度を簡単に見分けられるようになりました。条件付き書式設定では、データセットのフィールド値に基づいて、単色またはグラデーション色を使用して、カスタマイズされたテキストまたは背景色を指定できます。また、サポートされているアイコンを使用してデータ値を表示することもできます。次のスクリーンショットに示すように、色分けとアイコンを使用して、データを視覚的に調査および分析し、問題をすばやく検出し、傾向を特定することができます。こうした動的な視覚的刺激は、ダッシュボードの利用者が密度が高いデータ値の集まりから注目に値する洞察をはるかに迅速に取得するのにも役立ちます。 今回のリリースでは、テーブル、ピボットテーブル、KPI チャートに条件付き書式を適用できます。このブログ記事では、Amazon QuickSight でサポートされている各チャートタイプで条件付き書式設定を活用する方法について詳しく説明します。 テーブル 次の方法で、テーブルに条件付き書式を適用できます。 データフィールドに基づく条件付き書式設定列 テーブルに条件付き書式を適用する場合、設定ペインにアクセスする 2 つの方法があります。1 つの選択肢は、分析でテーブルを選択し、 テーブルビジュアルの右上隅でキャレットを選択することです。次のスクリーンショットに示すように、ドロップダウンメニューから [Conditional formatting] を選択すると、条件付き書式設定ペインが分析キャンバスの左側にポップアップ表示されます。[+] 記号を選択して、書式を適用するターゲット列を選択します。テーブルに存在する任意の列に適用することができます。 たとえば、ドロップダウンメニューから Sales を選択して、Sales ターゲット列の条件を追加します。 あるいは、選択したテーブルから、分析キャンバスの上部にあるフィールドウェルを展開し、テーブルで使用されている列から直接 Group by または Value ターゲット列を選択することもできます。たとえば、次のスクリーンショットに示すように、Value ウェルから Sales を選択し、ドロップダウンで [Conditional formatting] を選択します。条件付き書式の確認ペインが分析キャンバスの左側にポップアップ表示され、Sales ターゲット列にすでに条件が追加されています。 次に、使用可能な 3 つのオプションから書式設定スタイルを選択します。 Add background color (背景色を追加) Add text color (テキストの色を追加) Add icon (アイコンを追加) ターゲット列ごとに、任意の書式設定スタイルまたはスタイルの任意の組み合わせを追加できます。 背景色およびテキストの色 [Add background color] を選択して、[New […]

Read More

AWS AppConfig を使用したアプリケーション構成設定の安全なデプロイ

数年前、私たちは、従来のコードデプロイよりも迅速に設定を変更でき、コードの変更と同じ運用上の精査を可能にする内部サービスの必要性を特定しました。そのため、このニーズに対応するツールを構築し、AWS、Retail、Kindle、Alexa のほとんどのチームがこの設定デプロイシステムを使用して、数分かかったものを数秒で動的に変更します。コードとは別に設定の変更のみをデプロイできるため、設定を使用するアプリケーションやサービスを再起動する必要がなく、変更がすぐに有効になります。このサービスは、Amazon および AWS 内で 1 日に数千回使用されています。 顧客から寄せられる一般的な質問は、私たちのようにサービスを運営する方法に関するものです。そのため、この内部ツールを利用して、顧客が使用できるように外部化することにしました。本日は、AWS Systems Manager の機能である AWS AppConfig を発表しました。AWS AppConfig を使用すると、Amazon Elastic Compute Cloud (EC2) インスタンス、コンテナ、およびサーバーレスアプリケーションと機能でホストされるあらゆるサイズのアプリケーションで、コードに関係なく、アプリケーション設定の変更を迅速にデプロイすることができます。 API またはコンソールを使用して設定を作成および更新できます。また、定義済みのスキーマテンプレートまたは AWS Lambda 関数を使用して、デプロイする前に変更を検証できます。AWS AppConfig には、設定変更のデプロイをモニタリングし、問題が発生した場合に以前の設定にロールバックするための自動化された安全コントロールも含まれています。設定の更新のデプロイは、実行中のアプリケーションですぐに利用できます。このアプリケーションは、シンプルな API を使用して、利用可能な最新の設定を定期的にポーリングおよび取得します。 AWS AppConfig を使用したアプリケーション構成設定の管理 AWS AppConfig を使用すると、アプリケーションの構成設定を作成および管理するプロセスが簡単になります。最初にアプリケーションを作成し、そのアプリケーションに対して 1 つ以上の環境、設定プロファイル、およびデプロイ戦略を定義します。環境は、ベータ環境や本番環境などの論理的なデプロイグループを表します。または、ウェブ、モバイル、バックエンドコンポーネントなどのアプリケーションのサブコンポーネントである場合もあります。環境ごとに Amazon CloudWatch アラームを設定できます。これは AWS AppConfig によってモニタリングされ、デプロイ中にアラームが発生した場合にロールバックをトリガーします。設定プロファイルは、デプロイする設定データのソースと、デプロイ前に設定データが正しいことを確認するオプションの検証を定義します。デプロイ戦略は、デプロイの実行方法を定義します。 開始するには、AWS Systems Manager ダッシュボードに移動し、ナビゲーションパネルから AppConfig を選択します。設定データを作成をクリックすると、アプリケーションの名前とオプションの説明を指定するページに移動し、必要に応じてアプリケーションにタグを適用することもできます。 アプリケーションを作成すると、環境タブと設定プロファイルタブのあるページに移動します。アプリケーションの本番環境をターゲットとする環境を作成するところから始めましょう。環境タブを選択した状態で、環境を作成をクリックします。表示されたページで、環境に名前を付けてから、モニターで Cloudwatch アラームのロールバックを有効にするを選択します。次に、AWS AppConfig がデプロイ中に選択したアラームを監視できるようにする […]

Read More

Amazon Textract および Amazon Comprehend を使用した NLP 対応検索インデックスの構築

 すべての業界の組織には、多数の物理的なドキュメントがあります。テーブル、フォーム、パラグラフ、チェックボックスなどの形式が含まれているとき、スキャンしたドキュメントからテキストを抽出することは困難な場合があります。組織は、光学式文字認識 (OCR) 技術を使用してこれらの問題に対応してきましたが、フォーム抽出およびカスタムワークフローにはテンプレートが必要です。 画像または PDF からテキストを抽出して分析することは、従来型の機械学習 (ML) および自然言語処理 (NLP) の問題です。文書からコンテンツを抽出するとき、全体的なコンテキストを維持し、情報を読み取り可能および検索可能な形式で保存することが必要になります。高度なアルゴリズムを作成するには、大量のトレーニングデータとコンピューティングリソースが必要です。完全な機械学習モデルを構築し、トレーニングするには、費用と時間がかかる場合があります。 このブログ投稿では、スキャンされた画像ドキュメントを保存および分析するための自動コンテンツ処理パイプラインとして、Amazon Textract および Amazon Comprehend で NLP 対応の検索インデックスを作成する方法を説明します。PDF ドキュメントの処理については、AWS サンプル github リポジトリを参照して Textractor を使用してください。 このソリューションでは、サーバーレステクノロジーとマネージドサービスを使用して、スケーラブルで費用対効果を高めています。このソリューションで使用されるサービスは次のとおりです。 Amazon Textract – スキャンしたドキュメントからテキストとデータを自動的に抽出します。 Amazon Comprehend – ML を使用して、テキストのインサイトと関係を見つけます。 Amazon ES with Kibana – 情報を検索して視覚化します。 Amazon Cognito – Amazon ES と統合し、Kibana へのユーザーアクセスを認証します。詳細については、Amazon Elasticsearch Service を使い始める: Kibanaのアクセス制御にAmazon Cognitoを使用する を参照してください。 Amazon […]

Read More

自分自身の暗号化キーを Amazon DynamoDB に利用

今日、Amazon DynamoDB は DynamoDB データの暗号化のための カスタマー管理型カスタマーマスターキー (CMKs) のサポートを導入しました。 しばしば bring your own encryption (BYOE) あるいは bring your own key (BYOK) と呼ばれるこの機能により、 DynamoDB で暗号化キーを作成、所有、管理することができ、自分の暗号化を完全にコントロールし、また、DynamoDB データの管理を行うことができます。 DynamoDB は完全管理されたマルチリージョン、マルチマスターデータベースで、保管時の自分のデータをデフォルトで暗号化し、DynamoDB データのセキュリティを強化します。以前には、DynamoDB はデータの暗号化のために AWS owned CMK あるいは AWS managed CMKを使用するオプションを提供していました。現在、カスタマー管理型 CMK を使用し、重要なアプリを保護し、自分の組織の方針を守り、コンプライアンスと規制上の要件を遵守し、AWS 外の自分の暗号化キーの追加の安全なコピーを保持できます。 このブログでは、保管時 DynamoDB 暗号化を用いたカスタマー管理型 CMK の使用法をお示しします。 DynamoDB 暗号化キーオプション AWS 管理 CMK を使用してデータを暗号化することを選択したのでなければ、DynamoDB は AWS 所有 CMK を使用して保管時テーブルデータの全てを正式に暗号化していました。しかし、現在、カスタマー管理型 CMK を使用することにより自分のデータを暗号化する選択肢があります。 […]

Read More

Amazon SageMaker マルチモデルエンドポイントを使用して推論コストを削減する

ビジネスでは、コホートやセグメントに基づくモデルではなく、ユーザーごとの機械学習 (ML) モデルをますます発展させています。個々のユーザーデータに基づき、数百から数十万のあらゆる場所からのカスタムモデルをトレーニングしています。たとえば、音楽ストリーミングサービスでは、各リスナーの再生履歴に基づくカスタムモデルをトレーニングし、音楽のおすすめをパーソナライズしています。タクシーサービスでは、各年の交通パターンに基づくカスタムモデルをトレーニングし、乗客の待ち時間を予測しています。 ユースケースごとにカスタム ML モデルを構築すると、推論の精度が向上するという利点がありますが、モデルのデプロイコストが大幅に増大するという欠点もあり、本番環境で多くのモデルを管理するのが困難となっています。このような課題は、同時にすべてのモデルにアクセスはしないがいつでも利用可能にしておく必要がある場合により顕著になります。Amazon SageMaker マルチモデルエンドポイントは、このような弱点に対応し、複数の ML モデルをデプロイする、スケーラブルでコスト効率の高いソリューションをビジネスに提供します。 Amazon SageMaker はモジュラー型のエンドツーエンドサービスで、大規模な ML モデルの構築、トレーニング、デプロイを容易にします。ML モデルはトレーニング後、完全マネージド型でリアルタイムの推論を低レイテンシーで実行可能な Amazon SageMaker エンドポイントにデプロイできます。単一のエンドポイントに複数のモデルをデプロイし、マルチモデルエンドポイントを使用する単一のサービングコンテナにより稼働させることが可能になります。エンドポイントと、その基盤となるコンピューティングインスタンスの利用率増加により、大規模な ML のデプロイ管理が容易になり、モデルのデプロイコストが低下します。 本記事では Amazon SageMaker マルチモデルエンドポイントを紹介し、この新機能を導入して XGBoost を使用することで、個々の市場セグメントの利用料金を予測する方法を説明します。本記事では、マルチモデルエンドポイントで 10 個のモデルを実行する場合と、個別のエンドポイント 10 個を使用する場合との比較を行いました。この結果、以下の図に示すように、月あたり 3,000 USD を節約できました。 マルチモデルエンドポイントは、数百から数千のモデルに規模を変えて容易に対応できます。また本記事では、エンドポイントの設定とモニタリングの考慮事項も検討し、1,000 個のモデルでコストを 90% 以上節減した例についてハイライトします。 Amazon SageMaker マルチモデルエンドポイントの概要 Amazon SageMaker により、冗長性の高い複数のアベイラビリティーゾーンで、自動スケーリングの Amazon ML インスタンスにモデルを 1 クリックでデプロイすることが可能になります。インスタンスのタイプと、希望する最大数および最小数を指定すれば、Amazon SageMaker が残りを引き受けます。インスタンスを立ち上げ、モデルをデプロイし、安全な HTTPS エンドポイントを設定します。低レイテンシー、高スループットの推論を実行するため、アプリケーションはこのエンドポイントへの API 呼び出しを含む必要があります。このアーキテクチャーにより、モデルの変更でアプリケーションのコード変更が不要になるため、アプリケーションに新しいモデルを数分で統合できます。Amazon […]

Read More

AWS ロードバランサー更新 – 多くの新しい機能があります!

 AWS Application Load Balancer (ALB) と Network Load Balancer (NLB) は高い利用可能性、拡張可能性を持つシステムの重要な一部となっています。今日、ALB および NLB の新機能の有用なリストを皆さんとシェアできることをうれしく思います。すべて、カスタマーの要望が原動力となっています。 内容は以下の通りです。 ALB の加重ターゲットグループ 最小未処理 ALB リクエスト NLB のサブネット拡張 内部 NLB に対するプライベート IP アドレス選択 NLB に対する共有 VPC サポート これらの機能はすべて利用可能であり、今すぐ使用することができます。 さてよく見てみましょう… ALBの加重ターゲットグループ 現在、ALB ターゲットグループに対してトラフィックウェイトを使用できます。これは、青/緑デプロイ、カナリア色デプロイ およびハイブリッドマイグレーション/バーストシナリオにとって極めて有用です。ALB ルーティング規則における前方動作で複数のターゲットグループを登録し、お互いにウェイト (0-999) を関連付けることができます。簡単なラストチャンスルールがここにあります。これによりトラフィックの99%を tg1 に、残りの 1%を tg2 に送ることができます。 一貫したカスタマーエクスペリエンスを特定の期間維持するために、この機能をグループレベルのターゲット粘性とともに使用することができます。 より詳しいことは、ロードバランサーのリスナー をご覧ください。 最小未処理 ALB リクエスト 現在、未処理リクエスト数が最小のターゲットに基づいてターゲット全体にわたるリクエストをバランスさせることができます。これは、様々なリクエストサイズの作業負荷、コンテナや頻繁に変わるその他のターゲット、様々なレベルの処理能力を持つターゲット(シングルオートスケーリンググループでインスタンスグループの混在を伴うターゲットを含む)の場合特に有用です。既存のターゲットグループの属性を編集することにより、新しいロードバランスオプションを有効化できます。 このオプションを有効化すると、スロースタートを無効化できます。詳しくは ALB […]

Read More

新しい AWS 認定ベータ版で、データと分析の技術的専門知識の幅広さを強調

AWS は、オープンフォーマットとオープンスタンダードを使用してデータを分析する最も幅広い分析ツールとエンジンのセットを提供しています。AWS データ分析ソリューションの専門知識を証明するために、ビルダーは AWS 認定データ分析 – 専門知識認定のベータ版を受験できるようになりました。 AWS 認定データ分析 – 専門知識認定は、AWS での分析ソリューションの設計、構築、セキュリティ保護、保守に関する技術的専門知識を検証します。この認定は、2017 年に AWS 認定ビッグデータ – 専門知識として初めて開始されました。この新しい名前は、認定によって検証される幅広いデータおよび分析の技術スキルと経験を強調しています。今すぐ登録可能なベータ試験または 2020 年 4 月の一般利用可能なリリースを受験して合格した受験者は、新しい名前の認定を取得します。 新しい試験バージョンには、コレクションから視覚化までのカテゴリにわたる更新されたコンテンツが含まれています。本試験で扱うトピックの詳細については、試験ガイドをご覧ください。 特にデータ分析の専門知識に焦点を合わせた AWS 認定は、これだけです。この認定は、適切なセキュリティ対策と自動化を使用してデータを視覚化することで洞察を提供する分析ソリューションを設計および実装する能力を実証します。 AWS 認定データ分析 – 専門知識ベータ試験は、2020 年 1 月 10 日まで世界中のテストセンターで受けられるほか、re:Invent 2019 の会場でも受験可能です。枠には限りがありますので、今すぐご登録ください。ベータ試験の言語は英語で、受験料は 150 USD (専門知識レベル認定の標準料金の 50% オフ) です。ベータ試験の結果は、ベータ試験期間の終了から約 90 日後に発表されます。ベータ版を逃しても、標準版が 2020 年 4 月に予定されています。 執筆者について Beth Shepherd は、AWS 認定のプロダクトマーケティングマネージャーです。 2019 年に […]

Read More