Amazon Web Services ブログ

AWS Machine Learning Research Awards がウィナーを発表

AWS Machine Learning Research Awards (MLRA) では、機械学習 (ML) とそれのアプリケーションによりフロンティアを開拓しようとする研究者に、利用制限のない予算と AWS Promotional Credits での支援を行っています。その MLRA から、2019 年の第 2 および第 3 四半期に行った提案募集サイクルにおけるウィナーを発表させていただきます。 Mohit Bansal 氏、ノースカロライナ大学チャペルヒル校、「会話システムにおける人的エラーに対するロバスト性の実現への自動敵対トレーニングの利用」 Katherine E. Battle 氏および Andre Python 氏、オックスフォード大学、「ベイズ強化学習アルゴリズムによる低流行性下でのマラリア感染リスク予測」 Roghayeh (Leila) Barmaki 氏、デラウェア大学、「自閉症児童の社会性育成への機械学習の応用」 Joseph F. Coughlin 氏、マサチューセッツ工科大学、「AWS が有効化されたツールを使っての半自動的な視線解釈と分類」 Stefano Ermon 氏、スタンフォード大学、「ロバストな機械学習システムを使った異常値の検出と処理」 Yong Jae Lee 氏、カリフォルニア大学デービス校、「リアルタイムで行う物体の分割化」 Fei Liu 氏、セントラルフロリダ大学、「複層的な細分性によるブラウジング内容の適合: 自動的要約生成とキーフレーズ抽出」 Jeffrey Liu 氏、マサチューセッツ工科大学、「低高度災害画像 (LADI) の […]

Read More

175 以上のお客様が AWS の Machine Learning Solutions Lab で機械学習を用いて成功を収めています

AWS は、機械学習の専門家とデータサイエンティストを AWS のお客様と結びつけるために、2 年ほど前に機械学習 (ML) ソリューションラボを導入しました。  私たちの目標は、顧客が ML を使用して最も差し迫ったビジネス上の問題を解決できるようにすることでした。お客様の不正検出率の向上、より効率的な運用のための予測能力の改善、パーソナライゼーションを通じた収益の増加、さらに人身売買などの危機に対する組織の対応規模の拡大を支援してきました。 取組みを開始してから、小売、ヘルスケア、エネルギー、公共部門、スポーツなど、さまざまな業界の 175 を超える顧客が、機械学習を活用した新たなソリューションを創出するのを支援してきました。  そして、世界中のお客様の増大する ML ニーズを満たすべく、容量を 5 倍以上に増やし、北米からアジア、オーストラリア、ヨーロッパに拡大しました。 ナショナルフットボールリーグ (NFL) とのパートナーを組み、パスコンプリート率、3rd ダウンコンバージョン率、キャッチ後の予測ヤード数、勝率、キャッチ予測などの統計情報を備えた Next Gen Stats を通じて、ファンがスポーツを楽しむためのまったく新しい方法を考え、構築しました。今日、Next Gen Stats は、ファンが試合を楽しむために、重要な役割を果たしています。そして最近では、次の課題に取り組むため、NFL と新しい取組みを始めました。この課題とは、プレーヤーの負傷を予測し、これを回避することです。この取組みの一環として、当社は NFL と協力して「Digital Athlete」を開発しています。これは、複合 NFL プレーヤーを視覚的に表したものであり、結果的に負傷および回復過程の予測を可能にします ヘルスケアの分野では、上場しているヘルスケア IT 企業として最大の Cerner と協力して、コストを削減するとともに、臨床医の満足度を高めつつ、個人や集団の健康を改善するというミッションに機械学習を活用したソリューションを用いています。 このプロジェクトの重要な課題の 1 つは、健康予測機能を使用して、信頼できるソースのデジタル健康データから、潜在的に救命に役立つ重要な洞察を明らかにすることにあります。一例として、Amazon SageMaker を使用して、研究者が匿名化された患者データを照会し、臨床症状の最大 15 か月前にうっ血性心不全を予測する複雑なモデルとアルゴリズムを構築できるようにするソリューションを構築しました。 また、Cerner は、新しく導入された Amazon Transcribe Medical などの AWS AI サービスを使用して、仮想スクライブを介してメモを書き留めるなどのタスクから医師を解放する予定です。 公共部門では、NASA […]

Read More

カスタムテーブル設定を使用して Amazon DynamoDB バックアップを異なる AWS リージョンに復元する

Amazon DynamoDB バックアップと復元は、DynamoDB テーブルの継続的かつオンデマンドのバックアップを作成し、そのバックアップからデータを復元するためのシンプルで完全に自動化された機能を提供します。ポイントインタイムリカバリ (PITR) を使用すると、DynamoDB テーブルデータの連続バックアップを作成できます。DynamoDB は、1 秒ごとの粒度でデータをバックアップし、過去 35 日間の任意の時点に復元できます。PITR を構築して、誤った書き込みや削除からユーザーを保護します。オンデマンドバックアップ を使用して、DynamoDB テーブルの完全バックアップを作成することもできます。オンデマンドバックアップは、長期の保存とアーカイブに適しており、規制要件に準拠するのに役立ちます。 DynamoDB バックアップからデータを復元するときに異なるテーブル設定が行えるようにするため、新しい復元機能を複数導入しました。このブログ記事では、新機能とその使用方法について説明します。 新しい DynamoDB の復元機能の説明 DynamoDB バックアップからデータを復元するときに、次のタスクを実行できるようになりました。 ソースバックアップが存在する場所とは異なる AWS リージョンの新しいテーブルにバックアップを復元する。リージョン間の復元を実行できると、マルチリージョンのコンプライアンスおよび規制要件を満たし、災害復旧およびビジネス継続性計画を開発するのに役立ちます。 一部またはすべてのローカルおよびグローバルセカンダリインデックスを、復元されたテーブルで作成されないように除外する。セカンダリインデックスを復元対象から除外することにした場合、復元はより高速で費用効率が高くなります。 テーブルの請求方法を変更する (オンデマンドキャパシティーモードまたはプロビジョニング済みキャパシティーモード)。 必要に応じて、プロビジョニング済みのキャパシティーの設定を変更する。 復元されたテーブル (AWS が所有する CMK、AWS が管理する CMK、または顧客が管理する CMK) の暗号化キーを更新する。 AWS マネジメントコンソール、シンプルな API 呼び出し、または AWS コマンドラインインターフェイス (CLI) で数回クリックするだけで、復元された DynamoDB テーブルの設定を変更できます。実稼働アプリケーションのパフォーマンスや可用性に影響を与えることなく、数メガバイトから数百テラバイトのデータからテーブルを復元できます。 これらの新しい復元機能を使用する方法を見てみましょう。 PITR を有効にして開始 復元をテストするには、まずバックアップが必要です。幸いなことに、DynamoDB はテーブルを即座にバックアップしてくれます。テーブルで PITR を有効にすることから始めます。ここでは、私は米国東部 (オハイオ) リージョンを使用しています。けれども、この機能はどの […]

Read More

Lambda、Step Functions、CloudWatch Events ルールで Amazon Forecast ワークフローを自動化する

Amazon Forecast は、機械学習 (ML) により、それまでの ML 経験を待つことなく、非常に正確な予測を生成できる完全マネージド型サービスです。Forecast は、製品需要の見積り、エネルギー需要の予測、人事計画、クラウドインフラストラクチャの使用状況の算定、トラフィック需要の予測、サプライチェーンの最適化、財務計画など、さまざまなユースケースに使用できます。 Forecast は完全マネージド型サービスであるため、プロビジョニングするサーバーや手動で構築する ML モデルはありません。また、使用した分だけお支払いいただくようになっており、最低料金や前払い料金を求められることはありません。Forecast を使用するために必要なことは、予測対象の履歴データをご提供いただくことだけです。オプションとして、予測に影響を与えると思われる関連データも併せてご提供ください。後者には、価格、行事、天候など、時により変化するデータと、色、ジャンル、リージョンなどカテゴリに関するデータの、両方が含まれます。このサービスでは、お手元のデータに基づいて機械学習モデルを自動的にトレーニングし、デプロイして、予測を取得するためのカスタム API を提供します。 この記事では、Amazon Redshift のシステムアーキテクチャについて説明します。それにより、Forecast を使ってハードウェアを管理し、お客様が Amazon Redshift クラスターを迅速にスピンアップできるようにします。このシステムアーキテクチャはユースケースに依存せず、複数のシナリオで参照してお使いいただけます。Amazon Forecast の使用方法の詳細については、「Amazon Forecast が一般公開されました」と「Amazon Forecast で自由選択した分位数での予測作成のサポートを開始」を参照してください。 ユースケースの背景 Amazon Redshift は、クラウド上の、ペタバイトまたはエクサバイト規模の完全マネージド型のデータウェアハウスサービスです。Amazon Redshift クラスターは、1 つ以上のノードで構成されています。優れた顧客体験を提供するためにできるだけ早くクラスターをセットアップするには、キャッシュプールを維持して、ウォームプールと一般的に呼ばれるデータベースソフトウェアが事前にインストールされた特定の数のノードを保持します。顧客が新しいクラスターをリクエストするたびに、Amazon Redshift は必要な数のノードをキャッシュプールから取得します。Amazon Redshift はすべてのリクエストを記録し、各エントリには Location、Timestamp、NumberOfNodes の属性が含まれます。次のテーブルにデータの例を示します。 LocationId Timestamp NumberOfNodes A 2019-01-01T18:05:00Z 5 A 2019-01-01T18:20:00Z 7 A 2019-01-01T18:52:06Z 11 A 2019-01-01T19:06:00Z […]

Read More

AWS Transfer for SFTP サーバーでネットワークのレイテンシーを最低限に抑える

自社の SFTP サーバーにアクセスするクライアントが世界中にいる状態ですか? 世界中にいるエンドユーザーがサーバーのエンドポイントからの地理的距離のせいでパフォーマンス面での問題に直面していませんか? ユーザーのロケーションに関係なくすべてのクライアントに差のないパフォーマンスを提供できたら良いのにとお考えではありませんか? この記事では世界中で AWS Transfer for SFTP (SFTP) サーバーを設定することにより、そうしたユーザーに向けて低レイテンシーを実現できるベスト プラクティスを解説しています。また、Amazon Route 53 (Route 53) でレイテンシーに基づいたルーティングを使用し、レイテンシーの最も低い SFTP サーバーエンドポイントへユーザーを振り分ける方法についても指南します。 Route 53: レイテンシーベースのルーティング 以下のスクリーンショットのセットアップについて考慮します。詳細については後述します。 SFTP サーバーエンドポイントはロンドンリージョンでホストされており、ロンドンとシドニーからこのエンドポイントへアクセスするクライアントがあります。想定したとおり、ロンドンのクライアントではエンドポイントとバケットの両方がユーザーと同じ地理的リージョンにあるため、短いレスポンス時間で快適に操作できます。しかし、シドニーのクライアントでは高レイテンシーと接続性の悪さに苦労しています。 すべての地理的リージョンに広がるユーザーに一貫した使用性を提供するために、ユーザーのいる場所から近いところにある AWS リージョンに SFTP サーバーをセットアップしました。その後、Route 53 のレイテンシーベースルーティングを使用して、クライアントコンピューターからレイテンシーをベースに最も近いサーバーへトラフィックをルーティングします。私たちは専用のリージョン Amazon S3 バケットを SFTP サーバーにマッピングすることで、さらにこのセットアップを強化します。リージョンの Amazon S3 バケットのデータは、クロスリージョンレプリケーション経由で、マスターの Amazon S3 バケットへとレプリケーションされます。これは、すべての SFTP サーバーの共通データストアとして機能します。 世界中に分散されたアーキテクチャ: 上記シナリオでは、ユーザー P、R、および S はそれぞれ、ロンドン、シドニー、バージニア北部より接続しています。sftp.example.com へ接続しようとすると、そのリクエストは DNS 解決のため、Route 53 […]

Read More

Savings Plan のアップデート: Lambda ワークロードで最大 17% の節約

昨年末、私は、Savings Plans についての記事を書きました。そして、指定された量 (1 時間あたりのドルで測定) の Amazon Elastic Compute Cloud (EC2) または AWS Fargate を使用する 1~3 年契約を締結する際に、どのように節約できるかを示しました。Savings Plans により、低価格でコンピューティング能力にアクセスしながら、コンピューティングサービス、インスタンスタイプ、オペレーティングシステム、およびリージョンを柔軟に変更できます。 今日の Lambda 本日、Compute Savings Plans が AWS Lambda 関数によって消費されるコンピューティング時間に適用され、最大 17% 節約できるようになったことをここにお知らせいたします。すでに 1 つ以上の Savings Plans を使用してサーバーベースの処理について節約している場合、アプリケーションを最新化し、シンプルなプログラミングモデル、自動関数スケーリング、ステップ関数など、たくさんの強力な Lambda 機能を活用しながら、コストを節約できます。 ユースケースに一定レベルのマイクロサービスの関数呼び出しが含まれている場合、Compute Savings Plans を最大限に活用できます。 AWS Cost Explorer は、Savings Plan を推奨するときに、Lambda の使用量を考慮するようになりました。AWS Cost Explorer を開き、[Savings Plans] 内の [Recommendations] をクリックして、推奨事項を確認します。これを行っているときに、推奨事項の作成に使用される期間、支払いオプション、および時間枠を変更できます。 […]

Read More

シーメンスが Amazon S3 データレイクの更新用に、フルマネージドのスケジューリングのしくみを構築した方法

シーメンスは 37 万人を超える従業員と 170 年の歴史を持つ、グローバルなテクノロジーをリードする企業です。シーメンスのネットワークとアセットを継続的に監視するシーメンスサイバーディフェンスセンター (CDC) が、同社をサイバー犯罪から保護しています。このときに生じる膨大なデータ負荷を処理するため、CDC は ARGOS と呼ばれる次世代の脅威検出と分析のためのプラットフォームを構築しました。ARGOS はハイブリッドクラウドソリューションで、フルマネージドの AWS のサービスを多用して、ストリーミング、ビッグデータ処理、機械学習を行います。 セキュリティアナリスト、データサイエンティスト、脅威インテリジェンスチーム、インシデントハンドラーなどのユーザーが、ARGOS プラットフォームのデータに継続的にアクセスします。さらに、さまざまな自動コンポーネントがデータを更新、拡張、削除し、情報の充実、データ品質の向上、PII 要件の実施を行ったり、スキーマの進化や追加データの正規化要件のためのデータ変更を行います。データを常に利用可能かつ一貫した状態に保つには、いくつかの課題があります。 このようなシナリオでは、オブジェクトベースのデータレイクは、従来のトランザクションデータベースと比較して、コストの観点では非常に有益ですが、アトミック更新をほとんど許可しない、あるいは極めて複雑でコストのかかる拡張を必要とします。この問題を解決するため、シーメンスは、クエリのパフォーマンスと可用性を損なうことなく、 Amazon S3 ベースのデータレイクでアトミックファイルを更新できるソリューションを設計しました。 この投稿では、S3 データ更新タスク用の使いやすいスケジューリングサービスであるこのソリューションをご紹介します。仮名化、匿名化、機密データの削除など、いくつかの目的のために、シーメンスはこのソリューションを使用しています。この投稿では、このソリューションを使用して、定義した時間が経過した後にデータセットから値を削除する方法を説明します。ソリューションのアーキテクチャは明確に定義されており、スタック全体が 200 行未満のソースコードで構成されているので、データ処理タスクをさらに追加することは難しくはありません。フルマネージドの AWS サービスだけをベースにしているため、運用オーバーヘッドが最小限に抑えられます。 アーキテクチャの概要 この投稿では、クエリメカニズムとしての継続的なデータ取り込みと Amazon Athena を備えた S3 ベースのデータレイクを使用します。取り込み後、定義した時間後の特定の値を自動的に削除することを目指します。Athena を介してデータを使用するアプリケーションとユーザーは、影響を受けません (たとえば、ダウンタイムや重複などのデータ品質に関する問題はありません)。 次の図は、このソリューションのアーキテクチャを示しています。 シーメンスは、以下のサービスとコンポーネントでソリューションを構築しました。 スケジューリングトリガー – 新しいデータ (JSON 形式など) を S3 バケットに継続的にアップロードします。 タスクスケジューリング – 新しいファイルが到着するとすぐに、AWS Lambda 関数が結果の S3 バケット通知イベントを処理します。処理の一部として、Amazon DynamoDB に Time […]

Read More

2 月 26 日のオンラインテックトーク: AWS ファイルストレージでデータ分析を加速化

2 月 26 日の AWS オンラインストレージテックトークでは、AWS ファイルストレージを使用したデータ分析の加速化についてご紹介します。どうぞお見逃しなく。 このテックトークは、午前 11:00~午後 12:00 太平洋時間 (午後 2:00~午後 3:00 東部時間) に開催されます。 多くのお客様が共有ファイルストレージを使用して、ビジネスに不可欠なデータサイエンスワークフローを加速しています。Python、MXNet、TensorFlow などの一般的なツール、Jupyter などの共有ノートブックシステムを使用する場合があります。 Amazon Elastic File System (Amazon EFS) は、AWS クラウドサービスおよびオンプレミスリソースで使用するための、シンプルでスケーラブルで弾力性のある完全マネージド型の NFS ファイルシステムを提供します。これにより、データサイエンスチームはデータを簡単に共有し、分析と洞察にかかる時間を短縮できます。このテックトークでは、EFS Infrequent Access ストレージクラスを活用してコストを最適化する方法など、データサイエンスホームディレクトリを Amazon EFS に移行するための一般的な課題とベストプラクティスについて説明します。開始方法を説明し、将来の考慮事項を検討します。 この 200 レベルのオンラインセミナーでは、以下のことを学びます。 当社のお客様がデータサイエンスファイルストレージソリューションに Amazon EFS を選択している理由をご覧ください。 最新の Amazon EFS 機能を利用して、トレーニングデータとモデルファイルを保護してバックアップします。 Amazon SageMaker など、サービスとの統合による洞察の加速化をご覧ください。 参加対象者 データサイエンティスト 開発者 クラウドアーキテクト IT ディレクター IT マネージャー […]

Read More

AWS ALB Ingress Controller の App Mesh への統合

AWS App Mesh は、アプリケーションレベルのネットワークを提供するサービスメッシュであり、サービスが複数のタイプのコンピューティングインフラストラクチャ間で簡単に相互通信できるようにします。App Mesh はサービスの通信方法を標準化し、エンドツーエンドの可視性を提供し、アプリケーションの高可用性を確保します。 AWS ALB Ingress コントローラーは、Kubernetes ユーザーがクラスターで Ingress リソースを宣言するたびに ALB と必要なサポートのための AWS リソースの作成をトリガーするコントローラーです。Ingress リソースは、ALB を使用して HTTP[s] トラフィックをクラスター内の異なるエンドポイントにルーティングします。 App Mesh では、EKS の内部トラフィック (別名 East-West トラフィック) は、App Mesh コントロールプレーンによって制御される Envoy サイドカーによって管理されますが、外部アクセス (別名 North-South トラフィック) は App Mesh によって管理されません。North-South トラフィックを East-West トラフィックに接続するオプションとしては次のようなものがあります。 Ingress ゲートウェイとしての Gloo。 App Mesh のゲートウェイアプリケーションを使用する ALB Ingress Controller。 App Mesh へのイングレスとしての […]

Read More

AWS Security Hub PCI DSS v3.2.1 コンプライアンス標準の使用方法

2020年2月13日に、AWS は、AWS Security Hub に Payment Card Industry Data Security Standard (PCI DSS) バージョン 3.2.1 要件の部分的なサポートを追加しました。 この更新により、PCI DSS の要件のサブセットを検証でき、継続的かつ自動化されたチェックを実施することにより、進行中の PCI DSS 準拠の活動を支援します。新しい Security Hub コンプライアンス標準により、AWS リソースを積極的に監視することも容易になります。これは、カード会員データの保存、処理、または送信に関与する企業にとって重要です。また、Security Hub コンプライアンス標準のセキュリティスコア機能もあり、PCI DSS 評価の準備をサポートできます。

Read More