Amazon Web Services ブログ

Amazon ML Solutions Lab は最近 Kinect Energy と協働し、機械学習 (ML) に基づいて将来のエネルギー価格を予測するパイプラインを構築しました。Amazon SageMaker と AWS Step Functions でデータの自動取り込みと推論パイプラインを作成し、エネルギー価格の予測を自動化およびスケジューリングできるようにしました。 このプロセスでは、Amazon SageMaker DeepAR 予測アルゴリズムを特別に使用します。深層学習予測モデルで現在の手動プロセスをこれに置き換えることで、Kinect Energy の時間を節約し、安定したデータ主導での方法を導入できました。 次の図は、エンドツーエンドのソリューションを示しています。 データの取り込みは毎日データをロードして処理し、Amazon S3 のデータレイクに保管するステップ関数を使用して調整します。その後、データを Amazon SageMaker に渡し、Amazon SageMaker は推論パイプラインモデルをトリガーするバッチ変換呼び出しを介して推論生成を処理します。 プロジェクトが生まれたわけ 自然電力市場は消費者の需要を満たすため、風力、水力、原子力、石炭、および石油/ガスといった資源に依存しています。需要に応えるために利用する電力資源の実際の組み合わせは、その日の各エネルギー資源の価格によって変化します。価格はその日の電力需要によって変わります。そして投資家が電力の価格を公開市場で取引します。 Kinect Energy はエネルギーを売買しています。そのビジネスモデルの中でも、エネルギー価格から派生した金融契約の取引は重要な部分です。これには、エネルギー価格の正確な予測が必要です。 そのため Kinect Energy は過去に手動で行われた予測プロセスを、ML を使って改善し自動化したいと考えていました。現物価格は現在の商品価格、つまり現物を将来引き渡しするための売買価格で、先物価格やフォワード価格とは異なります。予測した現物価格と先物価格を比較することで、Kinect Energy チームは現在の予測に基づいて将来の価格変動をヘッジする機会を得ることが可能となります。 データの要件 このソリューションでは、1 時間間隔で 4 週間を見通した現物価格を予測しようとしました。プロジェクトの主要な課題の 1 つに、必要なデータを自動的に収集し処理するシステムを作成することがありました。パイプラインには 2 つの主要なデータのコンポーネントが必要でした。 過去の現物価格 エネルギー生産と消費率、および現物価格に影響するその他の外部要因 (生産率と消費率を外部データとしています。) […]

データレイクとは、複数の分析アプローチおよびグループによる分析向けの、多様なデータタイプの集中型ストアです。多くの組織がデータをデータレイクに移行させています。この記事では、AWS Lake Formation を使用してデータレイクを構築、保護、管理する方法を紹介します。 従来、組織は、オンプレミスデータウェアハウスアプライアンスといった柔軟性に欠ける単一目的用のシステムにデータを保持していました。同様に、事前定義済み BI レポートといった単一の方法でデータを分析してきました。データベース間でデータを移行する、または機械学習 (ML、machine learning) や即席の SQL クエリ実行といったさまざまなアプローチでの使用に向けてデータを移行する際には、分析に先んじて “抽出、変換、ロード” (ETL、extract, transform, load) 処理を行う必要がありました。こうした従来の手法は、うまくいったとしても非効率的で遅延がつきものでした。そして最悪の場合には、セキュリティが複雑化します。 対照的に、クラウドベースのデータレイクを利用すると、より柔軟な分析に構造化データおよび非構造化データを使用できるようになります。IT スタッフは、規模を問わずデータを前もって集計、整理、準備、保護できます。そして、アナリストおよびデータサイエンティストは、適切な使用ポリシーに準拠しながら、準備されたデータにお好みの分析ツールでアクセスできます。 データレイクを使用すると、複数の分析手法を組み合わせて、従来のデータストレージおよび分析では不可能だった価値あるインサイトの取得を実現できます。ある小売シナリオでは、ML を用いた手法によって、詳細な顧客プロフィールが検出されたほか、ウェブブラウジング操作、購入履歴、サポート記録、さらにはソーシャルメディアから収集された個人特定に繋がらないデータに基づくコホートが検出されました。これは、リアルタイムの、ストリーミングされる、インタラクティブな顧客データにデプロイされた ML モデルの実例です。 こうしたモデルは、買い物かごを分析して瞬時に “次のおすすめ商品” を提示したり、即座に販売促進策を実施したりといったことに成功しました。マーケティングとサポートのスタッフは、顧客の収益性と満足度をリアルタイムに調査し、新しい売上向上策を立案できました。データレイクを使用すると、このような分析手法の組み合わせにより多様なデータストリームを統合して、データサイロからは得られないインサイトを取得できます。 データレイク構築の課題 残念ながら、データレイクの構築、保護、管理の開始は、複雑で時間のかかるプロセスであり、しばしば数か月を要します。 クラウド上でのデータレイク構築にも、時間のかかる多くの手動の手順が必要です。 ストレージのセットアップ。 データの移行、クリーニング、準備、カタログ化。 各サービスのセキュリティポリシーの設定および適用。 ユーザーに対するアクセス権限の手動での付与。 複数のサービスで処理および分析ができるよう、データをデータレイクで集中管理したいとお考えでしょう。しかし、環境の整備と保護には忍耐が必要です。 現在、IT スタッフおよびアーキテクトは、データレイクの作成、セキュリティの設定、データリクエストへの応答に、膨大すぎる時間を費やしています。これらの人員が、データリソースのキュレーターとして、またはアナリストとデータサイエンティストのアドバイザーとしてこの時間を使えるようになるでしょう。アナリストおよびデータサイエンティストは、必要なデータへのアクセスを、このセットアップが終わるまで待たなければなりません。 次の図はデータレイクのセットアッププロセスを示しています。 ストレージのセットアップ データレイクには膨大な量のデータが保持されます。何よりもまず、その全データを保持するストレージをセットアップする必要があります。AWS を利用中の場合、Amazon S3 バケットとパーティションを設定します。オンプレミスでデータレイクを構築する場合、ハードウェアを調達して、全データを保存するための大規模ディスクアレイをセットアップします。 データの移行 オンプレミスおよびクラウド上のさまざまなデータソースに接続し、IoT デバイス上のデータを収集します。次に、それらのソースから関連データセットを収集して整理し、データをクロールしてスキーマを抽出し、カタログにメタデータタグを付加します。次のような一連のファイル転送ツールや ETL ツールを使用できます。 AWS Glue AWS Database Migration Service (AWS DMS) Amazon […]

AWS Lake Formation FindMatches は新しい機械学習 (ML、machine learning) 変換で、人間がほとんど、あるいはまったく介入することなく、さまざまなデータセットにわたってレコードを一致させたり、重複レコードを特定および削除したりできます。FindMatches は Lake Formation に含まれている、いくつかの簡単な手順を踏むだけでセキュアなデータレイクを構築できる新しい AWS のサービスです。 FindMatches を使用するのに、コードを書く必要も ML の仕組みを知っている必要もありません。また、データに一意の識別子が含まれている必要はなく、フィールドが完全に一致している必要もありません。 以下に、FindMatches で実現できることを挙げます。 顧客の一致: フィールドが完全に一致していない (名前のスペルが異なる、住所が異なる、データが欠損している、データが正確でないなどの理由による) 場合でも、さまざまなデータセットにわたって顧客レコードをリンクおよび統合できます。 製品の一致: さまざまなベンダーカタログおよび SKU にわたって製品を一致させることができます。レコードが共通の構造を共有していない場合でも可能です。 不正防止: 既知の不正アカウントと比較することで、不正のおそれがあるアカウントを特定できます。 その他データの一致: 住所、動画、部品リストなどを一致させることができます。通常、人間がデータベースの行を確認してそれらが一致すると判断できる場合、FindMatches が役に立ちます。 この記事では、FindMatches ML 変換を使用して、DBLP と Scholar という各学術刊行物サービスからの 2 つのリストで構成された学術データセットの一致レコードを特定する方法を紹介します。 このデータセットは、“Evaluation of entity resolution approaches on real-world match problems” (Köpcke, H., Thor, A., Rahm, E.) […]

AWS Lake Formation を使用すると、安全なデータレイクをセットアップすることができます。データレイクとは、すべての構造化データと非構造化データを任意の規模で保存する、一元化され、キュレーションされた安全なリポジトリです。データは現状のままで保存でき、事前に構造化しておく必要はありません。また、ダッシュボードや視覚化から、ビッグデータ処理、リアルタイム分析、機械学習にいたるまで、さまざまな種類の分析を実行できるので、意思決定の向上につながります。 データレイクの課題 データレイク管理における主要な課題は、内容を監視せずに raw データを保存することに起因しています。レイクのデータを使用可能にするには、そのデータのカタログ化とセキュア化を行う、定義済みのメカニズムが必要です。 Lake Formation は、ガバナンス、意味的一貫性、アクセスコントロールをデータレイクに実装するためのメカニズムを提供します。Lake Formation を使うことで、データを分析や機械学習に使用しやすくなり、ビジネスにより優れた価値をもたらすことができます。 また、Lake Formation を使えば、データレイクのアクセスを制御したり、データにアクセスする人を監査したりすることができます。AWS Glue データカタログは、データアクセスのポリシーを統合して、データの送信元にかかわらずコンプライアンスを確保します。 チュートリアル このチュートリアルでは、データレイクの構築方法と使用方法について説明します。 データレイクの管理者を作成します。 Amazon S3 のパスを登録します。 データベースを作成します。 アクセス許可を付与します。 AWS Glue を使ってデータをクロールし、メタデータとテーブルを作成します。 テーブルデータへのアクセス権限を付与します。 Amazon Athena を使ってデータをクエリします。 アクセスが制限されている新規ユーザーを追加し、結果を検証します。 前提条件 このチュートリアルを行うには以下のリソースが必要です。 AWS アカウント。 AWSLakeFormationDataAdmin を持つ IAM ユーザー。詳細は IAM アクセスポリシーについてのドキュメントを参照してください。 米国東部 (バージニア北部) の datalake-yourname-region という名前の S3 バケット。 新しい S3 バケット内にある zipcode […]

こんにちは、AWSソリューションアーキテクトの小林です。関東は梅雨明け直後から大変な暑さですが、みなさまいかがお過ごしでしょうか？今週からお盆休みの方が多いようで、通勤電車もいつになく空いており快適でした。私は混む時期を避けて夏休みを取ることが多いのですが、お盆期間中は電車が空いているのも大きなメリットのひとつですね。デメリットは、お気に入りのランチスポットがお盆休みでやっていないリスクがあることです（これはとても残念）。

先日 (2019/7/31) 開催しました AWS Black Belt Online Seminar「Amazon ECS Deep Dive」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190731 Black Belt Online Seminar Amazon ECS Deep Dive from Amazon Web Services Japan AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Fargateのタスクスケジューリングにおいても、AWS Secrets Managerを利用できるのでしょうか？（以前検証した時、タスクスケジューリングではAWS Secrets Managerを利用できなかったため） A. はい、ご利用いただけます。ご利用の際考慮する点としては、タスクに付与されたタスク実行ロールにて AWS Secrets Manager や KMS の操作が許可されている必要があります。詳細はこちらをご覧ください。 Q. 複数ECSサービスを起動する場合、同数のALBが必要になるのでしょうか？Targetgroupの数だけでよい認識です。 A ご指摘ありがとうございます。ご指摘通りの構成をご利用いただけます。ウェビナー中に紹介したような複数 ALB 構成は、例えば各マイクロサービスにおける各チームの独立性をAWSリソースのレベルで担保したいような場合に効果的です。設計に応じて使い分けくださいませ。 Q. ECS Agentがコントロールプレーン、コンテナホストのDockerdへのどのような制御を行っているか網羅的に理解できる資料はございませんか？ A 現時点で紹介できる資料はございません。具体的な動きを確認したい場合、GitHubにて公開されているAmazon ECS […]

先日 (2019/07/24) 開催しました AWS Black Belt Online Seminar「AWS Command Line Interface」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 ※31分56秒以降に表示されているスライド「複数プロファイルの設定、実行方法(1/5)」の下部の図に表記の誤りがありましたので以下に訂正いたします。 正：　dev → 開発環境、prod → 商用環境 20190724 AWS Black Belt Online Seminar AWS Command Line Interface from Amazon Web Services Japan AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. 閉域環境からの AWS CLI を実行したい場合は、実行したいコマンドの AWS サービス毎にエンドポイントを作成しておく必要がありますか？ エンドポイント作成に対応していないサービスは閉域環境からの実行はできないということでしょうか？ A. はい、サービス毎に必要です。もし現在ご利用のリージョンでVPCエンドポイントが対応していなければ、別リージョンに対してVPC Peeringを張っていただければ、AWS内のネットワークに閉じたままご利用いただけます。なお、別リージョンにあるVPC EndpointのDNSの名前解決ができるようにRoute 53のプライベートホストゾーンもあわせてご検討ください。 Q. –profile オプションによる実行環境の切り替えはEC2にIAMロールを設定する場合には利用できないのでしょうか? A. 利用可能です。EC2のロールとは別に、.aws/credential、.aws/configに認証情報、プロファイルの設定をした上でご利用ください。 Q. […]

Twilio プラットフォームを使用して、顧客との新しいコミュニケーション方法を構築している企業があります。これらの企業は、対話型の音声自動応答 (IVR) でレストランの注文を完全自動化したり、次世代の高度なコンタクトセンターを構築したりしています。Twilio は Media Streams を立ち上げ、Voice プラットフォームを開放し、リアルタイムで電話による通話の未加工オーディオストリームにアクセスできるようになりました。 Media Streams を使用すると、Amazon Transcribe Streaming WebSockets で音声をリアルタイムで文字に起こし、コールセンターの生産性を向上させたり、エンドユーザーの対話を自動化し、Amazon Lex を使用する発信者の意図に基づいたレコメンドをエージェントに行うことができます。 このブログ投稿では、Amazon Lex を使用して、Twilio Media Streams が提供する未加工オーディオストリームを使った音声アプリケーションに対話型インターフェイス (チャットボット) を統合する方法をご紹介します。Lex は深層学習を利用して、人間のスピーチの意図を認識するのに必要な大きな作業を行い、魅力的なユーザーエクスペリエンスとリアルな会話を簡単に構築できるようにします。 ソリューションは次のような手順になります。 Twilio からオーディオストリームを受信する 音声アクティビティ検出コンポーネントにオーディオストリームを送信して、オーディオの音声を判別する 音声が検出されたら、Amazon Lex へユーザーデータのストリーミングを開始する 無音を検出した場合、Amazon Lex へのユーザーデータのストリーミングを停止する Amazon Lex からの応答に基づいて、進行中の Twilio 呼び出しを更新する このサンプルで提供する Voice Activity Detection (VAD) 実装は参照とデモだけの目的で、初歩的なアプローチを使って振幅を見ることで音声と無音を検出します。そのため、本番での使用は推奨しません。本番のシナリオでの使用には、安定した形式の VAD モジュールを実装する必要があります。 次の図で、手順を示しています。 Amazon Lex ボットと Twilio […]

ソリューションアーキテクトの西谷（@Keisuke69）です、こんにちは。 AWS Summit Tokyo 2019での基調講演内でも発表がありましたが、昨年に引き続き今年もAmazon Web Services Japan (AWSJ) 主催の『AWS DevDay Tokyo 2019』というイベントを開催します。時期は2019年10月3日（木）〜10月4日（金）です。無償です。 昨年は目黒の駅前にあるAWSJのオフィスが入っているビルで1週間に渡って開催したのですが、今年は場所を神田明神ホールに移して開催です。日数は減ったのですがその分セッションに使うホールが大きくなっている感じですね。もちろん今年もストリーミングによる中継（一部）もあります。 ちなみに神田明神ホールという名前でお分かりかと思いますが、商売繁昌、社運隆昌、そしてIT情報安全守護でおなじみの『神田明神』の敷地内にあるホールです。 住所はこちら。御茶ノ水駅や秋葉原駅あたりが最寄り駅になります。 〒101-0021　東京都千代田区外神田2-16-2 神田明神文化交流館2F   実際の雰囲気はこんな感じです。素敵ですね。 ※この写真は神田明神ホールの方に許可をいただいた上でお借りしました イベントの狙い AWS Dev Day Tokyo 2019 は、世界主要都市で開催される、アプリケーション開発者のためのカンファレンスです。もう一度言います。アプリケーション開発者を対象にしたカンファレンスイベントです。コンセプトとしては昨年同様に、AWSを取り巻くアプリケーション開発者を対象に、より実践的な知見、知識を持ち帰ってもらうことを念頭において企画を検討しています。加えてAWSに関する話だけでなく、モダンなアプリケーション開発をする上で知っておくといいこと、トレンドなど直接的にAWSに関係ないジェネラルな内容も積極的に盛り込んで行くという方針でセッションの企画を行っています。 アプリケーション開発者を対象にしたイベントではあるものの、もちろんそれ以外の属性の人たちもWelcomeです。 用意されるプログラム 期間中に用意されるプログラムは多岐にわたります。現時点で全てをお伝えすることはできないのですが、以下のようなものを予定しています。 著名人をお招きしてのジェネラルセッション 40を超えるテクニカルセッション AWSサービスを使った開発を体験できるワークショップ DeepRacer チャレンジ さらにこれらとは別にLT大会などいくつかの企画を検討中です。これらは決まり次第ご案内していきます。あと、両日ともにランチが提供されます。 登録について 早速、登録いただきたいところなんですが本登録はもう少しお待ちください。その代わりと言ってはなんですが、Save the dateのページを公開していますのでこちらにご登録いただけますと、本登録開始のタイミングでメールにてお知らせが届きます。 Save the dateのページはこちら CFP募集 また、あわせてCall for papers (CFP)の募集も開始いたします。AWS DevDay Tokyo 2019のセッションの一部を一般公募するということです。ぜひこちらもご応募いただけたらと思います。応募期間は8月26日までです。少し短いのでもしかしたら延びるかもしれませんが。 Call for papersの募集ページはこちら トークカテゴリ CFP応募の際には以下から関連するカテゴリを選んでいただく形になります。複数選択可能です。また、挙げられたカテゴリ以外の場合はその他を選んでご応募いただければ大丈夫です。 […]

こんにちは、ゲームソリューションアーキテクトの畑史彦です。 7月23日に第14回となる Game Tech Night を開催致しました。 Game Tech Night は、オンラインゲーム開発と運用に携わる開発者やインフラエンジニアを対象に、ゲームに特化しか技術情報や関連する AWS サービスの情報をお届けすることを目的としたイベントです。最近では概ね 1,2 ヶ月に1度くらいの頻度で定期開催しています。この第14回では セキュリティ をテーマに AWS ソリューションアーキテクトから１つ、株式会社ディー・エヌ・エー 髙橋氏より１つ、計２つのセッションを実施しました。