Amazon Web Services ブログ

Category: *Post Types

AWSが支えるCOVID-19との闘い③─刻々と変わる可視化ニーズをAWSクラウドでどう実現したか?― IQVIAジャパンに訊くELT処理・BIダッシュボードの実装・運用

全4回に渡ってお届けする連載ブログ「AWSが支えるCOVID-19との闘い」。前回に引き続き、第3回では、システム実装を担当したIQVIAジャパン様に実装の工夫、AWSクラウドによるサーバーレスな実装の詳細についてご説明いただきます。 プロジェクトへの参画と難局打開を志すデータサイエンティストによるチーム結成 「LINEパーソナルサポートに集積された情報を解析して都道府県にフィードバックしたいが、これを手伝ってもらうことは可能か?」と宮田先生から電話いただいたのは土曜の朝でした。新型コロナウィルスという難局の打開に貢献したいと思っていた矢先だったので即決で快諾しました。 すぐに社内のデータサイエンティストや技術者に声をかけたところ、休日だったにも関わらず、皆から参加表明の返信があったのに感動したのを覚えています。 まずは都道府県へのフィードバック内容を決める必要があったので、慶應義塾大学の先生方と打ち合わせを繰り返しながら、フィードバックレポートのイメージ(図1参照)を数日で作り上げました。 図1:実装前の議論に利用したフィードバックレポートの提案資料 当初は週単位でのレポートでのフィードバックを想定していましたが、陽性患者数が急増するという切迫した状況だったため、「日単位での更新」「都道府県のユーザーによる自由解析」が望ましいというのが関係者の総意となりました。 そこで、IQVIAジャパンは医療ビッグデータの解析ツールを多く開発していたので、そのノウハウを活かしたBIツールによるダッシュボード開発を慶應義塾大学に提案し、その方針について快諾いただいたところから開発が始まりました。 各都道府県に迅速に展開できるBIツール/ダッシュボードの選定 開発にあたってまず決断しなければならなかったのは、各都道府県に公開するダッシュボードを何で作るか、ということでした。社内に豊富なナレッジが蓄積されたBIツールを中心に検討していたところ、AWS に造詣の深い部門からAmazon QuickSight (WEB/ブラウザベースのクラウド駆動の高速なビジネスインテリジェンスサービス)の機能および、SPICE (インメモリ計算エンジン) によるパフォーマンス向上について情報共有をしてもらったことをきっかけに、QuickSight に興味を持つようになりました。データ処理基盤と同じプラットフォームのサービスの一つとして運用できる点にも魅力があり、プロトタイピングという位置づけで QuickSight を使ったレポートを作り始めました。 実際に作業を始めてみると、Web ベースでありながら、動作はデスクトップのソフトウェアと同じくらい軽快で、操作結果がリアルタイムにフィードバックされるので、開発効率という観点では嬉しい驚きでした。また、ダッシュボード、チャート、フィルタなどの機能は他の BI ツールと遜色なく、一部の複雑なビジュアルを除いて機能面で困ることはありませんでした。このため、当初想定していたよりも形になるスピードが速く、また各方面からのフィードバックが良かったこともあって、QuickSight で開発を維持することに決めた、という経緯がありました。 都道府県の担当者の方々からは、公開当初から「直感的で分かりやすい」というフィードバックをいただいていました(図2参照)。アマゾン ウェブ サービス ジャパンのコンサルタントから、QuickSight 自体、ユーザーが直感的・探索的に操作できることを重視してデザインしていると伺いましたが、今回はこのデザインポリシーがうまく機能した好例と言えます。 この分かりやすさを最大化するため、表示する内容にもこだわりました。1つのダッシュボードに掲載する情報を都度十分に吟味し、回答者数・有症率・推定感染率という指標を、デモグラフィック・時系列・地理の3つの観点に分類して表示することで、1つ1つのダッシュボードが明確なメッセージを提供するようになっています。 図2:Quicksightにより各都道府県の担当者へ提供したダッシュボード(サンプル) 一方、各都道府県が他県のデータが見られないようにしたい、というセキュリティ要件もありました。これについては QuicksightのRLS機能(Row-Level Security:行レベルセキュリティ)や QuickSight の動的パラメータ機能を使うことで実現でき、わずか数クリックの設定だけで実装できるため、優位性がある機能だと思います。 ビジュアル面では、プリセットされたテーマの中から「Midnight」を選択し、ダークネイビーをバックにネオン系のアクセントカラーという今風のテーマのおかげで、デザイナーが設計したかのようなモダンなダッシュボードを数クリックで作ることができました。 ダッシュボードの裏側のデータ処理は、データの規模や開発効率、運用のしやすさを考慮して、Amazon Relational Database Service(RDS)(クラウド上で稼働するリレーショナルデータベース) を使用した SQL ベースの ELT処理 (Extract:抽出、 Load:書き出し、Transform:変換 )で実装し始めました。33都道府県向け(11月末時点:自治体や省庁の公式アカウント一覧)のダッシュボードに必要な機能のうち、実に3分の2を、ボランティアの開発者2~3名と少ないメンバーでかつ、開始から2ヶ月というスピードで提供できたのは、QuickSight のWEBベースで開発/共有できる使い勝手の良さとインメモリエンジンSPICEによる動作の軽さ、形にこだわらず結果を出力し、先生方のフィードバックをすぐに反映する事を優先した実装メンバーの方式選択の賜物と言えます。ただ、その裏でバッチ処理のコントロールはすべて手動で行っていました。想定外のデータの混入によるエラーなどで開発者が夜間や土日を使ってサポートしていたこともあり、その負担の軽減が大きな課題でした。 運用負荷低減やユーザニーズへの柔軟な対応の為にサーバーレスアーキテクチャへ移行 開発がひと段落したところ見計らって、AWS の Solution Architect にアドバイスをいただきながら、AWS Step […]

Read More

近日公開 – EC2 C6gn インスタンス – AWS Graviton2 プロセッサーによる 100 Gbps ネットワーキング

AWS Graviton2 による Amazon Elastic Compute Cloud (EC2)インスタンスでワークロードを実行している Snap、NextRoll、Intuit、SmugMug、Honeycomb などのお客様からの素晴らしいフィードバックに基づき、本日、Arm ベースの幅広い Graviton2 ポートフォリオに加わる C6gn インスタンスを発表します。これにより、最大 100 Gbps のネットワーク帯域幅と、最大 38 Gbps の Amazon Elastic Block Store (EBS) 帯域幅を提供し、最大 40% 高いパケット処理パフォーマンス、それに現在の世代の x86 ベースのネットワーク最適化インスタンスと比較して最大 40% 高いコストパフォーマンスを実現します。 この新しいインスタンスタイプは、C6G インスタンスと比較して、4 倍のネットワーク帯域幅と 2 倍の EBS 帯域幅を提供し、4 倍のパケット処理パフォーマンスを実現します。つまり、ハイパフォーマンスコンピューティング (HPC)、ネットワークアプライアンス、リアルタイムビデオ通信、データ分析などの高いネットワーク帯域幅を必要とするワークロードを持つお客様は、最大かつ最も困難なアプリケーションを Arm に導入し、高いパフォーマンスとコスト最適化の利点を活かすことができます。 C6gn インスタンスは次の 8 つのサイズでご利用いただけます。 名前 vCPU メモリ (GiB) ネットワーク帯域幅 (Gbps) EBS […]

Read More

近日公開 – グラフィックワークロード用の AMD GPU を搭載した Amazon EC2 G4ad インスタンス

例えば、ゲームストリーミング、アニメーション、ビデオレンダリングなどの高性能グラフィックワークロードを抱えるお客様は、低コストで高いパフォーマンスをいつも求めています。本日、G4 インスタンスファミリーの新しい Amazon Elastic Compute Cloud (EC2) インスタンスが稼働し、まもなくご利用いただけるようになることをお知らせします。これにより、グラフィックスを多用するワークロードのパフォーマンスを向上させ、コストを削減できます。新しい G4ad インスタンスは、AMD の最新の Radeon Pro V520 GPU と第 2 世代 EPYC プロセッサを搭載し、EC2 で初めて AMD GPU を搭載しています。 2019年にリリースされ、NVIDIA T4 GPU を搭載した G4dn インスタンスは、以前は EC2 で最も費用対効果が高い GPU ベースのインスタンスでした。G4dn インスタンスは、本番稼働環境やグラフィックスを多用するアプリケーションでの機械学習モデルのデプロイに最適です。ただし、G4dn と比較して、新しい G4ad インスタンスは、前述のゲームストリーミング、リモートグラフィックスワークステーション、レンダリングシナリオなど、グラフィックスを多用するワークロードに対して、最大 45% 低い料金のパフォーマンスを実現します。同じサイズの G4dn インスタンスと比較して、G4ad インスタンスはパフォーマンスが最大 40% 向上しています。 G4dn インスタンスは、Tensor コアなどのハードウェア最適化が含まれているため、小規模機械学習 (ML) トレーニングや GPU ベースの ML 推論に最適なオプションであり続けます。さらに、G4dn インスタンスは、CUDA、CudNN、NVENC […]

Read More

Amazon EKS Distro: Amazon EKS で使用される Kubernetes ディストリビューション

顧客向けの革新的なソリューションの構築に集中したいので、Kubernetes インフラストラクチャを管理する面倒な作業に手間をかけたくないという声がお客様から寄せられています。そのため、Amazon Elastic Kubernetes Service (EKS) の人気が高まっています。このサービスをご利用いただくことで、Kubernetes の管理にかかる負担は解消され、お客様はメリットを享受できます。 ただし、すべてのカスタマーが Amazon EKS を使用するわけではありません。たとえば、既存のインフラストラクチャ投資、データの所在地要件、またはコンプライアンス義務があり、Kubernetes をオンプレミスで運用しなければならない場合があります。このような状況にあるお客様からは、アップデートの追跡、Kubernetes の互換性のあるバージョンと基盤となるコンポーネントの複雑なマトリックスの把握、互換性を確認するためのテスト、および Kubernetes リリース頻度 (3 ~ 4 か月の頻度である場合があります) の維持に多くの労力を費やしていることを伺っています。お客様が新しいバージョンのテストと見極めを適時に実行できない場合、破壊的変更、バージョンの互換性の問題、および重要なセキュリティパッチが不足している、サポートされていないバージョンの Kubernetes を実行する危険性があります。 当社は、AWS で Amazon EKS を提供しながら多くのことを学び、運用のセキュリティ、安定性、および信頼性を備えた Kubernetes を提供する方法を深く理解しています。本日、当社は、その知識を用いて構築した Amazon EKS Distro を皆さんと共有することを発表します。 EKS Distro は、Amazon EKS によってデプロイされたのと同じバージョンの Kubernetes のディストリビューションです。このディストリビューションを使用して、任意の場所に独自の Kubernetes クラスターを手動で作成できます。EKS Distro は、Amazon EKS によって使用されるオープンソース Kubernetes のインストール可能なビルドとコードを提供します。これには、依存関係や AWS が保守するパッチも含まれます。クラスターの作成と管理ツールを選択することで、Amazon Elastic Compute Cloud (EC2) […]

Read More

AWS On Air – re:Invent 週ごとのストリーミングの予定

最終更新日: 11 月 30 日午前 11 時 (PST) re:Invent (12 月 1 日~12 月 17 日) の期間中に AWS On Air にご参加いただくと、ニュース、発表、デモ、ならびに業界およびテクノロジーのエキスパートへのインタビューのライブストリーミングをご覧いただけます。開始するには、re:Invent に登録してください。 そして、Andy Jassy の基調講演 (12 月 1 日 8~11 時、PST) の後に、最新のライブストリームとアクセス先についてここで確認してください。 時間 (PST) 12 月 1 日 (火) 12 月 2 日 (水) 12 月 3 日 (木) 12 月 3 日 午前 0 […]

Read More

AWS DeepRacer Championship Cup を応援しよう! / AWS DeepRacer が日本から購入可能に

11月30日よりAWS re:Inventがスタートしました。 ちょうど1年前、2019年のAWS re:Invent にてAWS DeepRacer リーグのグローバル最終決戦「Championship Cup」が開催され、日本のレーサー、Solaさんが優勝、Fumiakiさんが準優勝という快挙が成し遂げられました。 2020年のAWS re:InventにおいてもAWS DeepRacerリーグを締めくくるグローバル最終決戦「Championship Cup」が開催されます。全てのレースがオンラインで開催される今大会には、3月から続いた予選を勝ち抜いた総勢112名のファイナリストが出場予定。日本からも16名(11月30日時点)のレーサーがファイナリストとして名を連ねています。(下図は112名のファイナリストの初戦の対戦表) ここから世界一になるにはre:Invent期間中に開催される「Group Knockout」でまず上位32位までに入り、準決勝「Bracket of 32」で上位8名に残らなければなりません。そして決勝戦「Grand Prix Finale」で世界一が決まります。 Group KnockoutからGrand Prix Finaleにいたるまで、レースの様子はTwitchにてライブ公開されます。日本のレーサーが登場する初戦は12月2日 10:00スタート(日本時間)を予定しています。 Twitchにアクセスし、レーサーのみなさんを応援しましょう! Championship cupの詳細はこちら(英語)   そしてもうひとつうれしいお知らせがあります。 これまで日本からの購入ができなかったAWS DeepRacerですが、2020年11月10日より、Amazon.com(USサイト)にて購入することができるようになりました。 販売内容および注意事項は以下のとおりです。 ◆販売内容 DeepRacer :399$ DeepRacer + Sensor Kit (Evo) : 598$ Sensor Kit : 249$ ※価格は予告なく変更される場合があります 最新の情報は購入サイトでご確認ください ◆ご注意いただきたいこと ご購入にあたっては、購入可能な台数に制限があります 1つのAmazonアカウントで1週間に2台までの購入が可能です 1出荷あたり80$~87$ほどの送料がかかります ※上記送料は目安であり実費は購入サイトでご確認ください USからの直接出荷のため、日本ではサポートを受け付けておりません 購入、返品、故障などサポートが必要な場合は購入サイトへ英語にて直接依頼してください   […]

Read More

re:Invent 2020におけるマネジメントとガバナンス関連セッションのご紹介

AWS re:Inventは、お客様と関わり合い、サービスや機能に関して学び、共有できる、エキサイティングな時期です。現在のパンデミックにより、今年のre:Inventは11月30日から12月18日までの 3 週間にわたって完全オンライン、無料で開催されます。そうです、あなたには参加する権利があるのです。 AWS re:Invent 2020はバーチャルで開催され無料です!!! このブログでは、AWSでのマネジメントとガバナンスに関するセッションのハイライトを紹介します。これらは、ビジネスの俊敏性とガバナンスコントロールの両者を維持しながら、AWS環境を有効化し、プロビジョニングし、そして運用するために、役立つセッションです。各セッションは、世界各地のお客様に向け複数回ブロードキャストされ、すべてあなたの家で快適な環境でご視聴いただけます。これらのセッションのメリットを享受するため、re:Inventに登録してください。

Read More

セキュリティの実践とベストプラクティス -日本銀行様『クラウドサービス利用におけるリスク管理上の留意点』によせて-

本Blogは、クラウドにおける新しい常識”new normal”を考えるBlogの第五弾です。
多くのお客様は、より安全にサービスを提供するために多様なセキュリティを組み込み、また規制要件を満たしていくことで組織としての説明責任を果たそうとしています。
日本銀行様では、多くの金融機関のお客様がよりクラウドを活用したイノベーションをおこし、サービスを向上するために『金融システムレポート別冊』として「クラウドサービス利用におけるリスク管理上の留意点」(以下、本別冊とします)を発表しました。本Blogでは本別冊に基づき、組織がセキュリティを実践するために必要な考え方のいくつかを示してみたいと思います。

Read More

AWSが支えるCOVID-19との闘い②ー科学的知見を社会に発信ープロジェクト分析リーダ・慶應義塾大学 野村准教授に訊く舞台の裏側

全4回に渡ってお届けする連載ブログ「AWSが支えるCOVID-19との闘い」。前回に引き続き、第2回では、プロジェクト分析リーダである慶應義塾大学 野村准教授に、神奈川県を皮切りに始まったプロジェクトのローンチから、他県への展開、疫学的知見・分析手法・ノウハウを一般社会へ広く公開・還元したエピソードをご説明いただきます。 LINEアカウント「新型コロナ対策パーソナルサポート(行政)」のローンチ 2020年3月5日、LINEを活用した新型コロナウイルスに対する個別情報提供システム「新型コロナ対策パーソナルサポート(行政)」の運用を始めました。日本が新型コロナの感染拡大の入り口にあった当時、「今すぐ可能なアプローチで、できる限りのことがしたい」という趣旨の元、行政や民間、アカデミア等の有志が集まり、ローンチに至りました。 このプロジェクトはLINEを使って新型コロナウイルス感染症 (COVID-19) のハイリスク群や潜在的罹患者のスクリーニングとフォローアップ、軽症者支援を効率的に行うためのシステムです。さらに、ユーザーが入力したデータを集積し分析することで、感染拡大や風評等二次被害の防止、及び予防・治療を含む今後の感染症対策に資する対策を検討することも目的としております。 主体は神奈川県で、行政の情報提供、相談支援業務の一環として行なっています。LINE株式会社からは、本システムの開発と維持管理を提供して頂き、Amazon Web Services(AWS)には本プロジェクトのデータ保管スペースとしてAmazon Simple Storage Service (Amazon S3)を提供頂いており、ローンチ時に迅速な判断で対応して頂きました。神奈川県顧問として本プロジェクト進行を統括する一人である宮田裕章氏が主任教授を務める慶應義塾大学医療政策管理学教室が、アカデミアで取り組むデータ処理と対応策の検討を主に担っています。筆者は当教室の特任准教授としてアカデミアチームをリードしています。 ローンチまではわずか約2週間 プロジェクト実施におけるLINEシステムの負荷や県電話窓口業務の負担のシミュレーション、感染症専門的な観点からのユーザーへのフィードバック情報の適切性の検討、そして数理統計学的な観点からのアンケート項目や配信計画の設定など、関係有志の専門性を最大限に生かす形でプロジェクトは始動しました。そこからローンチまでは昼夜を問わずオンライン上で激しい議論を交え、わずか2週間でシステムの運用が始まりました。 アカデミアチームの編成と役割 データ処理については、疫学・公衆衛生学や社会科学からのアプローチという学際的な性格を持ち、高度な統計分析とコンピュータサイエンスに関する専門知識を擁するためのアカデミアチームが必要でした。今ではメンバーは10人以上おり、皆本業の大学・民間の所属組織で実務をこなしつつ、半数以上が博士号を持ち、研究・開発、提言やコンサルティング業を中心に、データ分析に特化した若手のチームです(本項下部にリスト)。 慶應義塾大学 研究室におけるプロジェクトメンバーとのディスカッション風景   ユーザーが入力した情報はAWSに蓄積され、アカデミアチームはそのデータを当時は毎週の頻度で分析・集計し、神奈川県の担当者らにフィードバック、必要に応じて知事会見用の資料作成の補助や内容確認を行い、最終的に分析結果を知事が会見等で発信しながら、県の感染拡大防止策に役立てて頂きました。 例えば、令和2年3月27日(金曜)の神奈川県知事の定例会見では、手洗いうがいなど、個人で出来る基本的な感染症対策は90%以上の回答ユーザーが行っている一方で、テレワークや時差通勤など、社会システムとしての実装が求められる対策は、ほとんど進んでおらず、わずか10%程度の実施率であったことが発表されました(参考1)。 (参考1 ) 出典:https://www.pref.kanagawa.jp/chiji/press-conference/2019/0327.html   また、令和2年4月1日(水曜)臨時会見では、回答ユーザーにおける発熱者割合が上昇傾向にあり、警戒を要することが発表されました。これらはAWS上の回答データをアカデミアチームが分析し、結果を県に提示し、知事が会見で発信する、という一連のシステム運用の事例です(参考2)。 (参考2) 出典:https://www.pref.kanagawa.jp/chiji/press-conference/2020/0401.html システムの他県への拡大と、データの可視化 一方で、神奈川県発祥の「新型コロナ対策パーソナルサポート(行政)」は、そのシステム運用を今では33都道府県(11月末時点:自治体や省庁の公式アカウント一覧 )に展開しています。そしてそのほとんどが3月中にローンチされました。AWS上に収集される回答ユーザーのデータを、アカデミアチームが分析し、個別に県にフィードバックするというサイクルには限界があるため、IQVIA ジャパンにAWS上でのデータのビジュアル化を設計・実装頂きました。収集されるデータを直にビジュアル化することで、データサイエンスを専門としない都道府県の担当者によるデータ解釈を容易にすると同時に、各種会見や感染拡大・防止活動のための自由な資料作成を可能にします。アカデミアチームによる監修や、各県担当者との同時説明会を得て、4月末には実装されました。 科学的知見を社会に発信 アカデミアチームでは、本プロジェクトを通して得られた新型コロナウイルス感染症に関する疫学的知見や、分析手法・ノウハウを一般社会へ広く公開し、還元していくことに力を入れています。例えば、発熱症状と新型コロナウイルス感染には時間的、空間的に有意な相関関係があることを示し、ウイルス検査が全国的に迅速に受けられない状況では、LINEのようなSNSを活用した症状モニタリングが非常に有用であることをまとめました成果を、査読付きの国際的英字誌に発表しました(文献1,2,3)。 (文献1) 出典:https://www.thelancet.com/journals/lanwpc/article/PIIS2666-6065(20)30011-0/fulltext (文献1) 出典:https://www.thelancet.com/journals/lanwpc/article/PIIS2666-6065(20)30011-0/fulltext   また、社会的距離政策を後押しするエビデンスとして、テレワークの実施と発熱症状には相関があり得ること(文献4)、上述の神奈川県知事会見で発表された予防行動に関するデータ(個人でできる予防と社会的サポートが必要なテレワークのような予防対策にはその実施率に大きな乖離があること)(文献5)、自粛要請・緊急事態宣言に伴う新型コロナウイルスの感染経路の変化について議論(文献6)、さらに、新型コロナウイルス感染症に罹患されている人が身近にいる人ほど、不安を抱えている人が多い可能性(文献7)などを発表しています。 また、英医学誌The Lancet Regional Healthの新型コロナウイルス感染症の症状モニタリングシステムに関するコメンタリー が、この日本の「新型コロナ対策パーソナルサポート(行政)」を大規模疫学モニタリングの事例として紹介し、国際的に高い評価を得ています(参考3)。 (参考3)  https://doi.org/10.1016/j.lanwpc.2020.100024 今後に向けて 「第3波」の流行に備えて日本では何が必要なのか、何を準備すべきかという点を個別具体的に考えるための一助として、「新型コロナ対策パーソナルサポート(行政)」から得られる知見を個人はもちろん、各自治体や政府、民間等に役立てて頂きたいと思っています。 アカデミアチームメンバー(五十音順敬称略 2020年10月現在) 瓜生真也、江口哲史、川島孝行、河村優美、史蕭逸、田上悠太、高柳慎一、野村周平、牧山幸史、松浦健太郎、宮田裕章、米岡大輔 アカデミアチーム発表論文(2020年10月現在) […]

Read More

Amazon SageMaker RL を利用した Unity 上での強化学習エージェントの作成

Unityはゲーム業界をはじめ、映画や自動車業界など幅広い分野で利用されている仮想環境エンジンです。ユーザーはUnityで提供されるツールを通して、独自の物理法則、地形、キャラクターを作成することが可能です。Unity Machine Learning Agents Toolkit (ML-Agents)はオープンソースプロジェクトで、Unityで構築した仮想環境内で動作する強化学習エージェントを作成することが可能です。強化学習とは機械学習の一種であり、エージェントはある環境上の一連のアクションに対して受け取る総報酬を最大化するための方策を学習します。SageMakerにおける強化学習の取り組みについてはこちらのブログを参照ください。Unity ML-Agentsは強化学習エージェントの作成において広く使われているツールであり、作成された強化学習エージェントはレベルデザイン、バグ検出、チート検出など様々な用途で応用されています。より複雑な環境における強化学習エージェントの作成には、分散学習、ハイパーパラメータチューニングなどにおいて効率よくコンピューティングリソースを配置することが重要となります。このブログでは、SageMaker RLとUnity ML-Agentsを統合し、フルマネージドな環境で効率よくコンピューティングリソースを配置し強化学習エージェントを作成する方法について紹介します。 SageMaker RLを使う利点 Amazon SageMaker はフルマネージドサービスであり、機械学習モデルを迅速に構築、トレーニング、デバッグ、デプロイなどをするための様々な機能を提供しています。SageMaker RLはこのSageMaker上で動作し、ビルド済みのRL ツールキットを提供しています。SageMaker RLを用いることで、容易にRL環境を構築でき、TensorflowやPyTorchといったフレームワークを使用した強化学習が可能です。学習、推論ジョブはSageMakerによって管理されており、お客様は強化学習エージェントの作成に多くの時間を割くことができます。また、SageMaker RLは複数のサンプルノートブックを提供しており、どのように強化学習をロボティクス、オペレーションズ・リサーチ、金融に利用するのかなどを学ぶことが可能です。以下に紹介するソリューションもこのサンプルノートブックからすぐさま利用可能です。 SageMaker RL – Unity ML-Agents integrationの利用方法 今回利用するSageMaker RLの学習ジョブの構成は以下のようになっています。強化学習ツールとしてはRay-RLLibを使用しています。分散学習、アルゴリズム構築、ネットワーク構築、パラメータ設定などをRay-RLLib上で管理することで煩雑な作業を減らすことが可能です。Unity環境はOpenAI Gym環境としてラップすることでRay-RLLibからはUnity独自の仕様を意識することなく一般的な強化学習タスクとして扱えます。そして、学習を実行するリソースや設定についてはSageMakerで管理しています。 では、実際にこの構成で強化学習エージェントを作成する方法を順を追って説明します。 セットアップ はじめに、ノートブックの環境設定を行います。下記を実行することで、API実行用のIAMロール、S3バケットの設定やPythonライブラリのインポートなど環境設定を行うなうことができます。 import sagemaker import boto3 # set up the linkage and authentication to the S3 bucket sage_session = sagemaker.session.Session() s3_bucket = sage_session.default_bucket() s3_output_path = ‘s3://{}/’.format(s3_bucket) print(“S3 […]

Read More