Amazon Web Services ブログ

Amazon S3 セキュリティベストプラクティスの実践(権限管理のポリシー) – 後編

はじめに AWS では、サービス毎にセキュリティのベストプラクティスを公式ドキュメントとして提供しています。本記事では AWS を利用したシステムのセキュリティの検討や実装に関わる皆様を対象に、AWS の代表的なストレージサービスである Amazon Simple Storage Service (S3) を題材にとりあげて、公式ドキュメントで紹介しているベストプラクティスの実装方法をできるだけ具体的に解説したいと思います。 前編では、4つのポリシータイプとACLを中心に、S3 のセキュリティベストプラクティスを紹介しました。後編となる今回は2つのモデルケースを例に4つのポリシータイプと ACL、パブリックアクセスブロックの設定パターンを解説していきます。 ご紹介する4つのポリシータイプと用途 アイデンティティベースのポリシー   プリンシパル (IAM ユーザ、ロール、グループ) の権限を定義 リソースベースのポリシー (注釈1) リソースへアクセス可能なプリンシパルや、利用条件を定義 VPC エンドポイントポリシー   プライベートな仮想 NW から AWS サービスへのアクセス条件を定義 サービスコントロールポリシー  AWS Organizations にて組織やアカウントの最大使用アクセス権限を定義 注釈1:リソースベースのポリシーは様々な AWS リソースで利用可能です。アタッチされるリソースによって別名で呼ばれることもあり、KMS の暗号鍵にアタッチするキーポリシーや、S3 バケットにアタッチするバケットポリシーなどがあります。各サービスの対応状況は、ユーザーガイドで調べることができます。 外部公開用データのレポジトリとして Amazon S3 を使用する Amazon S3 はスケーラブルなデータストレージサービスです。静的な Web ホスティングサービスとして使用したり、AWS のコンテンツデリバリネットワーク (CDN) である Amazon CloudFront と組み合わせて、様々な地域にデータを公開するプラットフォームとして利用することができます。このような利用シーンを想定して外部公開用 […]

Read More

AWSも参加した調査研究として(社)行政情報システム研から「パブリッククラウド活用」の報告書が発表されました

──── シス研の調査研究報告書 AWSも参加した調査研究の成果として、行政情報システム研究所(以下、愛称の「シス研」)より、『行政機関におけるパブリック・クラウドの活用に関する調査研究 報告書』が公開されました(以下、『報告書』。2020年6月16日より掲載)。この報告書には、いくつもの有益な提言が含まれています。 今回のブログでは、AWSジャパン・パブリックセクターより『報告書』の概要と、読み取られるべきインパクトについて解説します。 画期的な『行政機関におけるパブリック・クラウドの活用に関する調査研究 報告書』 行政情報システム研究所(AIS=institute of Administrative Information Systems)は、行政機関と企業、社会一般との接点に位置する一般社団法人として、行政の情報化・電子政府の実現及びこれに伴う社会の発展に貢献するため、各種事業を展開する一般社団法人です。 今回の『報告書』の冒頭から、調査研究の狙いに関しまして以下、抜粋します(強調は、ブログ筆者)。 「>本調査研究は、行政機関におけるパブリック・クラウドの活用及び関連する調達・契約手法に関して、諸外国政府での先行事例を調査・分析するとともに、我が国政府及び当研究所会員企業の協力を得て、課題及び解決策の検討を行うことで、現場の実務で役立つハウツーやノウハウ及び中長期的に講ずべき施策を抽出・提示することを目的として行うものである。」 「なお、本調査研究は、[・・中略・・]内閣官房 IT 総合戦略室、総務省行政管理局、及び会員企業からは研究会への参画を、自治体、各国政府、専門家各位には、インタビューや資料提供の協力をいただいた。この場を借りて深く感謝申し上げたい。」 先行する多くの「調査研究」「レポート」に比べて、今回の調査研究は2つの点において画期的であると言えます。まず、1)先行する多くの調査研究は、単に「クラウド」に関するものであるのに対し、今回のシス研の報告書は「パブリック・クラウド」に調査スコープを明確に限定していること、また、2)パブリック・クラウドの活用シーンだけではなく、その前段の「調達・契約手法」にまで整理を果敢に試みたこと──という2点において、この調査報告書を高く評価したいと思います。今回の調査研究に参加したシス研皆様や内閣官房・総務省からの参加者をはじめ関係者皆様と議論ができたことは、AWSジャパンとしても多くの学びと発見がありました。 以下、本編・資料編を併せると130頁を超える大部の資料でありますため、今回の報告書のハイライトを幾つかご紹介させていただきます。 【結論】パブリッククラウドは、政府・行政機関にとって既に実用的な選択肢──と位置づけ 2018年に内閣官房IT総合戦略室から「政府情報システムにおけるクラウドサービスの利用に係る基本方針」(2018年6月) が発出され、「政府情報システムのシステム方式について、コスト削減や柔軟なリソース の増減等の観点から、クラウドサービスの採用をデフォルト(第一候補)と」するべく方針が示されたあとも各府省の現場では、”果たして行政機関・政府情報システムにとってクラウドは安全なのか、最適なのか”、という議論がなされてきました。 今回の『報告書』は、こうした論争に終止符を打つものです。 行政機関にとって、【結論】「パブリッククラウドは、既に実用的な選択肢となっている」旨、報告書のサマリーである「概要」においても明記され、本編の「まとめ」(p.50)のセクションにおいても「本調査研究を通じて、パブリック・クラウドは既に行政機関において実用的な選択肢たり得ることが明らかになった」との記載で、報告は結ばれています。 内容紹介①:「パブリック・クラウド特有のリスクは確認できない」と明言 また、今回の『報告書』では、「クラウド導入に対する心理的抵抗」「クラウド移行に伴うリスクへの懸念・不安・負担感」が各調達現場には今現在においても蔓延していると指摘しながらも、それらは新しい技術体系一般に対して言えるものであり、今回の調査の結果として「パブリック・クラウド特有のリスクは確認できない」と明言しています(『報告書』本編 p.32 以降も同様に、断りが無い限り、ページ番号のみの引用は”本編”を指す。) これまで、さまざまな「リスク」が折に触れ語られてきましたが、クラウドはそれらを低減しこそすれ、特有のリスクを伴うものでは無い旨を明記いただいたことは、多くの行政機関にとって、今回の『報告書』がクラウド利用に向けた大きな後押しとなるものと考えます。 内容紹介②:現行の会計法規の枠内で、クラウドの特有の従量課金などのメリットは享受可能と整理 これまで、パブリッククラウドのメリットの中核であるはずの「従量課金」に対し、しばしば「現行の会計法規」との整合性を不安視する意見が出されてきました。 今回の『報告書』では一段踏み込んだ整理が行われ、諸外国政府機関と同様、「複数年の運用を通じて見積の精度を高めていく」、あるいは初年度に関しても 見積もり時点との発生差額を「補正するための手段(年度途中での契約変更や上限価格付従量契約等)を検討する」、「 技術的対話の実施」、「調達仕様書の記載を[クラウドネイティブに]適正化し、[予算の意図せぬ大幅超過や想定外のサービスの大量追加など]トラブルの原因となるリスクを低減させる」────など、実用的な共存策および対応策が紹介されています。これらは、現行の法令改正など大幅な制度改正を何ら必要とするものでは無いため、すぐにでも試行を開始することが可能です。(「」書きの抜粋は、全て p.33から) 内容紹介③:クラウドの”使い始め”に天王山。政府職員へのトレーニングなど、利用開始の「入口」を簡素化することが有効 諸外国政府機関からのヒアリングからも語られているとおり、柔軟性に富むパブリック・クラウドでは「まずは使い始める」アプローチによりメリットを即座に体感することが可能です。 これまで、日本の多くの行政機関・公的機関においては、導入に先立って非常に多くの工数を費やした「事前の検討」が行われ、時間的かつ人的な行政リソースが浪費されてきた反省があります。 今回の『報告書』では、米国・英国・カナダの政府機関へのヒアリングをベースとし、クラウド利用を加速するためには「[政府]職員に多様な人材育成メニューを提供」すること、あるいは「コンソールを触り、クラウドを体感する研修もベンダーの協力を得て提供」するなどの、工夫を徹底していることなどが紹介されています(「概要」)。「トレーニングは政府機関が自ら行う場合に加えて、CSP[=クラウド・サービス・プロバイダー]が提供している研修コースを活用するという方法を採る場合もある」とする今回の『報告書』の提言を踏まえて(p.24)、AWSでは将来的には人事院・総務省・シス研・内閣官房IT室などの横断的な取り組みにより、日本の政府職員皆様にも海外政府と同様のトレーニング受講をいただけることが望ましいと考えています。(カナダ政府における、職員のクラウドスキル強化の取り組みに関しては、こちら。『報告書』本編のp.49でも紹介いただいています) 内容紹介④:「包括契約」のメリットに言及し、「調達・契約スキーム」の類型として記載 今回の調査研究『報告書』では、個別の調達に際しての契約を束ねた「包括契約」に関し、次のように定義しています。包括契約とは、「調達手続きの一部または全部の一元化を図ることにより、各機関が個別に調達することで重複して発生していたコストや手続きの負荷を軽減するとともに、政府全体として多様かつ革新的なIT製品・サービスを活用することにより、政府の提供するサービスをより効率的かつ質の高いものとすることを目的とする仕組み」──である、と。 また、そのメリットに関しても、「包括契約を導入することにより、多様なサプライヤー及びサービスへのアクセス、サービスの効率的な調達によるコストと調達サイクルの短縮化、機関間での契約条件の標準化、革新的かつ最新の技術・製品・サービス・ソリューションの活用、そして政府、サプライヤー双方のサービス品質の向上といった便益も得られる」旨、明記されています。( p.8) 従来の政府文書・行政文書では未済であった整理に関して定義の明確化を行い、併せて「包括契約」により獲得が目指されるべきメリットに関しても言及がある点、『報告書』のひとつの成果であると位置づけられます。 加えて、米国・英国・オーストラリア・ニュージーランドの海外文献調査をもとに、各国の政府機関では「包括契約を前提に、物品・サービスの簡易な発注が可能になっている」(「概要」)と、包括契約締結のメリットを追記しています。 日本政府においても、こうした「調達手続き」を「一元化」する構想は近年、検討が加速しています。例えば、昨年2019年12月に閣議決定された「デジタル・ガバメント実行計画」では(p.27)、以下のように「一元的なプロジェクト管理」の重要性が記載されています。  これまでの政府の情報システム投資は、各府省・業務ごとに情報システム化の要否を検討し、各府省における当該業務の担当部局が予算要求・執行を含め運用の主体として責任を持つことが前提となっており、政府全体でのIT ガバナンスについても、個々の情報システム単位での妥当性検証が中心であった。 企画、予算要求、執行、チェック、見直しというPDCA サイクルそのものが、基本的には、縦割りでの情報システムを前提に動いていたと評価することができる。 その結果、重複的な政府情報システムの整備・運用やオーバースペックでのシステム設計、予算・調達が政府情報システム単位に細分化されているため、事業者との交渉時に十分なスケールメリットを発揮できていないといった問題が生じている。こうした問題を解決し、政府情報システムの一層の改革を進め、データの標準化、政府情報システム間の互換性、円滑な情報連携、高度な情報セキュリティ対策等について、政府として統一性を確保しつつ効率的に実現していくことが必要となる。 そのため、グランドデザインに基づく横断的かつ業務改革(BPR)を意識したサービス視点での政府情報システムの整備・運用を実現する観点から、政府情報システムの統一的管理のための取組を抜本的に強化する。 具体的には、全ての情報システムを対象として、予算要求前から執行の段階まで年間を通じたプロジェクト管理(以下「一元的なプロジェクト管理」という。)を、政府CIO の下で行う。特に、①予算要求前(プロジェクトの計画段階)、②予算要求時(プロジェクトの具体化段階)、③予算執行前(詳細仕様の検討段階)の3段階について、一元的なプロジェクト管理を実施する 日本の会計法令は、IT製品やクラウドなど新しい商材が普及してきた過去数十年間においても、大きな変更が加えられないまま現在に至っています。今回の調査研究では中央省庁の各機関を横断する「包括」の類型だけではなく、中央省庁+自治体+独法など各種公的機関をも包含する「包括契約」の類型にも触れられています(p.8)。 AWSでは今回の研究成果を踏まえ、日本においても必ずしも会計法令の改正に踏み込まずとも、包括契約のもたらすメリットを追求することが可能であるものと整理しており、今後とも関係各所への提言を行っていきたいと考えています。 ❖参考:「アマゾン ウェブ サービスとオーストラリア連邦政府、 AWSクラウドの組織横断的な調達を目的とした、 政府包括契約を締結」 内容紹介⑤:行政機関と言えど、CSPに個別対応を期待しないことが原則である旨明記 政府機関向けの特別な契約条項の有無を、多くの政府機関から問い合わせいただいています。社訓として「Customer Obsession」を掲げるAWSにとっては全ての顧客が特別です。よって、民間企業であるか、政府機関であるかを問わず、100万を超える数の団体・顧客に適用されている「AWSの利用規約(カスタマーアグリーメント)」は、年々その記載内容が拡充され続けています。例えば、数年前に比べても、SLAに列記されるサービス数は増加し続けており、ユーザーが享受するベースラインでのサービスの充実度が向上しているものと言えます。 […]

Read More

7 月 1 日(水)開催:AWSome Day Online Conference で AWS クラウドの基礎を学ぼう!(チャット Q&A あり)

こんにちは! AWS Webinarチームです。 7 月といえば七夕ですね。 幼いころは、笹の葉についた短冊に願い事を書きました。みなさまの願い事はなんですか? AWS クラウドサービスを知りたい、基礎知識をつけたいという願いでしょうか? そんな願い事を内に秘めている方にお薦めするオンラインセミナーのご連絡です。 AWSome Day Online Conference を 7 月 1 日(水)15 時から配信いたします。 AWS クラウドの基礎を約 2.5 時間の短時間で学べるオンラインセミナーです。 新しくクラウドを始めようと思っている方、クラウドの基礎知識がぼんやりしてしてしまったので復習したいと 思っている方、どちらの方にもお勧めの内容となっております。ぜひこの機会にご登録・ご視聴ください。 当日は AWS エキスパートがチャット形式による Q&A 対応をいたします。 その場で、テクニカルに関する疑問点を質問を投げかける吹き出しに入力ください。チャット形式でお答えいたします。 ※入力した質問内容は他の視聴者には見えません。 日程:2020 年 7 月 1 日(水) 時間:15:00 開始 – 17:40 終了予定 費用:無料 主催:アマゾン ウェブ サービス 株式会社 詳細・ご視聴はこちらからお申込みください。 AWSome Day Online Conference とは? 「AWSome […]

Read More

【開催報告】「コンテナ × スポットインスタンス」 活用セミナー

スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。2020年6月10日にオンラインで開催された「コンテナ × スポットインスタンス」 活用セミナーでは、200名を超えるご参加人数という大盛況のもと、AWSのソリューションアーキテクトによる技術解説と、各種コンテナ技術を最大限に活用してスポットインスタンスをご利用いただいている3社のお客様から、実際の事例についてお話いただきました。 本記事では、お客様のご登壇資料を含む当日資料のご紹介、また参加者の皆様からいただいた当日のQ&Aの一部をご紹介します。 当日アジェンダと資料 12:00~13:00 Amazon EC2 Auto Scaling によるスポットインスタンス活用講座 講師:滝口 開資(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) 13:00~14:00 具体的実装に学ぶ、Amazon ECS × EC2 スポットインスタンス、Amazon EKS × EC2 スポットインスタンスによる低コスト & 高可用アーキテクチャ 講師:Hara Tori(アマゾン ウェブ サービス ジャパン株式会社 シニアデベロッパー アドボケイト) 14:00~14:30 AWS Batchによる大規模バッチ処理でのスポットインスタンス活用 講師:宮本 大輔(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) Containers + EC2 Spot: AWS Batch による大規模バッチ処理でのスポットインスタンス活用 from Daisuke Miyamoto   14:30~15:00 ECS×スポットインスタンス活用の秘訣 講師:田中 […]

Read More

AWS Solutions Constructs – AWS CDK のアーキテクチャパターンのライブラリ

クラウドアプリケーションは、仮想サーバー、コンテナ、サーバーレス機能、ストレージバケット、データベースなどの複数のコンポーネントを使用して構築されます。これらのリソースを安全かつ反復可能な方法でプロビジョニングおよび設定できることは、プロセスを自動化し、実装の固有の部分に集中できるようにするために非常に重要です。 AWS Cloud Development Kit を使用すると、お気に入りのプログラミング言語の表現力を活用してアプリケーションをモデル化できます。コンストラクトと呼ばれる高レベルのコンポーネントを使用して、カスタマイズ可能な「実用的なデフォルト」で事前設定し、新しいアプリケーションをすばやく構築できます。CDKは、Infrastructure as Code を管理することにおけるあらゆるメリットを得るために、AWS CloudFormation を使用してリソースをプロビジョニングします。私が CDK を気に入っている理由の 1 つは、独自のカスタムコンポーネントを上位レベルのコンストラクトとして作成および共有できることです。 複数のお客様にとって役立ち得るパターンが繰り返し発生することは想像に難くありません。そこで、本日、AWS Solutions Constructs をリリースします。これは、独自のソリューションの構築に役立つ Well-Architected なパターンを提供する CDK のオープンソース拡張ライブラリです。CDK コンストラクトは主に単一のサービスをカバーしています。 AWS Solutions Constructs は、2 つ以上の CDK のリソースを組み合わせ、ロギングや暗号化などのベストプラクティスを実装する複数サービスのパターンを提供します。 AWS Solutions Constructs を使用する パターンベースのアプローチの威力を確認するために、新しいアプリケーションを構築する際にどのように役立つかを見てみましょう。例として、Amazon DynamoDB テーブルにデータを格納する HTTP API を構築します。テーブルのコンテンツを小さく保つために、DynamoDB Time to Live (TTL) を使用して、数日後にアイテムを期限切れにすることができます。TTL の期限が切れると、テーブルからデータが削除され、DynamoDB Streams を介して AWS Lambda 関数に送信され、期限切れのデータを Amazon Simple Storage Service […]

Read More

AWS DeepComposer Chartbusters: バッハスタイルで楽曲を生成し、チャートのトップを目指して競い合いましょう

AWS DeepComposer Chartbusters のリリースを発表できることを嬉しく思います。これは毎月開かれるチャレンジで、開発者が AWS DeepComposer を使ってオリジナルの楽曲を作成し、チャートのトップを勝ち取り、賞品を獲得するために競い合います。AWS DeepComposer は、開発者に機械学習 (ML) とジェネレーティブ AI 技術を始めるための創造的な方法を提供します。AWS DeepComposer では、開発者は ML のバックグラウンドに関係なく、ジェネレーティブ AI テクニックを使用開始して、モデルをトレーニングおよび最適化してオリジナルの音楽を作曲する方法を学ぶことができます。AWS DeepComposer Chartbusters の最初の課題である Bach to the Future では、開発者が AWS DeepComposer コンソールで提供される新しいジェネレーティブ AI アルゴリズムを使用して、バッハスタイルの楽曲を作成することが求められます。 AWS は毎月 2020 年 10 月まで、さまざまなジェネレーティブ AI テクニックを紹介するために毎月異なるテーマの新しい Chartbusters チャレンジをリリースします。チャレンジに参加するのに音楽の知識は必要ありません。チャレンジに参加する前に、AWS DeepComposer コンソールで利用できるラーニングカプセルを用いて、毎月のチャレンジに必要なジェネレーティブ AI の概念を学習できます。ラーニングカプセルは、ジェネレーティブ AI アルゴリズムの概念を学ぶのに役立つ、頭に入りやすい一口サイズのコンテンツを提供します。 チャレンジに参加する方法 チャレンジは、開発者が参加するために世界中で開かれています。開始するには、AWS DeepComposer コンソールで利用できるジェネレーティブ AI アルゴリズムの 1 […]

Read More

SageMaker 一時インスタンスで Jupyter ノートブックのスケジュールを立てる

現在、金曜日の午後 5 時です。あなたは、午後に複雑で洗練された機能エンジニアリング戦略をコーディングしてきたとします。Amazon SageMaker Studio t3.medium ノートブックで作業を開始しました。ここでのタスクは、帰宅するまでにこれを大規模なインスタンスに接続し、残りのデータセット全体にスケールアウトすることです。ノートブックインスタンスをアップグレードできますが、ノートパソコンを閉じるとすぐにジョブが停止してしまいます。ノートブックから直接ジョブをスケジュールしませんか? Amazon SageMaker は、機械学習 (ML) モデルを構築、トレーニング、デプロイするためのフルマネージドソリューションを提供します。この記事では、Amazon SageMaker Processing ジョブを使用して、オープンソースプロジェクト Papermill で Jupyter ノートブックを実行する方法を示します。Amazon SageMaker と Amazon CloudWatch、AWS Lambda、および AWS スタック全体の組み合わせにより、機能エンジニアリングなどのジョブをオンザフライでとスケジュールに沿ってスケールアップするために必要なモジュラーバックボーンが常に提供されます。このプロセスを簡素化するために、DIY ツールキットを喜んで提供させていただきます。AWS CloudFormation を使用してアクセス許可を設定し、Lambda を使用してジョブを起動し、Amazon Elastic Container Registry ( Amazon ECR) を使用してカスタマイズされた実行環境を作成できます。これには、任意の AWS クライアントからノートブックの実行を開始するためのライブラリと CLI、およびシームレスなユーザーエクスペリエンスのための Jupyter プラグインが含まれています。 これを執筆している時点で、Jupyter ノートブックにコードを記述し、ボタンをクリックするだけで、Amazon SageMaker 一時インスタンス上で、即時にまたはスケジュールに従って実行できます。この記事で紹介するツールを使用すると、シェルプロンプト、Amazon SageMaker の JupyterLab、お使いの別の JupyterLab 環境、または作成したプログラムで自動化して、どこからでもこれを実行できます。AWS CloudFormation を使用してセットアップを簡素化するための便利なツールを提供するサンプルコードを作成しました。これにより、重い作業を処理し、実行してそれをモニタリングすることができます。 ノートブックの実行の詳細については、GitHub リポジトリを参照してください。すべてのソースコードは、GitHub […]

Read More

Apache Kafka 向け Amazon Managed Streaming を使用して、データキャプチャを Neo4j から Amazon Neptune に変更

Neo4j から Amazon Neptune へのポイントインタイムデータ移行を実行した後、進行中の更新をリアルタイムでキャプチャして複製することができます。Neo4j から Neptune へのポイントインタイムグラフデータ移行の自動化については、完全に自動化されたユーティリティを使用した Neo4j グラフデータベースの Amazon Neptune への移行をご参照ください。この記事では、cdc-neo4j-msk-neptune リポジトリのサンプルソリューションを使用して、Neo4j から Neptune へのキャプチャとレプリケーションを自動化する手順について説明します。 変更データキャプチャ (CDC) パターンを使用したデータベースの継続的なレプリケーションにより、データをストリーミングして他のシステムで利用できるようにすることができます。この記事では、最新の変更を Neptune にコピーできるように、CDC を使用して Neo4j からデータをストリーミングすることにより、グラフデータベースを最新化することに専念しています。Strangler パターンのイベント傍受戦略を使用して Neo4j を最新化することにより、すべての変更を Neptune に段階的にプッシュし、アプリケーションを変更して Neptune を使用できます。Neptune は、高速で信頼性が高い、完全マネージド型グラフデータベースサービスであり、高度に接続されたデータセットと連携するアプリケーションの構築と実行を容易にします。Neptune の中核にあるのは、何十億もの関係を保存し、ミリ秒単位のレイテンシーでグラフをクエリするために最適化された、専用の高性能グラフデータベースエンジンです。 アーキテクチャの概要 この記事のソリューションは、AWS アカウントでの次のアーキテクチャのデプロイを自動化します。このアーキテクチャは、レプリケーション用の疎結合システムを構築するためにソリューションがプロビジョニングする AWS リソースを示しています。 アーキテクチャには次の要素が含まれます。 Amazon VPC 内のすべての必須 AWS リソースをブートストラップする、エンドユーザーがトリガーする AWS クラウド開発キット (AWS CDK) アプリ レプリケーション用の Docker コンテナで実行される専用サービスを実行するための Amazon Elastic […]

Read More

Application Load Balancer を使用して、プライベートサブネット内で起動された Amazon EMR 上のインターフェイスにセキュアにアクセスする

Amazon EMR ウェブインターフェイスは、EMR クラスターのマスターノードにホストされています。EMR クラスターをプライベートサブネット内で起動した場合、EMR マスターノードはパブリック DNS レコードを保持しません。プライベートサブネット内にホストされたウェブインターフェースは、サブネット外には簡単にアクセスできません。Application Load Balancer (ALB) を HTTPS プロキシとして使用すると、Bastion ホストを介した SSH トンネリングを行うことなく、インターネット上の EMR ウェブインターフェイスにアクセスすることが可能です。このアプローチにより、 EMR ウェブインターフェイスへのアクセスが大いに簡素化されます。 この投稿では、EMR クラスターをプライベートサブネット内で起動した場合に、ALB を使用してどのようにインターネット上の EMR ウェブインターフェースへセキュアなアクセスをするのかを概説します。 ソリューションの概要 VPC サブネット内に起動されたノードは、以下のいずれかが存在しない限り、そのサブネットから外部への通信はできません。 VPC 内で、そのサブネットから他のサブネットへのネットワークルート VPC Peering による VPC サブネットへのルート AWS Direct Connect を介したサブネットへのルート インターネットゲートウェイへのルート VPN 接続からサブネットへのルート 最高レベルのセキュリティを EMR クラスターに求める場合は、クラスターへの最小数のルートを持つサブネットにクラスターを配置する必要があります。これにより、プライベートサブネット内で起動された EMR クラスターのマスターノード上で動作しているウェブインターフェースへのアクセスがさらに難しくなります。 このソリューションでは、 EMR マスターノード上のウェブインターフェースエンドポイントへの HTTPS プロキシとして機能するインターネット向けの ALB を使用しています。ALBは、HTTPSポートで着信ウェブインターフェイスアクセスリクエストをリッスンし、EMR […]

Read More

Amazon SageMaker DeepAR アルゴリズムによる運転速度違反の予測

多くの企業や業界にとって、予測という側面はとても重要です。明確に定義された目標がないまま前進すると深刻な結果をもたらす可能性があります。製品計画、財務予測、および天気予報は、ハードデータと重要な分析に基づいて科学的な見積もりを作成します。時系列予測は、ベースライン、トレンド、および季節性があれば履歴データを分解できます。 Amazon SageMaker DeepAR 予測アルゴリズムは、時系列を予測するための教師あり機械学習アルゴリズムです。このアルゴリズムは、リカレントニューラルネットワーク (RNN) を使用して、ポイント予測と確率論的予測を生成します。DeepAR アルゴリズムを使用して、スカラー (1 次元) 時系列の単一の値を予測するか、モデルを作成することにより、関連する数百の時系列で同時に動作させることができます。また、モデルがトレーニングされる系列に関連する新しい時系列を予測することもできます。 時系列予測を説明するために、DeepAR アルゴリズムを使用してシカゴの速度違反カメラデータセットを分析します。データセットは Data.gov によってホストされ、米国総務局、テクノロジートランスフォーメーションサービスによって管理されています。これらの違反はカメラシステムによってキャプチャされ、シカゴデータポータルで利用できます。データセットを使用して、データのパターンを識別し、有意義な洞察を得ることができます。 データセットには、複数のカメラの位置と毎日の違反件数が含まれています。カメラがとらえた毎日の違反を 1 つの時系列として想像すると、DeepAR アルゴリズムを使用して、複数の道路のモデルを同時にトレーニングし、複数の道路のカメラ違反を予測できます。 この分析により、ドライバーが 1 年間さまざまな時間帯に制限速度を超過して運転する可能性が最も高い道路と、データの季節性を特定することができます。これにより、都市では、運転速度を下げ、代替経路を作成し、安全性を高めるための事前対策を実施することができます。 このノートブックのコードは、GitHub リポジトリで入手できます。 Jupyter ノートブックの作成 始める前に、Amazon SageMaker Jupyter ノートブックインスタンスを作成します。この投稿では、ml.m4.xlarge ノートブックインスタンスと組み込みの python3 カーネルを使用します。 必要なライブラリのインポート、データのダウンロードと視覚化 データを Jupyter ノートブックインスタンスにダウンロードし、Amazon Simple Storage Service (Amazon S3) バケットにアップロードします。データをトレーニングするには、住所、違反日、違反回数を使用します。以下のコードと出力は、データセットをダウンロードし、数行と 4 列を表示する方法を示しています。 url = ‘https://data.cityofchicago.org/api/views/hhkd-xvj4/rows.csv?accessType=DOWNLOAD’ # シカゴ市のサイトからデータを取得 r = requests.get(url, allow_redirects=True) open(datafile, […]

Read More