Amazon Web Services ブログ

サポートが終了する AWS の Microsoft 2008 R2 ワークロードを簡単にアップグレードする

多くの IT 企業が 10 年以上にわたって Microsoft Windows Server 2008 R2 オペレーティングシステムと SQL Server 2008 R2 データベースシステムを使ってきました。サポート終了 (EOS) 日 (SQL Server は 2019 年 7 月、Windows Server は 2020 年 1 月) が間近であるため、セキュリティとコンプライアンスのリスクを回避するためにこれらのシステムをサポート対象バージョンにアップグレードすることが重要です。アップグレードをすぐに開始できるように、Windows Server 2008 R2 と SQL Server 2008 R2 (Service Pack 3) の両方のアップグレードを支援するために AWS Systems Manager ドキュメントを組み合わせました。 このブログでは、AWS Systems Manager を使用して、AWS 環境の Windows Server […]

Read More

Amazon SageMaker Ground Truth を使用して階層型ラベル分類法を作成する

re:Invent 2018 で、私たちは Amazon SageMaker Ground Truth を発表しました。これは、機械学習を使用して非常に正確なデータセットを構築し、ラベル付けのコストを最大 70% 削減することができます。Amazon SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者に簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、Amazon SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。 路上でカメラで撮影した画像の大規模なコーパスがあるとしましょう。それぞれの画像には、無人自動車用のアルゴリズムを開発するために重要な多くの異なる対象物 (たとえば、車または交通標識) が含まれている可能性があります。最初に、画像から取得したい情報の階層表現を定義する必要があります (そのようなラベル分類法がどのように見えるかの例については、下記を参照してください)。次に、これらのラベルが付いていない未処理の画像を取得し、高レベルのクラス (「車」、「交通標識」、「歩行者」など) でラベル付けすることによってラベル付けプロセスを開始します。 このブログ記事では、ジョブをチェーンさせて拡張マニフェスト機能を利用することで、Amazon SageMaker Ground Truth を使用してこのような階層的なラベル付けを実現する方法を紹介します。 通常の解決方法 教師あり機械学習では、通常、未加工データと各データオブジェクトの関連ラベルの両方を含むラベル付きデータセットを使用します。たとえば、道路画像のトレーニングデータセットを作成し、それらを「交通標識あり」または「交通標識なし」に分類することができます (ラベル 0 と 1 が 2 つのクラスに対応します)。これらのラベルは通常、CSV や JSON などの形式で保存され、最初の列は未加工データを表し、2 番目の列はラベルを表します。 ただし、同じセットの画像にさらにラベルを付けたい場合 (たとえば、「交通標識あり」セット内の交通標識の種類を識別するため)、通常、最初のデータセットに対してフィルタ処理を実行して交通標識が含まれている画像だけを選択して、新しいデータセットを作成します。これにより、データセットは「交通標識」 (ラベル 0) だけを含む別のサブセットに縮小されます。その後、新しいラベルを追加して、標識を「一時停止標識」、「制限速度」などに分類することができます。 こうした種類のフィルタリング操作は、大規模なデータセットではコストや時間がかかる可能性があります。また、物体検出 (バウンディングボックス) アルゴリズムによって、画像内のすべての停止標識と歩行者をマークしたいと考えるかもしれません。このため、通常、画像の中の停止標識と歩行者のそれぞれの周囲に、物体検出ラベルを追加して 3 番目のデータセットを作成する必要があります。深く分類し続けるにつれて、トレーニングデータセットの数と複雑さは分類法のファンアウト係数 […]

Read More

AWS Black Belt オンラインセミナーのご案内 (2019 年 3月)

こんにちは。マーケティングの鬼形です。3 月の AWS Black Belt オンラインセミナーについてご案内させて頂きます。 3月は、2月開催のAmazon S3/Glacierに続き、Amazon EC2、Amazon EC2スポットインスタンス、Amazon VPC、Amazon EBS、Amazon CloudWatchといった基本的な AWS サービスを中心にご紹介いたします!ぜひお役立てください。 視聴方法: オンラインセミナー登録ページよりお申し込みください   Amazon EC2 2019 年 3 月 5 日 (火) | 12:00 – 13:00 | IT 知識レベル:★★☆☆☆ | AWS 知識レベル:★★☆☆☆ Amazon Elastic Compute Cloud (Amazon EC2) は、安全でサイズ変更可能なコンピューティング性能をクラウド内で提供するウェブサービスで、ウェブスケールのクラウドコンピューティングを開発者が簡単に利用できるよう設計されています。 本セミナーでは、Amazon EC2の概要およびアップデート情報をお届けします。 対象者 ビジネスドライバの方、技術者の方 本セミナーで学習できること Amazon EC2の概要、最新アップデート情報 スピーカー 小川 貴士 Solutions Architect   Amazon EC2スポットインスタンス […]

Read More

[AWS Black Belt Online Seminar] Amazon SageMaker Advanced Session 資料及び QA 公開

先日 (2018/3/13) 開催しました AWS Black Belt Online Seminar「Amazon SageMaker Advanced Session」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190213 AWS Black Belt Online Seminar Amazon SageMaker Advanced Session from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. 自動ラベリング機能については、SageMakerのフレームワークに則る必要がありますか?(APIレベルで) A. 自動ラベリング機能は,Image classification,Object detection,Text classificationの3つのビルトインアルゴリズムについて,EC2上で学習とバッチ推論APIとしてお使いいただくことができます. https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/sms-automated-labeling.html Q. Marketplaceでは推論モデルのバージョンアップのタイミングで精度が変化することもあると思いますが、次のバージョンがリリースされる前に試用期間を設けてもらうことは可能でしょうか? A. 出品者のお客様のほうで出品内容については管理されており,AWS側からそう言った制限を設けることは現状できかねます. Q. そのアルゴリズムなどに対する問い合わせは通常のサポート窓口経由ですか? A. サポートにご契約いただいているお客様は,サポートにお問い合わせいただくことができます. Q. DeepRacerって国内でも使えるんですか? A. 日本国内発売開始後,ご利用いただけます. Q. 学習したモデルをデプロイするのではなく、modelファイルとして出力して、別環境にデプロイすることはできますか? A. 学習済みのモデルとその時に使ったスクリプトや・パラメータは全てS3に保存されますので,そこから直接取り出して別環境にデプロイいただけます. https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html 今後の AWS Webinar スケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております! AWSOME DAY ONLINE CONFERENCE […]

Read More

Amazon Elasticsearch Service でペタバイト規模のクラスタを実行する

ログデータに Amazon Elasticsearch Service (Amazon ES) を使用するのは、あたかも強力な消火ホースから水を飲むようなもので、システムそのものの潜在力は絶大です。Elasticsearch と Kibana の知識が深まるにつれ、より説得力のあるデータの使い方が見つかるでしょう。カスタマーベースが拡大し、それに対処するためにインフラストラクチャも拡張するのに伴い、さらに多くのログデータが生まれます。 膨らむ一方のログデータを格納および分析するためには、いくつかのデザインパスを辿ることができます。たとえば、複数の Amazon ES ドメインを展開し、ワークロードをそれらに分散することもできます。しかし、このデザイン戦略では、単独の Kibana ダッシュボードによる分析がサポートされません。また、ログストリームの一部を「共同所有」することで、ハイブリッドアプローチを取るか、オールインワンドメインアプローチを取るかを選ぶことができます。 最終的に、単独のワークロードドメインを使用したとしても、1 PB に達する、あるいはそれを上回るストレージに拡大できます。 Amazon ES では最近、大規模クラスタのサポート制限を倍増させました。今日現在では、ドメイン制限を増やすことで、デフォルトで 20 個のデータインスタンスを、クラスタあたり最大 200 件のデータインスタンスまでサポートします。データインスタンスに I3.16xlarge.elasticsearch インスタンスを選択した場合、クラスタに最大で 3 PB のストレージを持たせることができます。このような XL 規模のワークロードの運用を成功させるベストプラクティスは何でしょう? Elasticsearch の最新バージョンを実行する Elasticsearch はバージョンが上がるたびに、安定性とパフォーマンスの面で大きく改善されています。この記事の執筆時点で、Amazon Elasticsearch Service では Elasticsearch バージョン 6.4 がサポートされています。大規模なクラスタでは、Elasticsearch の最新のサポートバージョンへデプロイするか、アップグレードする (インプレースアップグレードを使用することで) ことをお勧めします。 I3 インスタンスを使用する ペタバイト規模へ拡張するには、I3s を使用する必要があります。I3 インスタンスには NVMe SSD エフェメラルストアがあります。大規模な環境では、I3.16xlarge.elasticsearch […]

Read More

新機能 – Amazon Elastic File System (EFS) の低頻度アクセスストレージクラス

Amazon Elastic File System で作成できるペタバイト規模のファイルシステムは、数百数千規模の EC2 インスタンスおよびオンプレミスサーバーからの大量の並列アクセスを処理可能なうえに、アプリケーションを中断させることなくオンデマンドでスケーリングできます。EFS では 2016 年半ばのサービス開始以来、保管および転送時のデータの暗号化、大量のスペースを占有することのないファイルセットに高スループットアクセスが求められる場合に使用できるプロビジョニングされたスループットオプション、AWS Direct Connect 経由のオンプレミスアクセス、EFS File Sync、AWS VPN およびインターリージョン VPC ピアリングのサポートなど、多数の新機能を追加提供してまいりました。 低頻度アクセスストレージクラス 今回は、AWS re:Invent でも予告しましたが、新しい Amazon EFS の低頻度アクセスストレージクラスについてお知らせいたします。EFS ファイルシステムのための新しいライフサイクル管理オプションの一環として、過去 30 日間アクセスされなかったファイルを、料金が 85% 低いストレージクラスに移動させたいと皆さんが意思表示できるようになりました。新しい EFS ファイルシステムを作成すると、ライフサイクル管理を使用できるようになっています。また、本日のローンチの時点とそれ以降に作成されたファイルシステムについてはあとで有効化できます。 新しいストレージクラスは完全に透過的です。ファイルには移動後も必要に応じて通常の方法でアクセスでき、コードまたは運用上の変更は必要ありません。 低頻度アクセスストレージクラスは、監査要件および記録保存要件への準拠、通常のファイル操作で復元可能なニアラインバックアップの作成、不定期ベースでデータでも手もとに置いておきたいようなケースに使用できます。 ここで、留意するべきことがいくつかあります。 対象ファイル – 128 KiB 以上で、少なくとも過去 30 日間にわたってアクセスも変更もないファイルは、新ストレージクラスに移行可能です。ファイルのメタデータの修正はファイル自体の変更ではないため、移行対象となります。 優先度 – 低頻度アクセスへファイルを移行するオペレーションは、ファイルシステム上のほかのオペレーションよりも低い優先度で実行されます。 スループット – ユーザーのファイルシステムがバースティングモードに設定されている場合は、標準クラスのストレージ量でスループットが決まります。設定されていない場合は、プロビジョニングされたスループットが適用されます。 ライフサイクル管理が実現 ライフサイクル管理を有効にして、低頻度アクセスストレージクラスのメリットを享受するにはワンクリックするだけです。 前述の通り、このファイルシステムを作成時にチェックを入れるか、今後作成するファイルシステムについてはあとで有効にできます。 30 日間一度も読み書きされなかったファイルは低頻度アクセスストレージクラスに移行されますが、皆さんのほうでやっていただくことは何もありません。標準アクセスクラスのファイルは 1 […]

Read More

Amazon SageMaker スクリプトモードでの TensorFlow Eager Execution の使用

 このブログ記事では、TensorFlow の Eager Execution モードでモデルを訓練するために Amazon SageMaker のスクリプトモードを使用する方法について説明します。Eager Execution は TensorFlow の未来であり、現在最新の TensorFlow 1.x バージョンでオプションとして利用可能ではあるものの、TensorFlow 2 ではデフォルトモードになる予定です。今回は、スクリプトモードと Eager Execution について簡単に説明してから、代表的な回帰タスクシナリオをご紹介します。次に、スクリプトモードと Eager Execution を併用して、このタスクを解決するワークフローについて説明します。このブログ記事のためのノートブックと関連コードは GitHub から入手することができます。それでは、スクリプトモードから見ていきましょう。 Amazon SageMaker のスクリプトモード Amazon SageMaker は、TensorFlow などの人気の高い機械学習 (ML) および深層学習フレームワークの一部を使ったモデルの訓練とデプロイメントを容易にする API と事前構築されたコンテナを提供します。Amazon SageMaker は、コンテナの構築や基盤となるインフラストラクチャの管理について心配することなく、カスタム TensorFlow コードを使用したモデルを訓練してデプロイするために使用できます。Amazon SageMaker の Python SDK TensorFlow Estimator、および Amazon SageMaker のオープンソース TensorFlow コンテナは、TensorFlow スクリプトを記述して、それを Amazon SageMaker […]

Read More

Amazon Athena と Amazon QuickSight を使用して、200 年以上にわたる世界の気候データを視覚化する

気候変動は、私たちの生活の質に深く影響を及ぼし続けています。その結果、持続可能性に関する調査が増えています。公共部門と民間部門の両方の研究者が、記録された気候履歴を研究し、気候予測モデルを使用することによって将来に備えています。 こうした概念を説明するのを助けるために、この投稿では Global Historical Climatology Network Daily (GHCN-D) を紹介します。 このレジストリは、地球規模の気候変動研究コミュニティによって使用されています。 また、この投稿では、アマゾン ウェブ サービス (AWS) のサービスが気候変動調査のためにこのデータへのアクセスをどのように改善するかについても段階的に示します。データサイエンティストやエンジニアはこれまで、このデータを照会するために高性能コンピュータ上の何百ものノードにアクセスしなければなりませんでした。現在は、AWS でいくつかの手順を使用するだけで、同じデータを入手できるようになりました。 背景 地球規模の気候分析は、研究者が地球の自然資本と生態系資源に対する気候変動の影響を評価するうえで不可欠です。この活動には質の高い気候データセットが必要ですが、規模と複雑さのためにそのデータセットを使用するのはとても困難です。研究成果に自信を持つために、研究者は扱っている気候データセットの起源について自信を持っていなければなりません。たとえば、研究者は次のような質問に答えようとしているかもしれません。「特定の食料生産地の気候が、食料安全保障に影響を与えるように変化しましたか?」 研究者は簡単に信頼できる選ばれたデータセットを照会することができなければなりません。 米国の国立環境情報センター (NCEI) は、世界中の気象観測所による観測に基づいた気候データのデータセットを管理しています。それが、Global Historical Climatology Network Daily (GHCN-D) であり、地上局からの毎日の天気概要をまとめた中央リポジトリです。毎日更新される何百万もの品質保証された観測結果で構成されています。 記録される最も一般的なパラメータは、毎日の気温、降雨量、降雪量です。これらは干ばつ、洪水、異常気象のリスクを評価するうえで有益なパラメータです。 課題 NCEI は、GHCN_D データを年ごとに整理した CSV 形式で、FTP サーバーを介して利用可能にしています。データを年ごとに整理すると、アーカイブの完全なコピーには 255 を超えるファイルが必要になります (アーカイブの最初の年は 1763 年です)。従来、研究者がこのデータセットで作業をしたい場合、まずダウンロードしてローカルに取り組まなければなりませんでした。確実に最新のデータを分析に使用したい場合、毎日このダウンロードを繰り返さなければなりません。 研究者にとって、このデータから洞察を引き出すことが困難である場合があります。技術的スキル、コンピューティングリソース、主題に関する専門知識が必要であるため、データに完全に取り組むことができなければならないのです。 新しい効率的なアプローチ AWS と NOAA ビッグデータプロジェクトのコラボレーションによって、GHCN_D データセットの毎日のスナップショットが AWS で利用可能になりました。このデータは、Amazon S3 バケットを介して一般にアクセス可能です。詳細については、AWS の Registry of […]

Read More

M5、M5d、R5、R5d、および z1d の 5 つの新しい Amazon EC2 ベアメタルインスタンスがご利用いたけるようになりました

本日、AWS は数ヵ月前にお約束した 5 つの新しい EC2 ベアメタルインスタンスの提供を開始します。オペレーティングシステムは基盤となるハードウェア上で実行され、プロセッサおよびその他ハードウェアに直接アクセスできます。これらのインスタンスは、持続的な全コアターボのパフォーマンスを提供する、AWS 向けにカスタマイズされた Intel® Xeon® Scalable Processor (Skylake) プロセッサで駆動します。 仕様は以下のとおりです。 インスタンス名 持続的な全コアターボ 論理プロセッサ メモリ ローカルストレージ EBS最適化帯域幅 ネットワーク帯域幅 m5.metal 最大 3.1 GHz 96 384 GiB – 14 Gbps 25 Gbps m5d.metal 最大 3.1 GHz 96 384 GiB 4 x 900 GB NVMe SSD 14 Gbps 25 Gbps r5.metal 最大 3.1 GHz 96 […]

Read More

【開催報告】第2回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 (AWS) ソリューションアーキテクトの針原佳貴です。 AWS では、Amazon SageMaker のハンズオンとお客様の登壇による事例紹介を合わせたイベント「Amazon SageMaker 事例祭り」を毎月開催しています。2018年2月12日に目黒オフィスで第2回 Amzon SageMaker 事例祭りが開催され150名ほどの方にご参加頂いたので、以下でその概要についてお伝えします。今回の Amazon SageMaker 事例祭りは Chainer x AWS というテーマで、セミナーと事例発表の二部構成で開催されました。   セミナー 「Chainer v5 とこれから ~学習と推論の最新機能~」Preferred Networks株式会社 リサーチャー 得居誠也 様 [slides] Chainer は Python で実装された Define by Run の深層学習フレームワークで、NumPy のような既存の Python ライブラリをそのまま使い、直感的な API によるモデルの記述ができます。本発表ではまずこれらの設計思想と API の解説を改めて Chainer のリード開発者である Preferred Networks株式会社 得居様からお話し頂きました。また、大規模データに対するトレーニングの際に求められる Serializers によるパラメータのファイル出力や、ONNX-Chainer, […]

Read More