Category: Amazon EC2*


Amazon EC2アップデート – スポットキャパシティー、スムーズな価格変更、インスタンスハイバネーションへの合理化されたアクセス

EC2スポットインスタンスは、AWSクラウドの余剰コンピューティングキャパシティへのアクセスを提供します。 我々のお客様は、オンデマンドインスタンスと比較して大幅な節約をもたらす価格で、CI/CD環境とトラフィックジェネレータ、Webサーバとマイクロサービスのホスト、動画のレンダリング、さまざまなタイプの解析ジョブを実行するためにスポットインスタンスを使用しています 。

新しい合理化されたアクセス

11/28、我々はスポットインスタンスのための新しい、合理化されたアクセスモデルを導入します。 スポットインスタンスを起動したい時、RunInstances関数やrun-instancesコマンド、またはAWSマネージメントコンソールを使用して希望内容をシンプルにサブミットするだけで、条件が満たされている限りそのリクエストを実行することができます。 余分な労力を費やすことなく、インスタンスタイプのオンデマンド価格を最大90%削減できるため、同じ予算でアプリケーションスループットを最大10倍向上できます。 この方法で起動するインスタンスは、終了するまで、またはEC2がオンデマンドリクエストのためにEC2スポットインスタンスをターミネートする必要がある場合まで実行されます。 その時点で、スポットインスタンスには通常2分前の警告が与えられる為、その後再生できるフォールトトレラントなアプリケーションに最適です。

スポットマーケット、入札、およびスタンドアロンの非同期APIへの呼び出しを理解する必要があった旧モデルとは異なり、新しいモデルは同期的でオンデマンドとして使いやすいものです。 あなたのコードまたはスクリプトは即座にインスタンスIDを受け取り、リクエストが処理され受け入れられたかどうかを確認する必要はありません。

私たちは可能な限りクリーンでシンプルにしました。現在の多くのスクリプトやアプリケーションを修正して、スポットリクエストで使用することが容易になると予想しています。 スポットインスタンスの予算をさらに管理したい場合は、スポットリクエスト時に最大価格を指定するオプションがあります。 スポットを使用してAmazon EMRAmazon ECSAWS Batchクラスタにパワーを注いでいる場合、またはAWS CloudFormationテンプレートまたはAuto Scaling Groupを使用してスポットインスタンスを起動した場合、変更を加えることなくこの新しいモデルのメリットが得られます 。

RequestSpotInstancesまたは RequestSpotFleetの周辺に構築されたアプリケーションは、変更なしでうまく動作できます。 しかしながらSpotPriceパラメータを含まない要求を行うことができます。

スムーズな価格変更
11/28発表の一環として、スポット価格の変化の仕様を変えて、需給の長期的なトレンドに基づいて価格がより緩やかに調整されるモデルに移行しています。 先ほどお話したように、On-Demand価格の平均70-90%を引き続き保持し、インスタンスの稼働中の期間に有効なスポット価格を引き続き支払えます。 スポットフリート機能をベースに構築されたアプリケーションは、フリートの作成時に指定した設定に基づいて、最も費用対効果の高いプールにスポットインスタンスの配置を自動的に多様化します。

スポット イン アクション
コマンドラインからスポットインスタンスを起動する際、 単にスポット市場を指定してください:

$ aws ec2 run-instances --instance-market-options '{"MarketType":"Spot"}' \
    --image-id ami-1a2b3c4d --count 1 --instance-type c3.large

インスタンスハイバネーション
メモリに多くの状態を保持するワークロードを実行する場合、この新しい機能が好ましいです!

インスタンスが再利用されたときにメモリ内の状態を保存するように手配し、ラップトップを閉じてから開くときと同じように、キャパシティが再び利用可能になったときに中断した場所とインスタンス上のアプリケーションを選択できます。 この機能は、Amazon Linux、Ubuntu、またはWindows Serverを実行しているC3、C4、および特定のサイズのR3、R4、およびM4インスタンスで動作し、EC2ハイバネーションエージェントでサポートされています。

メモリ内の状態は、インスタンスの起動時に設定された領域を使用してインスタンスのルートEBSボリュームに書き込まれます。 プライベートIPアドレスとElastic IPアドレスは、停止/開始サイクル全体にわたって保存されます。

Jeff;

翻訳担当 : SA小川

原文 : Amazon EC2 Update – Streamlined Access to Spot Capacity, Smooth Price Changes, Instance Hibernation

M5 – 次世代の汎用EC2インスタンス

私はいつも新規のEC2ユーザの方には、他のインスタンスタイプを見る前に、まずは汎用インスタンスから使い始め、負荷テストをしてみて、自分のアプリケーションのコンピュート・メモリ・ネットワーキングの利用具合をよく把握することをアドバイスしています。コンピュート、メモリ、ストレージ等に最適化した幅広いインスタンスの選択肢によって、我々のお客様は要件にフィットする最適なインスタンスタイプを選ぶ柔軟さを得ることができます。

私のEC2インスタンスの歴史の記事にあるように、汎用 (M) インスタンスは我々がm1.smallをローンチした2006年まで遡ります。我々はこの家系図の枝にそって進化を続け、M2 (2009年)、M3 (2012年)、そしてM4 (2015年) インスタンスをローンチしてきました。我々のお客様は、汎用インスタンスを使って、WEB & APPサーバを動かしたり、エンタープライズアプリケーションをホストしたり、オンラインゲームを支援したり、キャッシュのクラスタを構築しています。

新しいM5インスタンス

2017年11月29日、我々は新しいM5インスタンスをローンチすることで、次のステップに進みます。我々の継続的なイノベーションへのコミットによる成果を持ち、旧世代よりも良い費用対パフォーマンスまでも得られるインスタンスです。カスタムの2.5 GHz Intel® Xeon® Platinum 8175Mシリーズのプロセッサをベースに、M5インスタンスは過酷なワークロードのために設計されておりM4インスタンスよりもコア単価で14%の費用対パフォーマンスの向上が得られます。AVX-512命令を使っているアプリケーションでは、コア毎にさらに2倍のFLOPSを生み出します。我々はさらに新しいハイエンドなサイズを追加することで、更に多くの選択肢を提供しています。

こちらがM5インスタンス達です(全てVPCのみ、HVMのみで、EBS最適化です):

インスタンス名 vCPUs
RAM
ネットワーク帯域 EBS最適化帯域
m5.large 2 8 GiB 最大 10 Gbps 最大 2120 Mbps
m5.xlarge 4 16 GiB 最大 10 Gbps 最大 2120 Mbps
m5.2xlarge 8 32 GiB 最大 10 Gbps 最大 2120 Mbps
m5.4xlarge 16 64 GiB 最大 10 Gbps 2120 Mbps
m5.12xlarge 48 192 GiB 10 Gbps 5000 Mbps
m5.24xlarge 96 384 GiB 25 Gbps 10000 Mbps

一番下に並んでいる、m5.24xlargeはvCPUの数でいってXインスタンスの次にならぶサイズであり、さらなるスケールアップやワークロードの統合の余地を与えてくれます。これらは拡張ネットワークをサポートし、Placement Group内では最大25 Gpbsまで出すことができます。

専有のEBS最適化の帯域に加え、EBSストレージへのアクセスはNVMeを使うことで改良されています(古いAMIを利用している場合、適切なドライバをインストールする必要があります)。広い帯域とNVMeの組み合わせによりM5インスタンスが使うことができるデータの量を増加させることができます。

今すぐ起動してみましょう

今からUS East (バージニア北部)、US West (オレゴン)、そしてEU (アイルランド)リージョンで、オンデマンドとスポットの形式で起動することができます(リザーブドインスタンスも利用可能です)。そして追加のリージョンも作業中です。

1つ注意点です: 現在のNVMeドライバは高パフォーマンスのシーケンシャルワークロードには最適化されていないので、sc1st1のボリュームをM5インスタンスで使うことはお勧めしていません。この問題は把握済で、この重要なユースケースのためにドライバを最適化する作業を行っているところです。

Jeff;

原文: M5 – The Next Generation of General-Purpose EC2 Instances (翻訳: SA岩永)

H1インスタンス – ビッグデータアプリケーションのための高速・高密度なストレージ

AWSの規模と顧客基盤の多様性により、様々なタイプのワークロードに特化したEC2インスタンスタイプを作成する機会を得られました。例えば、多くの一般的な新ビッグデータの利用ケースは、数テラバイトのデータへの高速でシーケンシャルなアクセスに依存しています。お客様は巨大なMapReduceクラスタを構築して動かし、分散ファイルシステムをホストし、Apache Kafkaを利用して大量のログを処理したいと考えています。


新しいH1インスタンス

新しいH1インスタンスは、この利用ケースに特化して設計されています。既存のD2(高密度ストレージ)インスタンスに比べ、H1インスタンスはローカル磁気ストレージ1テラバイトあたり、より多くのvCPUとメモリを搭載し、ネットワーク帯域幅を拡張しています。リソースのバランスのとれた組み合わせによって、より複雑な課題に対処する能力を提供します。

H1インスタンスは Intel Xeon E5-2686 v4プロセッサ(2.3GHz)で動作し、以下の4つのインスタンスサイズを用意しました(全てVPCのみ、HVMのみ)

インスタンス名 vCPUs
RAM
ローカルストレージ ネットワーク帯域幅
h1.2xlarge 8 32 GiB 2TB 最大 10 Gbps
h1.4xlarge 16 64 GiB 4TB 最大 10 Gbps
h1.8xlarge 32 128 GiB 8TB 10Gbps
h1.16xlarge 64 256 GiB 16TB 25Gps

大きい2つのサイズでは、全コアのTurboで2.7GHz、シングルコアのTurboで3.0GHzのIntel TurboとCPUパワーマネージメントをサポートします。

ローカルストレージはシーケンシャルI/Oで高いスループットを出せるよう最適化されており、2MBのブロックサイズで最大1.15GB/s の転送が期待できます。ストレージは256ビットのXTS-AESとワンタイムキーにより暗号化されます。2つの最大サイズのインスタンスはIntel TurboおよびCPUパワーマネージメントをサポートし、all-core Turboは2.7GHz、single-core Turboは3.0GHzで動作します。

インスタンス間での大容量データの送受信は、拡張ネットワークを使うことで容易に行うことができ、プレースメントグループ内で最大25Gbpsのネットワーク帯域幅が得られます。

今すぐ起動してみましょう

H1インスタンスは米国東部(バージニア北部)、米国西部(オレゴン)、米国東部(オハイオ)、欧州(アイルランド)の各リージョンで本日(日本時間2017年11月30日)からオンデマンド型及びスポットでの利用が可能です。その他のリージョンでも準備中です。専用ホスト型、専用インスタンス、リザーブドインスタンス(1年および3年)も同じく利用可能です。

— Jeff;

原文: H1 Instances – Fast, Dense Storage for Big Data Applications (翻訳: SA有岡)

Amazon EC2用スプレッドプレイスメントグループ提供のお知らせ

スプレッドプレイスメントグループは、クラスタやインスタンスのグループが障害になる可能性を低減する手助けを行います。Amazon EC2は、多くのHPCアプリケーションに典型的な、密なノード間コミュニケーションのために低レイテンシーなネットワークパフォーマンスが必要なアプリケーション向けに、クラスタプレイスメントグループを持っていました。今回リリースされた、スプレッドプレイスメントグループを利用することにより、メンバーのインスタンスが別個のハードウェアに配置され、アプリケーションに対してハードウェア障害による影響を低減することが可能になりました。スプレッドプレイスメントグループは全てのAWSリージョンでご利用可能です。スプレッドプレイスメントグループは、AWS Management Console, AWS Command Line Interface (CLI), AWS SDKからご利用可能です。

 

翻訳はSA布目が担当しました。原文はこちら

新しいT2 Unlimited – バーストを超え、高い性能を発揮

T2インスタンスについての最初の投稿は2014年の夏でした。そこでは、多くのワークロードは継続的なCPUパワーに対する需要は控えめであり、かなり多くのCPUパワーを必要とするのは時々であるとお話しました。このモデルはお客様と共鳴しました。T2インスタンスは非常に普及しており、マイクロサービス、低レイテンシーの対話型アプリケーション、仮想デスクトップ、ビルド&ステージング環境、プロトタイプなどをホストするために利用されています。

 

新しいT2 Unlmitedインスタンス
本日(日本時間2017年11月30日)、AmazonはT2インスタンスで開拓したバーストモデルを拡張し、コストを可能な限り低く抑えながら、任意の時間枠で高いCPUパフォーマンスを維持する能力を提供します。インスタンスを起動する際に、この機能を有効にするだけです。すでに実行中のインスタンスに対しても、有効にすることができます。時間あたりのT2インスタンスの価格は、平均CPU使用率が24時間のウィンドウにおけるベースラインよりも低い場合には、すべての瞬間的なスパイクをカバーします。長期間に渡って高いCPU使用率でインスタンスが稼働する場合には、少額の時間課金が発生します。例えば、t2.microインスタンスを平均CPU使用率15%(ベースラインに比べ5%高い)で24時間動かすと、追加で6セントが課金されます(vCPU時間あたり5セント * 1 vCPU * 5% * 24時間)。

(more…)

Amazon Time Sync Service で時間を維持する

本日 Amazon Time Sync Service をリリースします。NTPで配信される時刻同期サービスで、各リージョンで冗長化している衛星接続の原子時計を使って高精度な時刻参照を提供します。このサービスは追加料金なくすぐに全リージョンのVPCの稼働中の全インスタンスで利用できます。

このサービスには 169.254.169.123 のリンクローカル IP アドレスを介してアクセスできます。つまり外部のインターネットアクセスする必要なく、プライベートサブネット内から安全にアクセスできます。

(more…)

ハードウェアにダイレクトアクセスを提供するAmazon EC2 Bare Metal (ベアメタル)インスタンス

お客様からAWSへの優れたリクエストをいただく際、私達は詳細に要望をお聞きし、多くの質問をし、理解をしてニーズに応えられるようベストを尽くしています。これらの活動の結果として私達はサービスや新機能をリリースしています。 一方で私達は決して特定のお客様専用の一度きりの仕組みを作りこんだりはしません。その方法は混乱を生み、スケールさせる事を困難にしますし、私達のやり方ではありません。

そうではなく、全てのAWSのお客様は私達が作ったもの全てにアクセスでき、全員が利益を得ることが出来ます。VMware Cloud on AWSがこの戦略での良い実例でしょう。VMware社は私達に、VMwareの仮想化スタックをAWSクラウドのハードウェア上で直接稼働させたい、それによってお客様がAWSがオファーする拡張性、セキュリティ、信頼性を手に入れることが出来るとリクエストしました。

私達は仮想化層をネストする事によるパフォーマンス低下を望んでいない他のお客様からもベアメタルハードウェアに興味があると聞いていました。お客様は物理リソースにアクセスし、パフォーマンスカウンターIntel® VTといった、仮想化環境では通常サポートされないローレベルのハードウェア機能を利用したいと考えていました。また、非仮想化環境でしか稼働できないライセンスのソフトウェアを稼働させるために必要としている方もいました。

ネットワーク、ストレージ、その他EC2関連機能を仮想化プラットフォームの外に出して、専用ハードウェアに移動させる努力を数年間に渡って続けてきており、より良い環境を提供できるための下地が出来ています。この活動は以前のこのブログ(今すぐご利用可能 – Amazon EC2 コンピューティング最適化インスタンス C5)で紹介しており、ハードウエアアクセラレーターでの性能向上を提供できています。

そして現在ではVMware社からのリクエストにあったように、ベアメタルのハードウェアをVMwareハイパーバイザーとともに用意し、これまで通り全てのAWSのお客様に提供しています。では次は何が出来るようになるのか、ぜひ見てみましょう!

(more…)

Amazon EC2 Systems Manager による Microsoft VSS を使用したスナップショットサポート

私たちはここでWindows AMIを稼働させるAmazon EC2におけるMicrosoftボリュームシャドウコピー(VSS)のサポートをアナウンスできることを嬉しく思います。VSSはMicrosoft Windows(主要なSQL ServerやExchange Serverなどのマイクロソフトアプリケーションを含む互換性のある)環境における非常に一般的なボリュームバックアップ技術です。VSSはファイルの書き込みなどのディスク処理をバックアップ処理実行中も適切に管理するため、アプリケーション一貫性を持ったバックアップが可能となります。 アプリケーション一貫性バックアップは、マシンまたはインスタンスに接続されたボリュームのバックアップと同時に実行され、メモリ内のすべてのデータと処理中のすべてのトランザクションをキャプチャします。

VSSが有効なAmazon EBSボリュームのスナップショット(以降、”VSS有効化スナップショット”と表記) は、Amazon EC2 Systems ManagerのRun Commandから使用可能です。AWSEC2-CreateVssSnapshot コマンドによってWindowsインスタンスのEC2にアタッチされたEBSボリュームを、バックアップ処理の間トランザクションデータの一貫性を失うことなく、アプリケーション一貫性を持ったスナップショットを取得可能です。この機能によってSQL Backupや、カスタムスクリプトなどによって提供されたアプリケーション固有のバックアップソリューションは不要となります。さらに、イメージレベルバックアップにおけるアプリケーション一貫性を維持するためのサードパーティ製ツールも不要になります。

AWSEC2-CreateVssSnapshotの使用方法

VSS有効化スナップショットは、Windowsが稼働するEC2インスタンスに対してAWSEC2-CreateVssSnapshotコマンドをEC2 Systems Manager Run Commandから呼び出すことで実行します。AWS管理コンソールやAWS CLIから実行したり、PowerShellスクリプトやLambda関数から呼び出すことも可能です。本ブログではEC2コンソールからコマンドで実行する例を示します。

AWSEC2-CreateVssSnapshot Run Command

EC2管理コンソールで、AWSEC2-CreateVssSnapshotコマンドのドキュメントを選択し、VSS有効化スナップショットを取得したいEBSボリュームを持つインスタンスを選択します。 インスタンスを選択した後、スナップショットに追加したい説明やタグを設定します。ブートボリュームをスナップショット処理から除外することも可能です。

Calling AWSEC2-CreataeVssSnapshot Run Command

起動されるとRun CommandはVSSコンポーネント(詳細については後述)に対して、EC2 Windowsインスタンス上のVSS対応アプリケーションのすべての処理中のI/Oをコーディネーションするよう指示します。これによってI/OバッファはEBSボリュームに対してフラッシュされ、すべてのI/Oはスナップショット取得が完了するまでフリーズされます。この結果アプリケーション一貫性が維持されます。スナップショットが取得された後、I/Oフリーズが解除され通常処理に復帰します。

Run Commandやスクリプトから取得したスナップショットは、EC2コンソール左側のEBSスナップショットメニューで確認できます。 このプロセスで正常に取得された全てのVSS有効化スナップショットには “AppConsistent:True”というタグが付与されます。本機能についてのより詳細についてはこちらAWSEC2-CreateVssSnapshot のドキュメントを参照してください。

VSS有効化スナップショットを取得するためのEC2インスタンスの準備

  • インスタンスへのスナップショット許可 : IAMコンソールを開き、”Amazon EC2″サービスに対する以下の権限を許可する新しいポリシーを作成します。
    1. DescribeInstances
    2. CreateTags
    3. CreateSnapshot

またIAMコンソールからAmazon EC2ロールAmazonEC2RoleForSSMに対して上記で作成したポリシーを適用します。さらにこのロールを直接EC2 Windowsインスタンスにアタッチします。

IAM permissions to take VSS-enabled EBS snapshots

  • VSSコンポーネントのインストール : 2017年11月以降のMicrosoft Windows Server AMIイメージにはVSSコンポーネントはプリインストールされています。もし使用しているWindowsインスタンスのパッケージが最新でない場合は、VSSコンポーネント(AwsVssComponents)をAWS-ConfigureAWSPakageコマンドをSystems ManagerのRun Commandから呼び出してインストールする必要があります。

AWS-ConfigureAwsPackage to install VSS components

より詳しいVSS有効化スナップショット取得のためのEC2インスタンスのセットアップについてはこちらAmazon EC2 ドキュメントを参照ください。

Installing VSS components on EC2 instances

AWSEC2-CreateVssSnapshot使用する際には、対象のEC2インスタンスに対してEBSスナップショット作成およびタグ書き込み許可のIAM許可が必要となります。コンプライアンスやポリシーの理由から追加のIAM許諾をインスタンスに付与したくない場合には、カスタム可能なサンプルのスクリプトを活用可能です。このスクリプトの詳細についてはこちらAWSEC2-ManageVssIOに関するドキュメントを参照して下さい。

VSS有効化スナップショットのリストアプロセスは通常のEBSスナップショットと同様です。こちらのリストアのサンプルスクリプトも使用できます。このリストア用スクリプトで、指定されたEBSスナップショットからEC2 Windowsインスタンスにリストアすることが可能です。

About the Author

Purvi Goyal is a Senior Product Manager with the Amazon EC2 team, where she strives to enhance the cloud experience of AWS Enterprise customers. Outside of work, she enjoys outdoor activities like hiking and kayaking.

 

(翻訳:SA松崎, 元の記事はこちらです)

今すぐご利用可能 – Amazon EC2 コンピューティング最適化インスタンス C5

新しくコンピューティングに最適化されたC5インスタンスが、3つのAWSリージョン、6つのインスタンスサイズでリリースされ、今日から利用可能であることを発表することに興奮しています!

これらのインスタンスは、バッチ処理、分散解析処理、高性能コンピューティング(HPC)、広告配信、スケーラブルなマルチプレーヤゲーミング、ビデオエンコーディングなどのコンピューティング重視のアプリケーション用に設計されています。 新しいインスタンスは、C4インスタンスに対して25%の価格/パフォーマンスの向上をもたらし、一部のワークロードでは50%を上回ります。 また、vCPUあたりの追加メモリ(新しいAVX-512命令を使用できるコードにおいて)は、2倍のベクターおよび浮動小数点演算のパフォーマンスを備えています。

AWSによって設計、構築された専用ハードウェアにさまざまな種類の作業をオフロードすることに長期的に視点を置き、最高のネットワーク、ストレージ、およびコンピューティングパフォーマンスを顧客に提供するために、私たちは長年にわたりノンストップで取り組んできました。 C5インスタンスタイプには、最新世代のハードウェアオフロードが組み込まれており、ハードウェアに手を加えて新しいハイパーバイザーを追加することで、さらに大きな前進を遂げています。新しいハイパーバイザーを使用すると、ホストハードウェアが提供するすべての処理能力にアクセスすることができます。同時に、パフォーマンスをより一貫して強化し、さらにセキュリティを強化します。 私たちはAWS re:Inventで、それに関する多くの技術的な詳細を共有します。

新しいインスタンス
C5インスタンスは6つのサイズが利用可能です:

Instance Name vCPUs
RAM
EBS Bandwidth Network Bandwidth
c5.large 2 4 GiB Up to 2.25 Gbps Up to 10 Gbps
c5.xlarge 4 8 GiB Up to 2.25 Gbps Up to 10 Gbps
c5.2xlarge 8 16 GiB Up to 2.25 Gbps Up to 10 Gbps
c5.4xlarge 16 32 GiB 2.25 Gbps Up to 10 Gbps
c5.9xlarge 36 72 GiB 4.5 Gbps 10 Gbps
c5.18xlarge 72 144 GiB 9 Gbps 25 Gbps

各vCPUは、3.0 GHz Intel Xeon Platinum 8000シリーズプロセッサのハードウェアハイパースレッドコアです。 EC2用に最適化されたこのカスタムプロセッサは、2つの最大サイズのC-stateを完全に制御できるため、Intel Turbo Boost Technologyを使用して単一コアで最大3.5GHzで動作できます。

この表からわかるように、4つの最小インスタンスサイズは、前世代のコンピューティング最適化インスタンスよりも大幅に拡張されたEBSならびにネットワーク帯域幅を提供します。

すべてのネットワーキングおよびストレージ機能はハードウェアで実装されているため、C5インスタンスにはElastic Network Adapter(ENA) およびNVMe用のドライバを含むHVM AMIが必要です。 最新のAmazon Linux、Microsoft Windows、Ubuntu、RHEL、CentOS、SLES、Debian、およびFreeBSD AMIはすべてC5インスタンスをサポートしています。 もし機械学習の推論処理やその他のコンピューティングが重視される作業を行っている場合は、最新のバージョンのIntel Math Kernel Libraryを確認してください。 インテル®Xeon®Platinumプロセッサー用に最適化されており、作業を大幅に高速化する可能性があります。

Xenハイパーバイザーを使用するインスタンスとの互換性を維持するために、EBSボリュームのデバイス名は、引き続き既存の/dev/sdおよび/dev/xvd のプレフィックスを使用します。 NVMeドライバが独自のデバイス名を割り当てるため、インスタンスにボリュームを接続するときに指定したデバイス名は使用されません(詳しくは、Amazon EBSおよびNVMeを参照してください)。

nvmeコマンドは、各ボリュームに関する追加情報を表示します (必要に応じてsudo yum -y install nvme-cliを使用してインストールします)。

出力のSNフィールドは、 “vol”プレフィックスの後に ” – “を挿入することでEBSボリュームIDにマッピングできます (悲しいことに、NVMe SNフィールドがID全体を格納するのに十分な長さではありません)。 この情報を使用して、接続されている各ボリュームのEBSスナップショットを作成する簡単なスクリプトを次に示します。

$ sudo nvme list | \
  awk '/dev/ {print(gensub("vol", "vol-", 1, $2))}' | \
  xargs -n 1 aws ec2 create-snapshot --volume-id

もう少し作業 (そして多くのテスト) をすれば、一杯になっているEBSボリュームを拡張するスクリプトを作成できます。

Getting to C5

先ほどお話したように、私たちはハードウェアアクセラレータに処理をオフロードする努力をかなり前から行なっています。 ここに要約します:

CC12010年ローンチ、CC1はスケールアウトHPCアプリケーションをサポートするように設計されています。 10 Gbpsネットワーキングをサポートする最初のEC2インスタンスと、HVM仮想化をサポートする最初のEC2インスタンスでした。 CC1用に設計したネットワークファブリック(独自のスイッチハードウェアに基づく)は、すべてのAWSデータセンターの標準となっています。

C32013年ローンチ、C3ではEnhanced Networkingが導入され、各仮想プライベートクラウド(VPC)内のソフトウェア定義ネットワークをサポートする専用のハードウェアアクセラレータが使用されています。 ハードウェア仮想化は、ゲストOSによる直接アクセスを優先してI / Oスタックをハイパーバイザから削除し、より高いパフォーマンスと変動性の低減をもたらします。

C42015年ローンチ、C4インスタンスはデフォルトで専用ネットワーク接続によってEBS最適化され、EBSの処理(暗号化されたEBSボリュームに対するCPUでの暗号化処理を含む)をハードウェアアクセラレータにオフロードします。

C5 – 本日ローンチ、C5インスタンスに動力を与えるハイパーバイザーは、ホストCPUのほとんどのリソースをお客様のインスタンスに費やすことを可能にします。 ENAネットワーキングとEBSへのNVMeインターフェイスはどちらもハードウェアアクセラレータによって駆動されます。 インスタンスは、効率を高めるために除去されたXen準仮想化ネットワーキングまたはブロックデバイスドライバを必要としません(またはサポートしません)。

今後はこのハイパーバイザーを使用して他のインスタンスタイプを強化します、そしてAWS re:Inventのセッションで追加の技術的な詳細を共有する予定です。

本日C5を発表

オンデマンドとスポット(リザーブドインスタンスも利用可能)で、米国東部(バージニア)、米国西部(オレゴン)、EU(アイルランド) リージョンでC5インスタンスを今すぐ起動できます。なお対象リージョンの追加作業を行なっています。

使用前の簡単な注意点:現在のNVMeドライバは高性能シーケンシャルワークロード用に最適化されておらず、sc1またはst1ボリュームと組み合わせてC5インスタンスを使用することはお勧めしません。 私たちはこの問題を認識しており、この重要な利用ケースのためにドライバを最適化するよう努めています。

Jeff;

(翻訳:SA小川、元の記事はこちらです)

新インスタンス- NVIDIA Tesla V100 GPUを最大8個搭載したAmazon EC2インスタンス P3

私たちは2006年に最初のm1.smallを発表した後も、お客様のご要望に応じて、そして常に進歩している最先端の技術を利用可能にするために、コンピュート能力、バースト可能な性能、メモリサイズ、ローカルストレージ、アクセラレータなどインスタンスを強化し続けています。

新しいP3インスタンス
本日、次世代のGPUを搭載したEC2インスタンスを4リージョンで公開しました。NVIDIA Tesla V100 GPUを最大8個搭載したP3インスタンスは、コンピュートインテンシブな機械学習、深層学習、流体計算、金融計算、地震解析、分子計算、ゲノム処理を想定して設計しました。

P3インスタンスは、最大2.7GHzで動作するIntel Xeon E5-2686v4プロセッサを搭載し、3種類のサイズを用意しています(VPCのみ、EBSのみ)

Model NVIDIA Tesla V100 GPUs GPU Memory NVIDIA NVLink vCPUs Main Memory Network Bandwidth EBS Bandwidth
p3.2xlarge 1 16 GiB n/a 8 61 GiB Up to 10 Gbps 1.5 Gbps
p3.8xlarge 4 64 GiB 200 GBps 32 244 GiB 10 Gbps 7 Gbps
p3.16xlarge 8 128 GiB 300 GBps 64 488 GiB 25 Gbps 14 Gbps

各GPUは 5,120CUDAコアと640Tensorコアを備え、最大125TLOPSの混合精度浮動小数点演算、15.7TFLOPSの単精度浮動小数点演算、7.8TFLOPSの倍精度浮動小数点演算を可能とします。大きい2つのサイズでは、GPUはNVIDIA NVLink 2.0で相互接続され、最大300Gbpsデータレートで接続されています。これによりGPU間での中間結果やその他のデータのやりとりを、CPUやPCI-Expressを経由せずに高速に行うことが可能です。

Tensorコアとは?
このブログを書き始めるまで、私はTensorコアを聞いたことがありませんでした。大変有益なNVIDIA ブログの記事によると、Tensorコアは大きなDeep Neural Networkの学習や推論を高速化するために設計されています。各コアは、半精度(FP16)の4×4行列同士の積演算と、4×4の別の半精度もしくは単精度(FP32)行列の和演算を行い、半精度もしくは単精度の4×4行列の演算結果を保存することができます。以下にNVIDIAのブログ記事から図を転載します:

この操作は、Deep Neural Networkの学習処理において最も内部のループ処理であり、現在のGPUハードウェアが特定の市場のニーズに対して特化してどのように動作しているかを示しています。そして、Tensorコアの混合精度の性能は、16bitと32bitの浮動小数点の組み合わせを柔軟に扱えることを意味しています。

性能

実際の性能数値を提示することは、より簡易に実際のアプリケーションと関連づけられ、有意義だと考えています。8個のV100 GPUを搭載したp3.16xlargeでは、驚くことに単精度浮動小数点の乗算を1秒に125兆回可能です。

マイクロプロセッサの歴史を振り返って、1977年の夏に私が買ったIntel 8080Aチップを搭載したMITS Altairを考えてみます。2MHzクロックで秒間832回の乗算が可能でした。(このデータを使い、より速いクロックスピードに訂正しました)。p3.16xlargeは約1500億倍も高速です。しかし、その夏から12億秒が経過しました。言い換えると、過去40年に私のAltairが行なった計算に比べ、100倍以上の計算を1秒に実行することが可能となっています!

IBM PC用の追加オプションとして1981年の夏に発表された、革新的な8087数値演算コプロセッサーはどうでしょうか? 5MHzクロックで目的に特化したハードウェアで、秒間52,632回の乗算が可能でした。発表から11.4億秒が経ちましたが、p3.16xlargeは23.7億倍も高速で、当時の小さく貧弱なPCではまだ計算途中の演算が、今日では1秒で可能です。

では、Cray-1はどうでしょう?1976年に発表された最初のスーパーコンピューターは、160MFLOPSのベクトル演算が可能でしたが、p3.16xlargeは781,000倍高速です。当時に比べ、1500回も興味深い問題を繰り返し計算することが可能です。

P3と現在のスケールアウト型スーパーコンピュータの比較は難しくなっています。 スーパーコンピュータのコンポーネントとしてP3を捉え、必要に応じて使うことが可能です。

今すぐ起動できます
V100 GPUとTensorコアの利点を全て享受するには、CUDA 9cuDNN 7が必要です。これらのドライバやライブラリは最新のWindows AMIに追加されており、Amazon Linux AMIにも11月7日に追加予定です。新しいパッケージはAWSのリポジトリで利用可能ですので、必要に応じてすでに利用中のAmazon Linux AMIにインストールできます。

最新のAWS Deep Learning AMIには、Apache MxNet、Caffe2、Tensorflow(それぞれがNVIDIA Tesla V100 GPUをサポート)の最新リリースがプリインストールされており、Microsoft Cognitive ToolkitやPyTorchなどの他の機械学習フレームワークがNVIDIA Tesla V100 GPUのサポートをリリースするとすぐに、P3インスタンスをサポートするように更新されます。また、NVIDIA Volta Deep Learning AMI for NGCを使用することもできます。

P3インスタンスは、米国東部(バージニア北部)、米国西部(オレゴン)、欧州(アイルランド)、アジアパシフィック(東京)のリージョンにて、オンデマンド、スポット、リザーブドインスタンス、Dedicated Hostとして利用可能です。

Jeff;

原文はこちらです。