データ管理とデータ転送

クラウドでの HPC アプリケーション実行は、必要なデータをクラウドに移動することから始まります。AWS Snowball および AWS Snowmobile は、AWS クラウド内外で大規模なデータを安全に転送できるよう設計されたデバイスを使用するデータ転送ソリューションです。Snowball を使用すると、高いネットワークコスト、長時間かかる転送、セキュリティ面の懸念といった、大規模なデータ転送に関する一般的な課題を解決できます。AWS DataSync は、オンプレミスストレージと、Amazon S3 または Amazon Elastic File System (Amazon EFS) の間での自動データ転送を簡単にするデータ転送サービスです。DataSync は、独自のインスタンスの実行、暗号化の処理、スクリプトの管理、ネットワークの最適化、データ整合性の検証など、移行を遅らせたり、IT 運用に負担をかけたりするデータ転送に関連する多くのタスクを自動的に処理します。AWS Direct Connect は、専用のネットワークを使った、お客様のプレミスから AWS への接続を簡単にするクラウドサービスソリューションです。AWS Direct Connect を使用すれば、AWS とデータセンター、オフィス、またはコロケーション環境などの間でプライベート接続を確立することができます。これは多くの場合、ネットワークのコスト削減、帯域幅のスループットを向上させます。また、インターネットベースの接続に比べると、より均質なネットワーク接続を提供します。

コンピューティングとネットワーキング

コンピューティング: AWS HPC ソリューションでは、最新の Intel® Xeon® プロセッサでの CPU インスタンス、GPU ベースのインスタンス、フィールドプログラマブルゲートアレイ (FPGA) でのインスタンスなど、ニーズに合わせて設定できるさまざまなタイプから、コンピューティングインスタンスを選択できます。 インテルの最新プロセッサーによる Amazon EC2 インスタンスには、C5n、C5d、および Z1d のインスタンスが含まれます。C5n インスタンスには、持続的な全コアターボ CPU クロック速度が最大 3.5 GHz のインテル Xeon Platinum 8000 シリーズ (Skylake-SP) プロセッサが搭載されています。C5n インスタンスでは、最大 100 Gbps のネットワーク帯域幅と最大 14 Gbps の Amazon EBS 専用帯域幅を利用できます。加えてC5n インスタンスでは、C5 インスタンスと比べて 33% 高いメモリフットプリントも実現しています。高速で超低レイテンシーなローカルストレージへのアクセスを必要とするワークロード向けとしては、AWS はローカル NVMe ベースの SSD を備えた C5d インスタンスを提供しています。Amazon EC2 z1d インスタンスでは、優れたコンピューティング性能と大きなメモリフットプリントの両方を提供します。高周波 z1d インスタンスでは、どのクラウドインスタンスよりも高速な最大 4.0 GHz の持続的な全コア周波数を提供します。 GPU アクセラレーションの利点を活用できる HPC コード向けとして Amazon EC2 P3dn インスタンスには、100 Gbps (以前の P3 インスタンスの最大 4 倍) のネットワーク帯域幅、ローカル NVMe ストレージ、32 GB の GPU メモリを持つ最新 NVIDIA V100 Tensor Core GPU、GPU 間通信を高速化する NVIDIA NVLink、持続的なオールコア Turbo により 3.1 GHz の動作速度を持つ AWS カスタムの Intel®Xeon®Scalable (Skylake) プロセッサを備えます。 AWS Auto Scaling は、アプリケーションをモニタリングしながら、可能な限り低コストで安定かつ予測可能なパフォーマンスを維持できるよう、処理容量を自動で調整します。AWS Auto Scaling を使用すると、複数のサービスにまたがる複数のリソースのためのアプリケーションスケーリングを数分で簡単に設定できます。

ネットワーキング: Amazon EC2 インスタンスでは、拡張ネットワーキングをサポートしています。これは、従来の仮想化メソッドと比較しても、より広い帯域幅とより少ないインスタンス間レイテンシーを EC2 インスタンスにおいて実現します。Elastic Fabric Adapter (EFA) は、AWS 上での大規模なノード間通信を高いレベルで必要とするような HPC アプリケーションの実行を可能にする、Amazon EC2 インスタンスのためのネットワークインターフェイスです。カスタムビルドのオペレーティングシステム (OS) バイパスハードウェアインターフェイスでは、HPC アプリケーションのスケーリングに不可欠な、インスタンス間通信のパフォーマンスを向上させます。また AWS では、低レイテンシーなネットワーキングを必要とする密結合の HPC アプリケーションのための、プレイスメントグループも提供しています。 Amazon Virtual Private Cloud (VPC) は、コンピューティングインスタンスとストレージコンポーネント間の IP 接続を提供します。

ストレージ

HPC ソリューションを検討する場合、ストレージオプションとストレージコストは重要な要素です。AWS では、ストレージからの一時的および永続的な要求事項に対応するため、柔軟なオブジェクト、ブロック、ファイルストレージを提供します。Amazon Elastic Block Store (Amazon EBS) では、Amazon EC2 で使用するための永続的なブロックストレージボリュームを提供します。プロビジョンド IOPS では、必要なサイズのストレージボリュームを割り当て、それら仮想ボリュームを EC2 インスタンスにアタッチすることができます。Amazon Simple Storage Service (S3) は、インターネットを介してあらゆる種類のデータを保存およびアクセスするように設計されており、HPC の入出力データを長期にわたって保存するために使用できます。今後、データ移行プロジェクトを実行する必要はなくなります。Amazon FSx for Lustre は、要求の厳しい HPC ワークロード向けに設計された高性能ファイルストレージサービスで、AWS クラウド内の Amazon EC2 で使用できます。Amazon FSx for Lustre は Amazon S3 とネイティブに連携し、高性能ファイルシステムを使用するクラウドデータセットの処理を簡単にします。S3 バケットとリンクさせると、FSx for Lustre ファイルシステムは S3 オブジェクトをファイルとして透過的に表示します。これにより結果を S3 に書き込むことができます。また、FSx for Lustre はスタンドアロンなハイパフォーマンスファイルシステムとしても使用でき、ワークロードをオンプレミスからクラウドにバーストすることができます。オンプレミスデータを FSx for Lustre ファイルシステムにコピーすることで、そのデータを AWS で実行しているコンピューティングインスタンスで高速処理することも可能です。Amazon Elastic File System (Amazon EFS) では、AWS クラウドの Amazon EC2 インスタンスが使用する、シンプルでスケーラブルなファイルストレージを提供します。

オートメーションとオーケストレーション

基盤となる HPC インフラストラクチャを効率的に使用するには、ジョブの送信プロセスを自動化し、既定のポリシーと優先順位に従いそのジョブのスケジューリングを行うことが不可欠です。 AWS Batch では、ジョブ要件に基づいて適切な種類と量のコンピューティングリソースを動的にプロビジョニングすることで、数百から数千のバッチコンピューティングジョブを実行させられます。AWS ParallelCluster は全面的なサポートとメンテナンスが提供されているオープンソースのクラスター管理ツールです。このツールでは、科学者、研究者、IT 管理者が行う、AWS クラウド内のハイパフォーマンスコンピューティング (HPC) クラスターのデプロイや管理を簡単にします。NICE EnginFrame は、標準ブラウザを使用する HPC 対応インフラストラクチャへの、効率的なアクセス提供のため設計されたウェブポータルです。EnginFrame では、HPC ジョブ送信、ジョブ制御、およびジョブ監視などの使いやすい環境を提供しています。

オペレーションと管理

インフラストラクチャのモニタリングおよび予算超過回避の 2 機能は、HPC システム管理者が組織の HPC ニーズを効率的に管理するためには最も重要と言えます。 Amazon CloudWatch は、開発者、システムオペレーター、サイトリライアビリティエンジニア (SRE)、IT マネージャーのために作られたモニタリングおよび管理サービスです。CloudWatch では、データと実用的なインサイトを利用して、アプリケーションのモニタリング、システム全体のパフォーマンスの変化に関する理解と対応、リソース使用率の最適化、および運用状態の統合的な確認を行うことができます。AWS 予算には、カスタム予算を設定して、コストまたは使用量が予算額や予算枠を超えたとき (あるいは、超えると予測されたとき) にアラートを発信できる機能が用意されています。

可視化ツール

HPC スタックにとっては、クラウドとの間で大量のデータをやり取りすることなく、エンジニアリングシミュレーションの結果を可視化できるということは重要な要素です。リモートビジュアライゼーションでは、エンジニアリング設計の所要時間を大幅に短縮するのに役立ちます。NICE Desktop Cloud Visualization を使用すると、標準ネットワークを介して 2D/3D インタラクティブアプリケーションにリモートアクセスできるようになります。また、もう 1 つの完全マネージド型アプリケーションストリーミングサービスである Amazon AppStream 2.0 でも、任意のコンピュータまたはワークステーション上のブラウザに、アプリケーションセッションを安全に配信できます。

セキュリティとコンプライアンス

セキュリティ管理と法令遵守も、クラウドで HPC を実行する上での重要な要素となりす。AWS では複数のセキュリティ関連サービスとテンプレートによる素早い起動などを提供し、HPC クラスターの作成や、データの保護と法令順守のためのベストプラクティスを実装するプロセスを簡素化しています。 AWS インフラストラクチャでは、お客様のプライバシーを保護するための、強力な安全対策が用意されています。すべてのデータは安全性が非常に高い AWS データセンターに保存されます。  AWS Identity and Access Management (IAM) では、特定のデータソースにアクセスする権限を持つユーザー、役割、およびグループを管理するための堅牢なソリューションを提供します。組織は、ユーザーとシステムに個々の ID と認証情報を発行するか、Amazon Security Token Service (Amazon STS) を使用して一時的なアクセス認証情報を発行することができます。 AWS では、インフラストラクチャ内で数多くのコンプライアンスプログラムを管理できます。つまり、コンプライアンスの一部は最初から達成されています。AWS インフラストラクチャは、HIPAA、FISMA、FedRAMP、PCI、ISO 27001、SOC 1 といった関連する多数の業界規制に準拠しています。

Product-Page_Standard-Icons_01_Product-Features_SqInk
HPC 向け AWS サービスの詳細

AWS で HPC ソリューションの構築に使用できるすべての AWS サービスの詳細

詳細 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
Product-Page_Standard-Icons_03_Start-Building_SqInk
AWS での HPC の開始方法

AWS で最初の HPC クラスターを構築する

サインイン