データ管理とデータ転送

クラウドで HPC アプリケーションを実行することは、必要なデータをクラウドに移動することから始まります。AWS Snowball および AWS Snowmobile はセキュリティに考慮して設計されたデバイスを使用するペタバイト規模のデータ転送ソリューションで、AWS クラウド内外に大容量データを転送できます。Snowball を使用すると、高いネットワークコスト、長時間かかる転送、セキュリティ面の懸念といった、大規模なデータ転送に関する一般的な課題を解決できます。AWS DataSync は、オンプレミスストレージと Amazon S3 または Amazon Elastic File System (Amazon EFS) との間のデータの移動を自動化するデータ転送サービスです。DataSync は、独自のインスタンスの実行、暗号化の処理、スクリプトの管理、ネットワークの最適化、データ整合性の検証など、移行を遅らせたり、IT 運用に負担をかけたりするデータ転送に関連する多くのタスクを自動的に処理します。AWS Direct Connect はプレミスから AWS への専用ネットワーク接続の構築をシンプルにするクラウドサービスソリューションです。AWS Direct Connect を使用すると、AWS とデータセンター、オフィス、またはコロケーション環境間にプライベート接続を確立することができます。これにより、多くの場合、ネットワークのコスト削減、帯域幅のスループットが向上し、インターネットベースの接続よりも均質なネットワークエクスペリエンスを提供できます。

コンピューティングとネットワーキング

AWS HPC ソリューションでは、最新の Intel® Xeon® プロセッサ、第 2 世代 AMD EPYC プロセッサ、Arm ベースの AWS Graviton2 プロセッサ、NVIDIA GPU ベースのインスタンス、フィールドプログラマブルゲートアレイ (FPGA、Field Programmable Gate Array) 搭載インスタンスなど、ニーズに合わせて設定できるさまざまなコンピューティングインスタンスタイプから選択できます。

コンピューティングの負荷が高い: C5n インスタンスには、持続的な全コアターボ CPU クロック速度が最大 3.5 GHz のインテル Xeon Platinum 8000 シリーズ (Skylake-SP) プロセッサが搭載されています。C5n インスタンスでは、最大 100 Gbps のネットワーク帯域幅と最大 14 Gbps の Amazon EBS 専用帯域幅を利用できます。多くのお客様は、C5n インスタンスが HPC ワークロードのコア要件を満たしていることが分かることでしょう。これらのインスタンスは、計算流体力学 (CFD)、コンピュータ支援エンジニアリング (CAE)、材料科学から貯留層シミュレーションまで、多くの一般的な HPC ワークロードに対応するように設計されています。Message Passing Interface (MPI) ベースのワークロードなど、高レベルのインスタンス間通信を必要とするアプリケーションは、C5n がもたらす高速なインスタンス間ネットワーク帯域幅の恩恵を受けることができます。高いネットワーク速度を必要とせず、AMD プロセッサで実行できるコンピューティングの負荷が高いアプリケーションの場合、第 2 世代 EPYC プロセッサを備えた C5a が費用効果の高いソリューションです。

プロセッサアーキテクチャにとらわれない: Arm アーキテクチャ用のアプリケーションを構築できるお客様は、Arm ベースの AWS Graviton2 プロセッサが提供するコストパフォーマンスの恩恵を受けることができます。AWS Graviton2 ベースの C6g および C6gn インスタンスは、コンピューティングの負荷が高いワークロード向けに最適化されています。これには、数値天気予報モデルや火災力学シミュレーションなどの一般的なオープンソースソフトウェアやその他のオープンソースアプリケーションが含まれます。

コンピューティングの高速化: ニューラルネットワークのトレーニング、推論や CUDA ワークロードを実行している人は、最新の NVIDIA A100 GPU を備えた P4d インスタンスをご検討ください。P4d は、機械学習 (ML) トレーニングと、自然言語処理、オブジェクトの検出と分類、地震解析、分子動力学などの HPC アプリケーション向けに最高のパフォーマンスを実現します。ゲノミクスや財務リスクモデルなどのワークロードのアプリケーションは、F1 インスタンスがもたらす FPGA の恩恵を受けることができます。特定の CUDA アプリケーションを実行している、またはワークロードをレンダリングしているお客様は、高いネットワークスループットを必要とするアプリケーション向けに G4 または G4dn で提供される NVIDIA T4 GPU の恩恵を受けることができます。

シングルスレッドパフォーマンス: 電子設計自動化、一部の計算流体力学ワークフローなどのワークロードや、コアベースのライセンスがコストの主な要因であるその他のアプリケーションでは、より高いプロセッサクロック速度を提供するインスタンスを使用することで恩恵が受けられ、シングルスレッドパフォーマンスを高速化できます。Z1d は、4.0 GHz のクロック速度と 8 のメモリ/vCPU 比をもたらすため、高いシングルスレッドパフォーマンスと高いメモリ使用量を必要とする HPC アプリケーションに最適です。M5zn の 4.5 Ghz クロック速度と 4 のメモリ/vCPU 比により、高いネットワーク帯域幅を必要とするが、Z1d が提供する高いメモリを必要としない、暗黙的な方法を使用した有限要素解析などのアプリケーションに最適です。

ネットワーキング: Amazon EC2 インスタンスは拡張ネットワーキングをサポートしており、従来の仮想化メソッドと比較すると、EC2 インスタンスのより高い帯域幅とより低いインスタンス間レイテンシーがもたらされます。Elastic Fabric Adapter (EFA) は、AWS 上での大規模なノード間通信を高いレベルで必要とするような HPC アプリケーションの実行を可能にする、Amazon EC2 インスタンスのためのネットワークインターフェイスです。カスタムビルドのオペレーティングシステム (OS) バイパスハードウェアインターフェイスは、HPC アプリケーションのスケーリングに不可欠なインスタンス間通信のパフォーマンスを向上させます。AWS は、低レイテンシーネットワーキングを必要とする密結合 HPC アプリケーション用のプレイスメントグループも提供しています。 Amazon Virtual Private Cloud (VPC) は、コンピューティングインスタンスとストレージコンポーネント間の IP 接続を提供します。

ストレージ

HPC ソリューションを検討する場合、ストレージオプションとストレージコストは重要な要素です。AWS では、一時的および永続的なストレージ要件に合わせて、柔軟なオブジェクト、ブロック、ファイルストレージを提供しています。Amazon Elastic Block Store (Amazon EBS) は、Amazon EC2 で使用するための永続的なブロックストレージボリュームを提供します。プロビジョンド IOPS では、必要なサイズのストレージボリュームを割り当て、これらの仮想ボリュームを EC2 インスタンスにアタッチすることができます。Amazon Simple Storage Service (S3) は、インターネットを介してあらゆる種類のデータを保存およびアクセスするように設計されており、HPC の入出力データを長期にわたって保存するために使用できます。データ移行プロジェクトを再度実行する必要はありません。Amazon FSx for Lustre は、要求の厳しい HPC ワークロード向けに設計された高性能ファイルストレージサービスで、AWS クラウド内の Amazon EC2 で使用できます。Amazon FSx for Lustre は Amazon S3 とネイティブに連携し、ハイパフォーマンスファイルシステムを使用したクラウドデータセットの処理を簡単にします。S3 バケットとリンクさせると、FSx for Lustre ファイルシステムは S3 オブジェクトをファイルとして透過的に表示します。これにより結果を S3 に書き込むことができます。また、FSx for Lustre はスタンドアロンなハイパフォーマンスファイルシステムとしても使用でき、ワークロードをオンプレミスからクラウドにバーストすることができます。オンプレミスデータを FSx for Lustre ファイルシステムにコピーすることで、そのデータを AWS で実行しているコンピューティングインスタンスで高速処理することも可能です。Amazon Elastic File System (Amazon EFS) では、AWS クラウドで Amazon EC2 インスタンスと組み合わせて使用する、シンプルでスケーラブルなファイルストレージを提供しています。

オートメーションとオーケストレーション

基盤となる HPC インフラストラクチャを効率的に使用するには、ジョブの送信プロセスを自動化し、送信されたジョブを所定のポリシーと優先順位に従ってスケジューリングすることが不可欠です。 AWS Batch では、ジョブ要件に基づいて適切な種類と量のコンピューティングリソースを動的にプロビジョニングすることで、数百から数千のバッチコンピューティングジョブを実行できます。AWS ParallelCluster は全面的なサポートとメンテナンスが提供されているオープンソースのクラスター管理ツールです。このツールを使用すると、科学者、研究者、IT 管理者が、AWS クラウド内でハイパフォーマンスコンピューティング (HPC) クラスターのデプロイと管理をより簡単に実行できるようになります。NICE EnginFrame は、標準ブラウザを使用して HPC 対応インフラストラクチャへの効率的なアクセスを提供するように設計されたウェブポータルです。EnginFrame は、ユーザーにやさしい HPC ジョブ送信、ジョブ制御、およびジョブ監視環境を提供します。

オペレーションと管理

インフラストラクチャのモニタリングと予算超過の回避は、HPC システム管理者が組織の HPC ニーズを効率的に管理するのに役立つ最も重要な機能の 2 つです。 Amazon CloudWatch は、開発者、システムオペレーター、サイトリライアビリティエンジニア (SRE)、IT マネージャーのために構築したモニタリングおよび管理サービスです。CloudWatch では、データと実用的なインサイトを利用して、アプリケーションのモニタリング、システム全体のパフォーマンスの変化に関する理解と対応、リソース使用率の最適化、および運用状態の統合的な確認を行うことができます。AWS 予算には、カスタム予算を設定して、コストまたは使用量が予算額や予算量を超えたとき (あるいは、超えると予測されたとき) にアラートを発信できる機能が用意されています。

可視化ツール

クラウドとの間で大量のデータをやり取りすることなくエンジニアリングシミュレーションの結果を可視化できることは、HPC スタックの重要な側面です。リモートビジュアライゼーションでは、エンジニアリング設計の所要時間を大幅に短縮するのに役立ちます。NICE DCV を使用すると、標準ネットワークを介して 2D/3D インタラクティブアプリケーションにリモートアクセスできるようになります。また、もう 1 つの完全マネージド型アプリケーションストリーミングサービスである Amazon AppStream 2.0 でも、任意のコンピュータまたはワークステーション上のブラウザに、アプリケーションセッションを安全に配信できます。

セキュリティとコンプライアンス

セキュリティ管理と法令遵守は、クラウドで HPC を実行する上でのほかの重要な側面です。AWS では複数のセキュリティ関連サービスとクイック起動テンプレートを提供しており、HPC クラスターの作成と、データセキュリティと法令順守のベストプラクティスを実装するプロセスが簡素化されます。 AWS インフラストラクチャでは、お客様のプライバシーを保護するための、強力な安全対策が用意されています。すべてのデータは安全性が非常に高い AWS データセンターに保存されます。  AWS Identity and Access Management (IAM) は、特定のデータソースにアクセスする権限を持つユーザー、役割、およびグループを管理するための堅牢なソリューションを提供します。組織は、ユーザーとシステムに個々の ID と認証情報を発行するか、Amazon Security Token Service (Amazon STS) を使用して一時的なアクセス認証情報を提供することができます。 AWS では、インフラストラクチャ内で数多くのコンプライアンスプログラムを管理できます。つまり、コンプライアンスの一部は最初から達成されているということです。AWS インフラストラクチャは、HIPAA、FISMA、FedRAMP、PCI、ISO 27001、SOC 1 といった関連する多数の業界規制に準拠しています。

Standard Product Icons (Features) Squid Ink
HPC 向け AWS サービスの詳細

AWS で HPC ソリューションの構築に使用できるすべての AWS サービスの詳細

詳細 
Sign up for a free account
無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
Standard Product Icons (Start Building) Squid Ink
AWS での HPC の開始方法

AWS で最初の HPC クラスターを構築する

サインイン