Amazon Web Services ブログ

Category: High Performance Computing

ハイパフォーマンスコンピューティング向けに最適化された Amazon EC2 HPC6a インスタンス

ハイパフォーマンスコンピューティング (HPC) により科学者やエンジニアは、数値流体力学 (CFD)、天気予報、ゲノミクスなど、複雑で計算負荷の高い問題を解決できます。HPC アプリケーションでは通常、高いメモリ帯域幅、低レイテンシー、高帯域幅のネットワーク相互接続、高速並列ファイルシステムへのアクセスを備えたインスタンスが必要です。 多くのお客様が HPC ワークロードを実行するために AWS を利用しています。例えば、Descartes Labs は AWS を使用して TOP500 LINPACK ベンチマーク (市販されている最も強力なコンピュータシステム) の実行を強化し、1.93 PFLOPS を実現し、2019 年 6 月に TOP500 リストの 136 位にランクインしました。この実行では、Amazon EC2 C5 インスタンスのクラスターで 41,472 コアが使用されました。昨年、Descartes Labs は LINPACK ベンチマークを再実行し、EC2 インスタンスのクラスターで 172,692 コアで 2021 年 6 月の TOP500 リストの上位 40 位に入りました。これは、わずか 2 年間でパフォーマンスが 417% 向上したことを示しています。

Read More

AWS Batch ベストプラクティスまとめ

この記事はプリンシパル HPC ソリューションアーキテクトの Pierre-Yves Aquilanti、AWS Batch のプリンシパルプロダクトマネージャの Steve Kendrex とプリンシパル HPC アプリケーションエンジニアの Matt Koop によるものです。 更新: 2021 年 10 月 5 日 セクション 2 に於けるサブネット CIDR ブロックのガイドラインを修正。 AWS Batch は、科学者や技術者が複雑なシステム構成を管理する必要なく、自由にスケールできる計算環境を提供するサービスです。2017 年に登場して以来、疫学、ゲームシミュレーション、大規模機械学習といった諸々のワークロードを稼動させる様々な業種や組織といったお客様に採用されてきました。 この投稿では、色々なお客様向けに計算環境の最適化をしてきた経験を元に、私達が作り上げたベストプラクティスと実践的ガイドラインを紹介します。AWS Batch で Amazon EC2 スポットインスタンスを使う事でコスト面での最適化をする方法や、問題が発生した場合どのように対応すれば良いのか、コンテナを利用した大規模な構成を学ぶことができるでしょう。

Read More

Ansys LS-DYNA のチェックポイント機能でスポットインスタンスのコストを最適化する方法

この投稿はシニアパートナーソリューションアーキテクト (HPC) の Dnyanesh Digraskar とシニアパートナーデベロップメントマネージャの Amit Varde によるものです。 様々な組織がハイパフォーマンスコンピューティング (HPC) のワークロードを、高い可用性、柔軟なキャパシティ、最新のプロセッサやストレージ、ネットワーク——そしてこれらは従量課金で使った分だけの支払いになる——といった利点を理由にオンプレミスのインフラストラクチャから Amazon Web Services (AWS) へと移行しています。これらの便益は有限要素分析 (Finite Element Analysis、FEA) のような、CPU やメモリを多く必要とするワークロードでコストを減少したりより短い時間で結果を得られるようになることで、エンジニアリングチームに利します。 FEA のワークロードを AWS で実行する時、コスト面で支配的な要素は Amazon EC2 インスタンスの利用料です。このような場面で Amazon EC2 スポットインスタンスはコスト効率の高い選択肢になります。スポットインスタンスは Amazon EC2 サービスの未使用のキャパシティを活用し、オンデマンドインスタンスの価格と比べて最大 90% の割引で EC2 インスタンスを使うことができる購入オプションです。 この記事では、Ansys LS-DYNA のチェックポイント機能と自動再開ユーティリティをスポットインスタンスと組み合わせることでフォールトトレラントな FEA ワークロードを構築しつつ、スポットインスタンスによるコスト削減の利益を享受する方法を紹介します。

Read More

AWS上でのハーモニー数値気象予報モデルの実行

この記事は、2021 年 9 月 30 日に Jacob Poulsen と Karthik Raman によって投稿された「Running the Harmonie numerical weather prediction model on AWS」をソリューションアーキテクトの小野が翻訳したものです。 この投稿は、Danish Meteorological Institute (デンマーク気象協会、DMI) のシニア HPC リサーチャーの Jacob Poulsen 及び AWS のシニア HPC ソリューションアーキテクトの Karthik Raman の寄稿によるものです。 デンマーク気象協会 (DMI) はデンマーク王国全体の大気、気候、海洋モデルの作成を担当しています。DMI と協力してハーモニー数値気象予報モデル (Harmonie Numerical Weather Prediction) を使用した完全な数値予報 (NWP) サイクルのデータフローを AWS 上に移行して実行しました。移行と運用に関するレポートは ACCORD コミュニティニュースレターで確認できます。 このブログ投稿では、そのレポートを拡張し AWS で […]

Read More

AWS ParallelCluster 3のご紹介

この記事は、2021年9月10日にBrendan BoufflerとRye Robinsonによって投稿された「New: Introducing AWS ParallelCluster 3」をソリューションアーキテクトの小野が翻訳したものです。 コンピュータによる流体力学や分子動力学、天気予報といった一般的なHPCワークロードを走らせるという事は、沢山の関連するコンポーネントを動かすという事でもあります。数百あるいは数千ものCPUコアやそれらを管理するジョブスケジューラ、スループットやIOPSに最適化された共有ファイルシステム、数多のライブラリ、高速なネットワーク、それらをまとめるヘッドノード等が必要です。これらは研究者のようなHPCワークロードの利用者にとっては単に必要最低限のものであって、このコンポーネントを揃える事が目的ではありません。クラウドに移行する事によって、より本質的な事——例えばあなたが研究者なのであれば、研究所の同僚が解答を待っているような問題を解き明かす事——に集中する事ができます。

Read More

AWS Nitro Systemに於けるベアメタルインスタンスの性能

この記事は、2021 年 8 月 5 日に Matt Koop によって投稿された Bare metal performance with the AWS Nitro System をソリューションアーキテクトの小野が翻訳したものです。 ハイ・パフォーマンス・コンピューティング(HPC)は、アプリケーションの中でも特定プラットフォーム上で最も高いパフォーマンスを要する領域として知られています。当然の疑問として、ワークロードをAWS上に移行した場合のパフォーマンスと、既存のオンプレミスの「ベアメタル」プラットフォームでのパフォーマンスの差はどれくらいなのか、というものがあります。このブログ記事では「ベアメタル」インスタンスとAWSのNitro Hypervisorで動くインスタンスのパフォーマンスの差が、HPCワークロードに於いても僅かである事を紹介します。

Read More

大学・研究機関向け AWSの買いかた・支払いかたシリーズ (1)

今回は、大学・研究機関におけるAWSの買いかた・支払いかたについて紹介します。
大学や研究機関のお客様はサーバやストレージなどを“モノ”として購入することには慣れていますが、クラウドという”サービス”として購入するのはあまり馴染みがないことかと思います。
今回のブログでは、比較的少額なAWS利用の場合にフォーカスをあて、大学・研究機関におけるAWSの始めかたや買いかた・支払いかたに関する様々な疑問・質問に対する回答をお届けします。
なお、このブログは2021年6月3日(木)に開催したウェビナー「大学・研究機関向け AWSの買いかた・支払いかた~少額編~」の内容を一部抜粋・加筆修正を加えたものです。
ウェビナーを収録した動画も視聴可能です。このブログでは書ききれなかった内容も多数ございますので是非、ご覧ください。

Read More

プラネタリースケールコンピューティング – 9.95 PFLOPS、TOP500 リストで 40 位を達成

天気予報、ゲノムシーケンシング、ジオアナリティクス、計算流体力学 (CFD)、その他の種類のハイパフォーマンスコンピューティング (HPC) ワークロードでは、大量の処理能力が活躍します。こうしたワークロードは、多くの場合、スパイクがあり、大規模並列で、結果までの時間が重要な状況で使用されます。 古い方法 政府、豊富な資金を持つ研究機関、Fortune 500 企業などは、競争力を獲得するために、スーパーコンピューターに数千万 USD を投資しています。最先端のスーパーコンピュータを構築するには、特別な専門知識、長年にわたる計画、アーキテクチャと実装に対する長期的なコミットメントが必要です。構築されると、投資を正当化するためにスーパーコンピューターを常に活用する必要があり、ジョブが順番を待つ間に、キューが長くなります。容量の追加や新しいテクノロジーの活用にはコストがかかり、時には混乱を招くこともあります。 新しい方法 クラウドで仮想スーパーコンピュータを構築できるようになりました!

Read More

大学・研究機関でのAWS活用事例シリーズ (1)

今回は、ブログでまとまった形で紹介することが少なかった日本の大学・研究機関におけるAWS活用事例を紹介します。
“大学・研究機関がクラウドを使うメリットはなにか? クラウドはどのようなワークロードで使われているのか?” このような疑問をお持ちの大学・研究機関の方々がいらっしゃることと思います。
AWSを活用して、業務の効率化、TCO(Total Cost of Ownership)削減、あるいはより迅速に研究成果を生み出すことに取り組んでいる大学・研究機関のお客様が日本にも数多くいらっしゃいます。その中からほんの一部ではありますが、それぞれのお客様のクラウドジャーニーの様子をお届けします。

Read More

【11/26開催】AWS Autotech Forum 2020 Online #2

はじめに みなさんこんにちは、ソリューションアーキテクトの福嶋です。 この度 2020 年 11 月 26 日(木)13:00 – 17:30 に「 AWS Autotech Forum 2020 Online #2 」を開催します!AWS では 2018 年・2019 年と自動車業界向けクラウドテクノロジーカンファレンス「 AWS Autotech Forum 」を実施してまいりました。 2020 年は夏と冬の 2 回開催に拡大しており、夏は AWS ソリューションアーキテクトから、自動車業界に関連した AWS のテクノロジーを中心にお伝えしました。今回は実際に AWS を活用いただいているお客様の事例を中心にセッションを構成しています。また、 #2 ではエンジニアのみなさまを対象に別日程で「 Autotech Forum Hands-on Day 」としてハンズオンをご提供します。 本投稿では、 #2 でお届けする6つのセッションの見どころをご紹介し、 2020 年 8 月 7 日に実施された「 AWS Autotech […]

Read More