Amazon Web Services ブログ

Category: AWS Batch

【開催報告】 「AWSで実現するクラウドHPC ~最新CPUとカスタマー事例から学ぶ HPC on AWS の現在~」セミナー

ソリューションアーキテクトの宮本です。2021年10月20日に「AWSで実現するクラウドHPC ~最新CPUとカスタマー事例から学ぶ HPC on AWS の現在~」をオンライン開催しました。本セミナーでは、Amazon Web Services 上で実行する HPC(ハイパフォーマンスコンピューティング)につきましてAWS上で利用可能な最新CPUアーキテクチャや、実際の活用事例を中心にご紹介しました。セミナーの前半では、AWSからクラウドHPCの全般的な解説だけでなく、インテル様、AMD様より各社の最新CPUアーキテクチャについてご紹介いただきました。 後半では、製造や金融の領域で、実際にHPCをAWS上で利用されているお客様・ソフトウェアベンダー様にご登壇いただき、「実際のところ」をお話いただきました。 本記事では、発表内容の概要と、発表資料を掲載しています。

Read More

AWS Batch ベストプラクティスまとめ

この記事はプリンシパル HPC ソリューションアーキテクトの Pierre-Yves Aquilanti、AWS Batch のプリンシパルプロダクトマネージャの Steve Kendrex とプリンシパル HPC アプリケーションエンジニアの Matt Koop によるものです。 更新: 2021 年 10 月 5 日 セクション 2 に於けるサブネット CIDR ブロックのガイドラインを修正。 AWS Batch は、科学者や技術者が複雑なシステム構成を管理する必要なく、自由にスケールできる計算環境を提供するサービスです。2017 年に登場して以来、疫学、ゲームシミュレーション、大規模機械学習といった諸々のワークロードを稼動させる様々な業種や組織といったお客様に採用されてきました。 この投稿では、色々なお客様向けに計算環境の最適化をしてきた経験を元に、私達が作り上げたベストプラクティスと実践的ガイドラインを紹介します。AWS Batch で Amazon EC2 スポットインスタンスを使う事でコスト面での最適化をする方法や、問題が発生した場合どのように対応すれば良いのか、コンテナを利用した大規模な構成を学ぶことができるでしょう。

Read More
cost-effective

[AWS Black Belt Online Seminar] CON465 AWS Batch x Spot: AWS Fargate 対応記念 EC2との使い分けは? 資料公開

AWS Black Belt オンラインセミナー「CON465 AWS Batch x Spot: AWS Fargate 対応記念 EC2 との使い分けは?」を公開します。 視聴は YouTube から、資料閲覧は SlideShare から可能です。 AWS Batch は、スーパーコンピュータで行われるような大規模なバッチ処理のための環境をフルマネージドで提供するサービスです。このような大規模バッチ処理では、即時性よりも、計算環境のスケーラビリティが重視されますが、AWS Batch では実行したい処理をコンテナとして用意するだけで、同時に数百~数万の処理を行うことが可能となります(定時バッチのような処理とは概念が異なりますのでご注意ください)。 今回のセッションでは、この AWS Batch に2020年12月に追加された、コンテナを Amazon EC2 インスタンス上ではなく Fargate / Fargate Spot 上で実行する機能にフォーカスしてご紹介しました。特に、ジョブの起動にかかる時間が EC2 と Fargate で、考え方が異なる点は、使い分けのための重要なポイントになっています。それに加え、Spot インスタンス、Fargate Spot の活用方法についてもご紹介しております。AWS Batch を利用するうえで、EC2 と Fargate の選択に悩んだり、Spot インスタンス、Fargate Spot の活用でコストを削減したい方は是非ご視聴ください。 また、本セッションと合わせて「Amazon Elastic Container Service − […]

Read More
AWS Webinar - Cloud Optimization for Containers

【開催報告】「 クラウド最適化コンテナ編 ~コンテナ x Graviton2 x スポットインスタンスによるコスト最適化~」セミナー

EC2スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。2021年8月26日にオンラインで開催された「クラウド最適化コンテナ編 ~コンテナ x Graviton2 x スポットインスタンスによるコスト最適化~」セミナーでは、150名近くの聴衆の方々にご参加いただき、AWSからの技術解説、またAmazon ECSとAmazon EKSそれぞれをお使いの2社のお客様による、Amazon EC2スポットインスタンスを使いこなすための具体的な活用方法をご紹介いただきました。 本記事では、お客様のご登壇資料を含む当日資料をご紹介し、また参加者の皆様からいただいた当日のQ&Aの一部をご紹介します。

Read More

AWS Batch が大阪リージョンでもご利用可能になりました

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 2021 年 3 月 2 日に日本で2番目となるリージョン、大阪リージョン が開設されました。その翌日 3 月 3 日にはフルマネージドなファイルシステムである Amazon EFS が利用可能となり、サービスラインナップの拡充が続けられています。 本日、バッチ処理をあらゆる規模で行うことの可能なフルマネージドサービスである、AWS Batch が大阪リージョンでご利用可能となりましたのでお知らせいたします。

Read More

【開催報告】「秋のスポットインスタンス祭り」セミナー

EC2スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。2020年11月11日にオンラインで開催された「秋のスポットインスタンス祭り」セミナーでは、100名を超える聴衆の方々にご参加いただき、AWSのソリューションアーキテクトによる技術解説に加え、スポットインスタンスを効果的に活用されている2社のお客様の具体的な事例をご紹介いただきました。 本記事では、お客様のご登壇資料を含む当日資料をご紹介し、また参加者の皆様からいただいた当日のQ&Aの一部をご紹介します。 当日アジェンダと資料 13:00 ~ 13:45 自動スケールから始める EC2 スポットインスタンス 講師:滝口 開資(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) 概要:みなさまのシステム、自動スケール機能はお使いでしょうか。クラウドに移行したものの、EC2インスタンスはずっと立ち上げっぱなし。負荷の高いタイミングでも台数固定。そしてEC2の費用は慢性的に高止まり。こんな課題を抱えていらっしゃるみなさまに向けて、まず前半ではスケールする大規模処理での例としてWebサービス、機械学習、データ分析のワークロードを取り上げ、活用できる技術スタックの選定方針を紹介しました。 そして後半では、EC2インスタンスの自動スケールの仕組み、そしてそこにスポットインスタンスを組み合わせてコスト最適化を狙う方法をわかりやすくお伝えしました。 自動スケールから始める EC2 スポットインスタンス 13:45 ~ 14:15 実例から学ぶAWS Batch x スポットインスタンスによる大規模バッチ処理 講師:宮本 大輔(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) 概要:クラウドでは必要な時に必要な量の計算リソースを起動して処理を行うことができるため、HPC (High Performance Computing) やゲノム解析、大量の動画像の処理といった用途に適しています。そしてこのような大規模バッチ処理をコスト効率よく行うためにはスポットインスタンスの活用が重要なポイントとなります。本セッションでは、大規模バッチ処理に対してスポットインスタンスを適用する際に考慮しなければいけないことや、注意すべきポイントについて、AWS Batchを活用した実例を交えてご紹介いたしました。 実例から学ぶAWS Batch x スポットインスタンスによる大規模バッチ処理 14:15 ~ 14:45 スポットインスタンス/インスタンスフリートを活用した Amazon EMR のコスト最適化 講師:川村 誠(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) 概要:Amazon EMR はスポットインスタンスとインスタンスフリートを活用することで、コストを最適化することができます。直近のサービスアップデートでそれらの活用がより簡単に運用可能となりました。本セッションでは […]

Read More

【開催報告】「コンテナ × スポットインスタンス」 活用セミナー

スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。2020年6月10日にオンラインで開催された「コンテナ × スポットインスタンス」 活用セミナーでは、200名を超えるご参加人数という大盛況のもと、AWSのソリューションアーキテクトによる技術解説と、各種コンテナ技術を最大限に活用してスポットインスタンスをご利用いただいている3社のお客様から、実際の事例についてお話いただきました。 本記事では、お客様のご登壇資料を含む当日資料のご紹介、また参加者の皆様からいただいた当日のQ&Aの一部をご紹介します。 当日アジェンダと資料 12:00~13:00 Amazon EC2 Auto Scaling によるスポットインスタンス活用講座 講師:滝口 開資(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) Amazon EC2 Auto Scaling によるスポットインスタンス活用講座 13:00~14:00 具体的実装に学ぶ、Amazon ECS × EC2 スポットインスタンス、Amazon EKS × EC2 スポットインスタンスによる低コスト & 高可用アーキテクチャ 講師:Hara Tori(アマゾン ウェブ サービス ジャパン株式会社 シニアデベロッパー アドボケイト) Containers + EC2 Spot: 特性と実装パターンに学ぶ低コスト & 高可用アーキテクチャ / Practical Guide for Amazon EC2 Spot with Containers […]

Read More

AWS Batch および Amazon CloudWatch ルールにより Amazon RDS ジョブをスケジュールおよび実行する

 従来、データベース管理者と開発者は、データベースが実行されているホスト上でシステム cron を使用して、スクリプトをデータベースに対して実行するようにスケジュールしています。Amazon Relational Database Service (RDS) は、マネージドデータベースサービスとして、基盤となるインフラストラクチャへのアクセスを提供しないため、そのようなワークロードをオンプレミスから移行する場合は、ジョブを移動する必要があります。この記事は、ジョブを一元的にスケジュールおよび実行する代替方法について説明します。 AWS Batch は、コンピューティングジョブのプロビジョニング、管理、モニタリング、スケーリングの複雑さを抽象化し、AWS でジョブを簡単かつ効率的に実行できるようにするマネージドサービスです。さらに、AWS Batch では、選択した言語を使用してジョブを構築し、それを Docker コンテナとしてデプロイできます。 この記事では、AWS Batch ルールと Amazon CloudWatch ルールを組み合わせることで、動的にリソースをプロビジョニングし、PostgreSQL データベースで関数またはストアドプロシージャをスケジュールして実行する方法を示します。同じプロセスを使用して、Amazon RDS データベースでジョブを実行できます。 ソリューションの概要 次の図は、ソリューションのアーキテクチャを示しています。 前提条件 始める前に、以下の前提条件を満たす必要があります。 マシンに Docker Desktop をインストールします。 マシンに git をインストールします。 AWS CLI をセットアップして設定します。手順については、「AWS CLI のインストール」を参照してください。 AWS CloudFormation テンプレートの入力パラメータとして、デフォルトのサブネットとセキュリティグループのカンマ区切りのリストを指定します。 チュートリアル このチュートリアルの概要については、次の手順をご覧ください。 AWS コードサンプルリポジトリからプロジェクトをクローンする CloudFormation テンプレートをデプロイして必要なサービスを作成する AWS CloudFormation コンソールに移動し、リソースが作成されていることを確認します データベーススクリプトを実行し、必要なテーブルと関数を作成する […]

Read More

[AWS Black Belt Online Seminar] AWS Batch 資料及び QA 公開

先日 (2019/9/11) 開催しました AWS Black Belt Online Seminar「AWS Batch」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190911 AWS Black Belt Online Seminar AWS Batch   AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. AWS Batch と Amazon ECS、AWS Fargate の使い分けについて教えて下さい。 A. AWS Batch では内部的に Amazon ECSを使用しつつ、キューイングされた計算処理を順次実行していくようなバッチコンピューティング環境に特化しております。そのため、このようなバッチ処理であれば AWS Batch をご利用いただき、それ以外のインタラクティブな処理を含む汎用的なワークロードではECS及びECSの機能の一部であるFargateをご利用いただければと思います。 Q. AWS Batch で大量のジョブを実行する場合の設定ポイントについて教えて下さい。 A. AWS Batch で大量のインスタンスを使用する場合は以下の点にご留意ください: 各種リソース制限を確認する: 各アカウントごとに、EC2 の起動台数制限やEBS作成数制限、ECSのクラスターごとコンテナ数制限が存在しています。 大規模利用を検討される場合は、まずこちらの制約にご注意ください。制限を超えるリソースを利用希望の場合は、サービスクォータダッシュボード より申請いただくことが可能です。 複数のインスタンスタイプを指定する: AWS […]

Read More

プロセッサの投機的実行 – オペレーティングシステムの更新

モダンコンピュータプロセッサ上で投機的実行によるサイドチャネル分析の調査が新しく公開されたのを受け、AWS は AWS Security Bulletin(セキュリティ情報)AWS-2018-013 を先日公開しました。このセキュリティ情報では、CVE-2017-5715、CVE-2017-5753、および CVE-2017-5754 の3つのセキュリティ勧告に触れています。これらの勧告は Google Project Zero の調査に基づいたもので、Google Project Zero の発表はモダンコンピュータプロセッサ上でのサイドチャネル分析の新しい方法を発見したというものでした。これらの方法は、基礎的な技術、具体的には投機的実行に着目したもので、投機的実行は多くのベンダーのプロセッサに用いられています。そのため研究結果の対象となる範囲は幅広く、その範囲はハイパーバイザーからオペレーティングシステム、さらには Web ブラウザ、携帯電話からクラウドを構成するデータセンター内のサーバにまで及びます。   EC2 インスタンスの分離   Amazon EC2 のすべてのインスタンスは、上述の CVE に記載されたインスタンス間の既知の問題すべてから保護されています。インスタンス間での問題は、インスタンスまたは AWS ハイパーバイザーのメモリを近隣の別のインスタンスから読み取ることができると想定しています。この問題は AWS ハイパーバイザーでは解決されており、インスタンスは別のインスタンスのメモリを読み取ることも、AWS ハイパーバイザーのメモリを読み取ることもできません。 大多数の EC2 ワークロードに有意なパフォーマンスの影響は見られていません。   オペレーティングシステムへのパッチ   現代のオペレーティングシステムには、「ユーザー空間」プロセスからのカーネル分離、それぞれのプロセスの分離などの、いくつかのタイプのプロセス分離があります。影響を受けうるプロセッサ上でオペレーティングシステムが実行されている環境では、いかなる設定においても、公開された 3 つの問題すべてがプロセス分離に影響を与える可能性があります。ハイパーバイザで実装されている保護は、オペレーティングシステム内のプロセスレベルの分離にまで拡張されないため、リスクを軽減するためにオペレーティングシステムパッチが必要です。 準仮想化(PV)インスタンスでは、CVE-2017-5754 のプロセス間の問題に対処するためのオペレーティングシステムレベルの保護は無いことに注意してください。PV インスタンスは、前述のようにインスタンス間の問題について AWS ハイパーバイザーによって保護されます。しかしながら、PV インスタンスにおけるプロセスの分離(信頼できないデータ処理やコードの実行、ユーザのホスト)にご懸念をお持ちでしたら、長期的に見てセキュリティの恩恵を受けるため、HVM インスタンスタイプへの変更を強くお勧めします。PVとHVMの相違点(およびインスタンスアップグレードパスのドキュメント)の詳細については、以下の URL を参照してください。 https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/virtualization_types.html インスタンスのオペレーティングシステムにパッチを適用することで、同じインスタンス内で動作するソフトウェアを分離し、CVE-2017-5754 のプロセス間の問題を緩和することを強く推奨します。以下のオペレーティングシステムのパッチの詳細を記載します。 Amazon Linux & […]

Read More