Amazon Web Services ブログ

Category: News

EC2 スポットインスタンスと TIBCO GridServer を使用して AWS 上で 130万個の vCPU グリッドを作成する

私の同僚の多くがお客様に会い、お客様の声に耳を傾けるといった機会を持てることは幸運です。これによりお客様のビジネスやテクノロジーのニーズをより満足させる方法を見つけるのに最善を尽せます。この情報は細心の注意を払って扱い、新しいサービスと新機能のロードマップに取り組むときに利用します。 金融サービス業界 (FSI) の AWS を利用するお客様は、2019年から2021年に実施される FRTB (Fundamental Review of Trading Book) の規制に備えています。とりわけ、それぞれの金融機関がニューヨークで取引が終了してから東京で開始するまでの4時間の時間枠内に「バリュー・アット・リスク」の計算を実行しなければならなという新しい方法取り組みが規定されます。現在、このミッションクリティカルな計算は、20万個の vCPU (仮想CPU) のリソースを消費していますが、本規制により 40万 〜 80万個の vCPU (仮想CPU) に増加する見込みです。この高いスループットの計算を実行するのに必要な規模や回数などについては、まだ議論が必要ですが、全体的な方向性は明確になっています。 FSIのお客様がこれらの新しい規制に対処できるようサポート体制が整ったことを確かなものにするため、TIBCOと協力して、 AWSクラウドでPoC (概念実証) を実施します。4時間以内に処理を完了するために必要な処理能力とストレージ量が伴う計算には、費用対効果の高く、オンデマンドで膨大な量の計算能力を利用できる環境が最も適しています。 当社のお客様は、すでにオンプレミスの TIBCO GridServer をクラウドで利用することを検討しています。本製品は、エンタープライズ規模でグリッドを実行するように設計されています。仮想化された方法でアプリケーションを実行し、リソースの要求を受諾し、必要に応じて動的にプロビジョニングします。クラウド版では、Amazon Linux だけでなく、PostgreSQL と互換性のある Amazon Aurora サポートしています。 TIBCOと協力して、現在のハイエンド予測である 80万個の vCPU よりも大幅に大きいグリッドを作成し、50% の安全係数を追加した 130万個の vCPU (オンプレミスの5倍の規模) まで拡張しました。この目標を念頭に置いて、アカウント制限を次のように引き上げました。 スポットインスタンス制限 – 120,000 EBS ボリューム制限 – 120,000 EBS 容量制限 – […]

Read More

EC2 フリート – 1 回のリクエストで、大量のオンデマンドおよびスポットインスタンスを管理する

EC2 スポットフリートは実に画期的です。EC2 インスタンスタイプからアベイラビリティーゾーンに至るスポットインスタンスのフリートを、容量を見つけたり料金を監視するためのカスタムコードなしに開始できるようになります。アプリケーションに意味のある単位で対象の容量 (フリートのサイズ) を設定し、スポットフリートを作成して、自分の代わりにフリートの管理を任せることができます。私たちのお客様はあらゆる種類のスポットフリートを作成しています。たとえば、ある金融サービスのお客様は 10 個の異なる EC2 インスタンスタイプで、モンテカルロのシミュレーションを実行しています。このお客様は日常的に大量の vCPU のリクエストを作成し、可能な限り安価に大容量のアクセスを提供するという作業をスポットフリートに任せています。 EC2 フリート 本日、私たちは EC2 フリートを使ったスポットフリートで、自分たちが開拓した「一度設定するだけであとはお任せ」のモデルを拡張し、一般でも利用できるようになりました。これはユーザーにフリートを作成する新しいビルディングブロックで、EC2 オンデマンド、リザーブド、スポットの各インスタンスの組み合わせを 1 度の API コールで構成したものです。皆さんの必要なもの、容量、インスタンスまわりのことを聞かせてください。私たちがまとめて面倒見ます。私たちは足場組み的なコードを書く必要なく、必要に応じてインスタンスを開始、管理、監視、およびスケールします。 ユーザーはインスタンス、vCPU、またはアプリケーション指向の単位を条件にフリートの容量を指定し、また、スポットインスタンスで処理すべき容量の程度を指定できます。アプリケーション指向の単位を使用することで、ユーザーはアプリケーションのニーズを直接マップする方法で、各 EC2 インスタンスタイプの関連する性能を指定できます。3 つの容量指定オプション (インスタンス、vCPU、アプリケーション指向単位) はいずれも重量値として知られています。 この機能を使ってフリートにインスタンスを容易に管理させる方法が多数見つかるはずです。また、チームの近い将来のロードマップもきっと皆さんのお役に立つと思います (これについてはすぐに詳しくお話しします)。 EC2 フリートの使用 ステートレスのウェブサービス、ビッグデータクラスターを実行しているのであれ、継続的な統合パイプラインを実行しているのであれ、この機能を活用できる方法は多数あります。今日は、ゲノムのプロセスに EC2 フリートをどのように使用できるかについて説明しますが、これはリスクの分析、ログのプロセス、イメージのレンダリングといったワークロードと似ています。最近の DNA シークエンサーは毎日数テラバイトの未加工データを生成する可能性があり、これを適宜意味のある情報へプロセスするには、大量の処理能力が必要になります。ここでは従属的な分析タスクを並行的に走らせることで、大量のデータを超高速で処理してくれるワーカーノード「グリッド」のデプロイ方法をご紹介します。 ゲノム解析プロジェクトでは、数百、ときには数千のサーバー上で新しいパイプラインを実験し、試すために、EC2 の提供する伸縮性を使用できます。EC2 を利用すれば、必要なときすぐに必要な量のコアにアクセスでき、お支払いいただくのは使用した分のみです。今日からは RunInstances API または Auto Scaling グループをグリッドのオンデマンドおよびリザーブドインスタンスポーションに使用する必要があります。最高のコストパフォーマンスを得るために、もしパワフルなセカンダリ分析にスポットインスタンスを追加するのであれば、異なるインスタンスタイプをもつスポットフリートか複数の Spot Auto Scaling グループを追加する必要もあります。最後に、複数の API と Auto Scaling グループでスケーリングの決定を自動化するには、グリッドの進捗とバックログに定期的にアクセスする Lambda […]

Read More

AWS Database Migration Service と AWS Schema Conversion Tool がソースとしての IBM Db2 LUW をサポート開始

AWS SCT がLinux、UNIX、Windows (LUW) 用の IBM Db2 からAWS上でサポートされているオープンソースデータベースにオブジェクトを変換できるようになりました。これには Amazon RDS for PostgreSQL と RDS for MySQL、Amazon Aurora (MySQL and PostgreSQL compatible) を含みます。同時に、AWS DMS のソースとしての IBM Db2 for LUW の一般リリースも発表します。この発表は、AWS DMS を使用して Db2 for LUW から AWS DMS でサポートされているすべてのターゲットに移行できることを意味します。これらの機能は、Db2 for LUW からクラウドへの移行に役立ちます。

Read More

AWS サポート – 最初の 10 年

AWS ではちょうど 10 年前に、Amazon EC2、Amazon S3、および Amazon SQS に焦点を当てたゴールドプランとシルバープランで AWS サポートを開始しました。シアトルの小さなチームが支えるこれらの開始当初のサポート提供から始まった AWS サポートは、現在 60 を超える場所で働く何千人もの人々で成り立っています。 これまでを振り返って 長い年月を経て、これらのサポートは AWS のますます多様化するカスタマーベースのニーズを満たすために成熟し、進化しました。AWS は、一番初めの実験から、ミッションクリティカルなワークロードとアプリケーションをデプロイするときまで、クラウド採用の旅におけるあらゆる段階でお客様をサポートすることを目標としています。 私たちは、AWS のサポートモデルを有益な先を見越したものとするために尽力してきました。AWS では、お客様がセキュアで堅固、かつ信頼できるシステムを構築するために役立つツール、アラート、および知識を提供するために最善を尽くしています。以下は、この目標に向けた最近の取り組みの一部です。 Trusted Advisor S3 バケットポリシーチェック – AWS Trusted Advisor は 5 つのカテゴリーのチェックを提供し、セキュリティとパフォーマンスを向上させるように設計された推奨事項を提供します。AWS は今年の初めに、S3 バケットアクセス権限チェックが無料になり、すべての AWS ユーザーにご利用いただけるようになったことを発表しました。AWS サポートのビジネスまたはプロフェッショナルレベルに加入されている場合は、Amazon CloudWatch Events を使ってこのチェック (およびその他多くの事柄) を監視できます。これは、人手を介さずにバケットを監視してセキュア化するために使用できます。 Personal Health Dashboard – このツールは、AWS でお客様に影響を与える可能性があるイベントが発生しているときにアラートとガイダンスを提供します。お使いの AWS リソースの基礎となる AWS のサービスのパフォーマンスと可用性に関するパーソナライズされたビューを見ることができます。また、必要に応じて自動フェイルオーバーと修復を開始できるように、Amazon CloudWatch […]

Read More

新しい AWS ブロックチェーンテンプレートを使用してブロックチェーンを始める

ブロックチェーンテクノロジーに関する今日の議論の多くは、古典的な Shimmer のフロアワックスの寸劇を思い出させます。Dan Aykroyd によれば、Shimmer はデザートのトッピングです。Gilda Radner はそれがフロアワックスであると主張し、Chevy Chase が議論を解決し、実際には両方であることを明らかにします。私が話している人々の中には、ブロックチェーンは新しい金融システムの基盤であり、国際的な支払いを促進する手段であると見る人がいます。他の人々は、ブロックチェーンを分散された元帳、物流、サプライチェーン、土地の登記、クラウドファンディング、その他のユースケースに適用できる不変のデータソースと見ています。いずれにしても、興味深い可能性がたくさんあり、お客様がこの技術をより効果的に使用できるよう支援しています。 本日、AWS ブロックチェーンテンプレートを開始します。これらのテンプレートを使用すると、Ethereum (パブリックまたはプライベート) や Hyperledger Fabric (プライベート) ネットワークをほんの数分で、数回クリックするだけで始めることができます。テンプレートが、堅牢でスケーラブルな方法で動かすために必要なすべての AWS リソースを作成し、設定します。 プライベート Ethereum ネットワークの開始 Ethereum テンプレートには、2 つの起動オプションがあります。ecs オプションは、Virtual Private Cloud (VPC) 内に Amazon ECS クラスターを作成し、クラスターで一連の Docker イメージを起動します。また、docker-local オプションも VPC で実行され、Docker イメージを EC2 インスタンスで起動します。このテンプレートは、Ethereum のマイニング、EthStats と EthExplorer のステータスページ、Ethereum RPC プロトコルを実装し、応答するノードのセットをサポートしています。どちらのオプションも、サービス検出のための DynamoDB テーブルを作成して使用し、ステータスページのための Application Load Balancer も使用します。 Ethereum […]

Read More

AWS AppSync – 6 つの新機能を加え本番提供開始

データ指向のウェブおよびモバイルアプリを構築し (または構築したいと思い)、リアルタイムの更新やオフライン作業の機能が必要な場合は、AWS AppSync を確認する必要があります。AWS re:Invent 2017 においてプレビュー形式で発表され、ここで詳しく説明されている AWS AppSync は、iOS、Android、JavaScript、および React Native アプリで使用するために設計されています。AWS AppSync は、アプリケーションでクラウドから必要とする正確なデータを要求することを容易にするオープンで標準化されたクエリー言語である GraphQL を中心に構築されています。 アプリケーション開発プロセスを簡素化し、合理化する次の新しい 6 つの機能を備えた AWS AppSync のプレビュー期間が終了し、一般利用可能になり、本番稼働の準備ができたことを発表できることをうれしく思います。 コンソールログアクセス – AWS AppSync コンソールの中から GraphQL クエリー、ミューテーション、サブスクリプションをテストするときに作成される CloudWatch Logs を確認することができるようになりました。 モックデータによるコンソール試験遂行 – 試験遂行の目的でコンソールにモックコンテキストオブジェクトを作成し、使用することができるようになりました。 サブスクリプションリゾルバ – すでにクエリに対して行い、リクエストを変更する方法と同様に、AWS AppSync サブスクリプションリクエストに対するリゾルバを作成することができるようになりました。 DynamoDB のバッチ GraphQL オペレーション – DynamoDB のバッチオペレーション (BatchGetItem と BatchWriteItem) をリゾルバ機能の中の 1 つ以上のテーブルにわたって利用することができるようになりました。 CloudWatch […]

Read More

AWS 構成ルールの更新: アカウントおよびリージョンにまたがる集約コンプライアンスデータ

既に述べたことがありますが、高度な AWS 顧客は複数の AWS アカウントを制御していることが常です。これらのうちのいくつかは、買収、またはボトムアップからの持ち越し、クラウドコンピューティングの部門採用の結果です。また人によっては、開発者、プロジェクト、部門で区別するために、複数のアカウントを作成することがあります。私たちは、これをアカウントのポリシーベース管理のためにベストプラクティスとして採用し、多くの AWS サービス、ならびに AWS Organizations のクロスアカウント機能で補強することを強く支持します。また、これらの顧客は AWS Config を十分に活用しており、Config Rules (自分で作成したもの、および Config から提供されたもの) を使用して AWS リソースのコンプライアンスをチェックします。 アカウントおよびリージョンにまたがる集約 現在私たちは、複数の AWS アカウントおよびリージョンにまたがるルールによって生成されたコンプライアンスデータを集約する機能を追加することによって、さらに役立つ Config Rules を作成することを可能にしました。集約データは、単一のダッシュボードに表示することができるので、ガバナンスとコンプライアンスを改善するための優れた手段になります。さらに良いことに、集約機能とダッシュボードは、AWS Config ユーザーであれば無料で利用することができます。 これのセットアップ方法を簡単に説明します。最初に、いくつかの用語を定義しておきます。 aggregator – これは新規の Config リソースです。これは集約対象となるコンプライアンスデータのソース (アカウントおよびリージョン) を特定します。複数の aggregator を同時に使用できるので、ガバナンスおよびコンプライアンスモデルをさらに細かくチューニングすることができます。 aggregator アカウント – これは 1つ以上の aggregator を所有する AWS アカウントです。 ソースアカウント – これは集約対象のコンプライアンスデータを持つ AWS アカウントです。 集約ビュー – […]

Read More

新機能 ー Amazon EFS における伝送データの暗号化

Amazon Elastic File System はファイルベースのストレージへの共有アクセスが必要なクラウドネイティブなアプリケーション向けにファイルシステム選択肢の一つとなるよう設計されました。私たちは2016年中頃に EFS の提供を始めて、以降、”Direct Connect 経由のオンプレミス環境からのアクセス”や”保管データの暗号化”など重要な機能をいくつも追加してきました。また、EFS を提供する AWS リージョンの追加も行ってきており、直近では US West (北カリフォルニア) が追加されました。EFS 自体がそうであったように、これらの機能追加はお客様からのフィードバックにより為されたもので、益々拡大するお客様の声に応えたいという私たちの願望を反映しています。 伝送データの暗号化 今日、EFS をより便利なものにするために伝送データの暗号化サポートを追加しました。既にサポートしている保管データの暗号化と共に使用する場合、多層防御セキュリティ ストラテジーによる格納ファイルの保護が実現されます。 伝送データの暗号化の実装をより簡単にするために、EFS マウント ヘルパーもリリースします。このヘルパー(ソースコードと RPM 形式で提供)は、EFS への TLS トンネルの確立を助けてくれるもので、また ID によるファイルシステムのマウントもできるようにするものです。この 2 つの機能はそれぞれ独立しています。ヘルパーを使用して、伝送データの暗号化をしていなくても ID でファイルシステムをマウントできます。ヘルパーは実際の mount コマンドのデフォルトオプションの推奨セットも提供してくれます。 暗号化のセットアップ Amazon Linux インスタンスに EFS マウントヘルパーをインストールするところから始めます。 $ sudo yum install -y amazon-efs-utils 次に、EFS コンソールを開き、ファイルシステム ID を取得します。 そして、その ID […]

Read More

EFS File Sync、Amazon EFS ファイルシステムへの高速なファイル転送

AWS re:Invent 2017 の数日前に使用可能になった EFS File Sync について、お話できるようになりました。 大量のファイルをオンプレミスまたはクラウドのファイルシステムから Amazon Elastic File System に移動させる必要があるなら、このツールが最適です。たとえば、 cp および rsync などのシンプルで、シングルスレッドのコマンドラインツールは、クラウドに対応しておらず、膨大な量のデータをある場所から別の場所へ移動するために必要なスループットを提供することができません。こうしたツールは、多くの場合、スケジューリング、オーケストレーション、ネットワークセキュリティに関するスクリプトで、ビルディングブロックとして使用されるのが一般的です。 安全および並列 EFS File Sync は、安全で高度な並列データ転送メカニズムを使用しており、前述のツールよりも最大 5 倍高速で動作します。VMware ESXi または EC2 インスタンスで実行され、NFS (v3 および v4) 経由でソースファイルシステムにアクセスし、EFS が利用可能なすべての AWS リージョンで使用できるエージェントとして利用できます。このエージェントが AWS とのすべての通信を開始するので、VPN を設定したり、ファイアウォールを介してインバウンド接続を許可したりする必要はありません。 AWS マネジメントコンソールで、エージェントと同期タスクを起動、制御、監視することができます。ジョブは、ファイルシステム全体または特定のディレクトリツリーの転送を指定することができ、転送先にすでに存在するファイルを検出してスキップすることもできます。ファイルのメタデータ (変更やアクセスの時間、POSIX の所有権とアクセス許可、シンボリックリンク、ハードリンク) もコピーされます。 EFS File Sync の使用 このブログへの投稿を書くために、EC2 インスタンスを起動し、NFS ファイルシステム (/data) をエクスポートし、ファイルシステムに Linux カーネルのソースコードを転送しました。 […]

Read More

最新の AWS コミュニティヒーロー (2018 年春季)

AWS コミュニティヒーロープログラムでは、世界中の腕の良い AWS デベロッパーによって行われている革新的な作業の一部を紹介しています。 このようなヒーローは、クラウドの専門知識と、コミュニティ構築および教育に対する熱意を組み合わせて、ソーシャルメディアや実際に顔合わせができるイベントで時間と知識を共有しています。ヒーローは、ミーティング、ワークショップ、会議などでコンテンツの推進を積極的に支援しています。 今年 3 月、私たちのクラウドイノベーターのネットワークに、5 人のヒーローが加わりましたのでご紹介させていただきます: Peter Sbarski Michael Wittig Fernando Hönig Anders Bjørnestad Peter Sbarski Peter Sbarski は、A Cloud Guru のエンジニアリング担当副社長です。サーバーレスアーキテクチャとテクノロジーに特化した世界初の会議 Serverlessconf の主催者です。彼は A Cloud Guru の仕事として、サーバーレスアーキテクチャー、クラウドコンピューティング、AWS について講演したり、執筆活動などを行っています。彼は Serverless Architectures on AWS という書籍を執筆しています。現在 Tim Wagner および Yochay Kiriaty と「Serverless Design Patterns」という書籍を共同執筆中です。 Peter はクラウドコンピューティングと AWS について、いつも喜んで語っています。彼の姿は年間を通じて、カンファレンスやミーティングで見かけることができます。彼はオーストラリアのメルボルンとシドニーにおける Serverless Meetups の開催を援助しおり、興味深く革新的なクラウドプロジェクトに取り組んできた経験を共有したいと常に心がけています。 Peter が熱意を注いでいるものとして、サーバーレステクノロジー、イベント駆動型プログラミング、バックエンドアーキテクチャ、マイクロサービス、システムのオーケストレーションなどがあります。Peter はオーストラリアのモナッシュ大学でコンピュータサイエンスの博士号を取得しており、Twitter、LinkedIn、Medium、GitHub で彼をフォローできます。 […]

Read More