Amazon Web Services ブログ

Category: Compute

[AWS Black Belt Online Seminar] VMware Cloud on AWS 資料及び QA 公開

先日 (2020/05/27) 開催しました AWS Black Belt Online Seminar「VMware Cloud on AWS」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200527 AWS Black Belt Online Seminar VMware Cloud on AWS AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. ストレッチ構成ではなくても Elastic DRS を使えるのでしょうか? A. Elastic DRS は標準クラスタ構成で利用可能です。ただし、現在以下のタイプの SDDC ではサポートされていません。詳細および最新情報は VMware 社ドキュメントをご参照ください。 ストレッチクラスタが展開されている SDDC シングルホスト SDDC Q. SDDC は複数のAWSアカウントと接続可能でしょうか? A. AWS Transit Gateway を利用することにより、1つの SDDC から複数の AWS アカウントに接続が可能です。詳細な接続構成は、こちらのサイト内の ”Integrating […]

Read More

AWS が NVIDIA A100 Tensor コア GPU ベースの Amazon EC2 インスタンスの提供開始を計画

数万人もにおよぶ AWS のお客様が、機械学習 (ML) アプリケーションの構築を AWS に依存しています。AWS を使用して、Airbnb や Pinterest などのお客様は検索の推奨事項を最適化しています。また、Lyft や Toyota Research Institute は自動運転車プログラムを開発し、Capital One や Intuit は AI を利用した顧客アシスタントを構築およびデプロイしています。 AWS は、新興企業だけでなく大企業にも、さらに、初心者から ML 専門開発者に至るまで、あらゆるタイプのお客様に適した ML サービスと AI サービスを幅広くかつ深いポートフォリオで提供しています。このポートフォリオの基本的なコンポーネントには AWS のコンピューティング、ネットワーキング、ストレージサービスが含まれており、これらを使って、あらゆる規模の ML アプリケーションに強力かつコスト効率の高いインフラストラクチャを提供しています。 NVIDIA GPU を利用した、高性能で低コスト、さらに拡張性の高い深層学習向けコンピューティングインフラストラクチャ モデルのトレーニング時間は、そのモデルの反復性や迅速な精度の向上性に直接影響します。NVIDIA® GPU をベースにした高性能でコスト効率の高い Amazon EC2 インスタンスへのアクセスを提供することで、AWS は業界をリードしています。 Amazon EC2 P3 インスタンスを介して、NVIDIA V100 Tensor コア GPUを提供した最初のクラウドが AWSでした。さらに、Amazon EC2 P3dn.24xlarge […]

Read More

Amazon CloudWatch での Prometheus メトリクスの使用

Imaya Kumar Jagannathan、Justin Gu、Marc Chéné、および Michael Hausenblas 今週の初めに、AWS は CloudWatch Container Insights での Prometheus メトリクスモニタリングの公開ベータ版サポートを発表しました。この記事では、ユーザーがプロビジョニングする AWS クラスター上の Amazon Elastic Kubernetes Service (EKS) および Kubernetes で、コンテナ化されたワークロードに新しい Amazon CloudWatch 機能を使用する方法をご紹介します。 Prometheus は Cloud Native Compute Foundation (CNCF) の卒業プロジェクトで、アクティブで大きなプラクティショナーコミュニティを持つ人気のオープンソースモニタリングツールです。Amazon CloudWatch Container Insights は、コンテナ化されたアプリケーションからの Prometheus メトリクスの検出と収集を自動化します。CloudWatch Container Insights は、カスタム CloudWatch メトリクスを自動的に収集し、フィルタリングして、AWS App Mesh、NGINX、Java/JMX、Memcached、および HAProxy などのワークロード用のダッシュボードで視覚化された集約メトリクスを作成します。デフォルトで、事前に選択されたサービスが 60 秒ごとにスクレイピングおよび事前集約され、クラスターおよびポッドの名前などのメタデータで自動的にリッチ化されます。 AWS では、OpenMetrics […]

Read More

[AWS Black Belt Online Seminar] Amazon Elastic Container Service (Amazon ECS) 資料及び QA 公開

先日 (2020/04/22) 開催しました AWS Black Belt Online Seminar「Amazon Elastic Container Service (Amazon ECS)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amazon ECS) AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. AWS CodeDeploy を利用してデプロイをしていますが、一時的にタスクが2つ立ち上がってしまうため、コンテナインスタンスを通常時の2倍のメモリ量で用意しておかないとデプロイが成功しません。通常時はコンテナインスタンスのメモリの半分しか利用できずもったいないと感じているのですが、何か良い方法はありませんでしょうか? A. ご質問より、現在は EC2 起動タイプにてAWS CodeDeploy を使用した Blue/Green デプロイ利用されているものと推察します。余剰リソースを常時確保しておかなくても済むようにするためには EC2/Fargate 起動タイプごとにそれぞれ考えられる解決策が異なります。 Fargate 起動タイプの場合 Fargate 起動タイプではタスク実行のための仮想マシンを AWS 側がお客様に代わって管理・運用するため、お客様は前もって必要な量の仮想マシンの準備について考える必要はありません。デプロイの最中に一時的にタスクの数が増えることによりその分の料金は発生しますが、足回りの仮想マシンについての準備や料金を考慮する必要がなくなるため、現在の課題を解決できる可能性が高いと考えられます。 EC2 起動タイプの場合 EC2 起動タイプでは、タスクを実行するための仮想マシンを用意し、それらを管理・運用することはお客様の責務になるため、Fargate 起動モードと比べると多少検討が必要です。 この場合に常時余剰リソースを確保しておかなくても済むようにするためには大きく分けて2つの戦略が考えられます。 […]

Read More

[AWS Black Belt Online Seminar] AWS ParallelCluster ではじめるクラウドHPC 資料及び QA 公開

先日 (2020/04/08) 開催しました AWS Black Belt Online Seminar「AWS ParallelCluster ではじめるクラウドHPC」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200408 AWS Black Belt Online Seminar AWS ParallelCluster ではじめるクラウドHPC AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Parallel ClusterはAWSサポート対象外でしょうか?問合せ等はできますでしょうか? A. AWS ParallelCluster は、AWS 公式のオープンソースソフトウェアであり、サポートの対象となります。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 — AWS Innovate Online Conference / AWS Startup Day Online ** 好評につき期間延長!5/8 まで ** 【42セッション公開中】AWS Innovate は、AWS […]

Read More

Excel データを自動的に Amazon QuickSight に取り込む

Amazon QuickSight は、クラウドベースで高速なビジネスインテリジェンス (BI) サービスです。これにより、組織の誰もが容易に洞察を入手できるようになります。この投稿では、頻繁に変更されるデータを Amazon QuickSight ダッシュボードの SPICE (超高速、並列、インメモリ計算エンジン) データセットに自動でインポートする、サーバーレスのデータ取り込みパイプラインを構築する方法を示します。 BI 開発でアジャイルであることは、時には非常に困難です。たとえば、セルフサービス分析を実行するエンドユーザーは、追加のアドホックデータを既存のデータセットに追加し、対応する更新済みダッシュボードとレポートをタイムリーに表示することができます。ただし、ダッシュボードとレポートは通常、厳格なスキーマを持つ単一のオンライン分析処理 (OLAP) データウェアハウスの上に構築されます。そのため、エンドユーザー (データセットを直接更新する権限がない) は、ウェアハウスでデータを更新するために、複雑で時間のかかる手順を実行する必要があります。または、データセットを手動で編集するためにチケットを発行することもできますが、それでも非常に不便なソリューションであり、特にデータを頻繁に更新する必要がある場合は、相当な量の反復手動作業が必要になります。 したがって、リアルタイムのデータ取り込みを実行できる自動データ処理ツールは非常に便利です。この投稿では、エンドユーザーが Excel ファイルを Amazon S3 またはその他のデータファイル共有場所にアップロードするときに、次のエンドツーエンドプロセスを実行するツールについて説明します。 Excel ファイルから未加工データを消去します。これには、多くの書式設定と冗長な情報が含まれている場合があります。 クリーニングされたデータを取り込みます。 ステータスチェックを実行して、データのクリーニングと取り込みのプロセスをモニタリングします。 結果通知をエンドユーザーと BI 開発チームに送信します。 最近開始されたクロスデータソース結合機能により、ファイル間、ファイルとデータベース間、データベース間結合など、Amazon QuickSight がサポートするすべてのデータソース間で結合できます。詳細については、Amazon QuickSight のデータソース間での結合を参照してください。 クロスデータソース結合に加えて、Amazon QuickSight は SPICE 取り込み用の新しい API も開始しました。詳細については、データを SPICE にインポートと、Amazon QuickSight の新しい API とテーマ機能で、分析をさらに進化させるを参照してください。 この投稿では、これらの機能を組み合わせて、Excel ファイルをクリーニングして Amazon QuickSight の SPICE データセットに自動的に取り込むアジャイルソリューションを構築する方法を示します。SPICE […]

Read More

高速、低コストで、より良いAPIの構築 – HTTP APIが利用可能(GA)になりました

本投稿は、Senior Developer Advocate, AWS Serverless Applications のEric Johnsonの寄稿によるものです。 2015年7月、AWSはAmazon API Gatewayを発表しました。これにより、開発者はさまざまな種類のアーキテクチャのフロントに配置して安全でスケーラブルなAPIを迅速に構築できるようになりました。それ以来、API Gatewayチームは顧客向けの新しい機能とサービスを構築し続けています。 図1: API Gateway機能追加タイムライン 2019年初頭、チームは現在のサービスを評価し、API Gatewayの次の姿がどうあるべきか計画を立てました。新しい言語と技術によるプロトタイプを作成し、RESTおよびWebSocket APIの構築から学んだ教訓を適用し、そして、顧客のフィードバックを入念に調べました。その結果として、Amazon API GatewayのHTTP APIが完成しました。これは、より高速で、より低コストで使い易くなるように、ゼロから構築されたサービスです。要するに、HTTP APIはAPIを構築するためのより良いソリューションを提供します。APIを構築していて、HTTP APIが要件に合っている場合は、HTTP APIから始めるのが良いでしょう。   より速く ほとんどのユースケースで、HTTP APIはレイテンシを最大60%削減します。開発者は、最小限のレイテンシと最大限の機能を備えたアプリケーションの構築に苦心しており、アプリケーションプロセスに関係する各サービスがレイテンシを追加する可能性があることを理解しています。 図2: すべてのサービスがレイテンシを追加   これを念頭に置いて、HTTP APIは、API Gatewayサービスのレイテンシオーバーヘッドを削減するように構築されています。リクエストとレスポンスの両方を足し合わせても、すべてのリクエストの99%(p99)でHTTP APIからの追加レイテンシが10ミリ秒未満になります。   より低コストで Amazonでは、中核となるLeadership Principles の一つとして、Frugality(倹約)があります。私たちは、費用対効果の高い方法で物事を行い、その節約がお客様に還元されることを信じています。新しいテクノロジーが利用可能になり、ほぼ5年間にわたりAPI Gatewayを運用し得た専門知識により、より効率的に実行するためにHTTP APIを構築しました。 図3: REST / HTTP APIの価格比較 us-east-1の価格設定を使用して説明します。図3は、1か月あたりの1億回、5億回、および10億回のリクエストのコスト比較を示しています。全体的に、HTTP APIは、API Gateway REST APIと比較して少なくとも71%低コストです。   よりシンプルに HTTP […]

Read More

面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫

開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWSではAmazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。
面白法人カヤック の技術部/インフラエンジニアである 藤原 俊一郎 氏にゲスト投稿いただき、Amazon ECS をはじめとした各AWSサービスをビルディングブロックとして組み合わせて利用していく上での課題と、その解決策の実例を紹介します。

Read More

AWS Fargate と Prowler を使用して、AWS サービスに関するセキュリティ設定の検出結果を Security Hub に送信する

このブログ記事では、オープンソースのセキュリティツールである Prowler を AWS Security Hub と統合する方法を紹介します。Prowler は Amazon Redshift、Amazon ElasticCache、Amazon API Gateway および Amazon CloudFront などのサービスに関する多数のセキュリティ構成チェックを提供します。Prowler と Security Hub を統合すると、既存の Security Hub 連携、またはコンプライアンス標準で現在ではカバーされていないリソースに関する情報が提供されます。Prowler チェックを使用することで、Security Hub で既に提供されている既存の CIS AWS Foundations コンプライアンスや、パートナーソリューションから取り込むコンプライアンス関連の検出結果を補うことができます。 この記事では、Docker を使用して Prowler をコンテナ化し、サーバーレスコンテナサービス AWS Fargate でホストする方法について説明します。Prowler を Fargate で実行すると、インフラストラクチャのプロビジョニング、構成、拡張が不要になり、必要なときにのみ実行されます。コンテナはアプリケーションのコード、設定、および依存関係をどこでも実行できる1つのオブジェクトにパッケージ化する標準的な方法を提供します。サーバーレスアプリケーションは、サーバーのプロビジョニング、スケーリング、および管理を必要とせずに、ユーザーが定義したイベントに応じて自動的に実行およびスケーリングされます。

Read More

シーメンスが Amazon S3 データレイクの更新用に、フルマネージドのスケジューリングのしくみを構築した方法

シーメンスは 37 万人を超える従業員と 170 年の歴史を持つ、グローバルなテクノロジーをリードする企業です。シーメンスのネットワークとアセットを継続的に監視するシーメンスサイバーディフェンスセンター (CDC) が、同社をサイバー犯罪から保護しています。このときに生じる膨大なデータ負荷を処理するため、CDC は ARGOS と呼ばれる次世代の脅威検出と分析のためのプラットフォームを構築しました。ARGOS はハイブリッドクラウドソリューションで、フルマネージドの AWS のサービスを多用して、ストリーミング、ビッグデータ処理、機械学習を行います。 セキュリティアナリスト、データサイエンティスト、脅威インテリジェンスチーム、インシデントハンドラーなどのユーザーが、ARGOS プラットフォームのデータに継続的にアクセスします。さらに、さまざまな自動コンポーネントがデータを更新、拡張、削除し、情報の充実、データ品質の向上、PII 要件の実施を行ったり、スキーマの進化や追加データの正規化要件のためのデータ変更を行います。データを常に利用可能かつ一貫した状態に保つには、いくつかの課題があります。 このようなシナリオでは、オブジェクトベースのデータレイクは、従来のトランザクションデータベースと比較して、コストの観点では非常に有益ですが、アトミック更新をほとんど許可しない、あるいは極めて複雑でコストのかかる拡張を必要とします。この問題を解決するため、シーメンスは、クエリのパフォーマンスと可用性を損なうことなく、 Amazon S3 ベースのデータレイクでアトミックファイルを更新できるソリューションを設計しました。 この投稿では、S3 データ更新タスク用の使いやすいスケジューリングサービスであるこのソリューションをご紹介します。仮名化、匿名化、機密データの削除など、いくつかの目的のために、シーメンスはこのソリューションを使用しています。この投稿では、このソリューションを使用して、定義した時間が経過した後にデータセットから値を削除する方法を説明します。ソリューションのアーキテクチャは明確に定義されており、スタック全体が 200 行未満のソースコードで構成されているので、データ処理タスクをさらに追加することは難しくはありません。フルマネージドの AWS サービスだけをベースにしているため、運用オーバーヘッドが最小限に抑えられます。 アーキテクチャの概要 この投稿では、クエリメカニズムとしての継続的なデータ取り込みと Amazon Athena を備えた S3 ベースのデータレイクを使用します。取り込み後、定義した時間後の特定の値を自動的に削除することを目指します。Athena を介してデータを使用するアプリケーションとユーザーは、影響を受けません (たとえば、ダウンタイムや重複などのデータ品質に関する問題はありません)。 次の図は、このソリューションのアーキテクチャを示しています。 シーメンスは、以下のサービスとコンポーネントでソリューションを構築しました。 スケジューリングトリガー – 新しいデータ (JSON 形式など) を S3 バケットに継続的にアップロードします。 タスクスケジューリング – 新しいファイルが到着するとすぐに、AWS Lambda 関数が結果の S3 バケット通知イベントを処理します。処理の一部として、Amazon DynamoDB に Time […]

Read More