Amazon Web Services ブログ

Category: News

CloudFormation 最新情報 – CLI + サードパーティのリソースサポート + レジストリ

CloudFormation は 2011 年に開始され (AWS CloudFormation – Create Your AWS Stack From a Recipe)、多くの AWS のお客様にとって不可欠なツールになりました。お客様は、テンプレート を一度定義すると、それを使用して AWS リソースを確実にプロビジョニングできるという事実を気に入っています。また、変更セットも頻繁に使用し、変更セットの実行時に行われるアクション (追加、変更、削除) に対する洞察を得るために利用しています。 過去に書いたように、CloudFormation では、一貫性があり、安定していて、均一なモデルを実装するために特別な注意を払っています。これは CloudFormation の重要でありながら見過ごされがちな要素ですが、お客様から高く評価されていると言われています。 それでは、お客様から最も頻繁にある要求のいくつかを見てみましょう。 パフォーマンス – 過去 1 年間、CloudFormation スタックで実行されるオペレーションの数は四半期ごとに 30% 増加しました! 開発チームは、アーキテクチャの改善と低レベルの最適化の組み合わせによって、勢いよく使用量が増えても CloudFormation をより速く、より効率的にするために絶え間なく取り組んできました。過去 2~3 か月間、この作業により、CloudFormation に関連する多くのソフトおよびハードの限界が引き上げられ、作成および更新オペレーションの平均および最大レイテンシーが大幅に低減されました。 カバレッジ – 新しいサービスや新機能を非常に迅速にリリースしていますが、時には CloudFormation がサポートされていない場合もあります。私たちの目標は、可能な限り迅速に新しいサービスと新しい機能をサポートすることであり、私たちは進歩を遂げていると確信しています。また、新しい CloudFormation Coverage Roadmap を開発プロセスへの主要な情報源として使用しており、すでに 43 の問題に対処しています。 拡張性 – CloudFormation を広範囲に使用しているお客様は、AWS […]

Read More

準備進行中 – 新しい AMD 駆動のコンピューティング最適化 EC2 インスタンス (C5a/C5ad)

AWS では、EC2 インスタンスで皆さんにより優れたパワーとより多くの選択肢をお届けすべく準備を進めています。 間もなく、最大 3.3 Ghz の周波数で稼働する、カスタマイズされた第二世代 AMD EPYC 「Rome」プロセッサ搭載の C5a および C5ad インスタンスがローンチされます。これらのコンピューティング最適化インスタンスは、バッチ処理、分散型分析、ウェブアプリケーション、およびその他のコンピューティング集約型ワークロードを実行するために使用できるようになります。M、R、および T ファミリーの既存の AMD 駆動インスタンスと同様に、C5a および C5ad インスタンスは AWS Nitro System 上に構築されており、コストとパフォーマンスに基づいてインスタンスの組み合わせのバランスを取る機会を提供します。 これらのインスタンスは 8 個のサイズに加えてベアメタル型でも利用でき、最大 192 個の vCPU と 384 GiB のメモリを備えています。C5ad インスタンスには最大 7.6 TiB の高速なローカル NVMe ストレージが含まれているため、ビデオエンコーディング、画像処理、およびその他のメディア処理ワークロードに最適です。 ベアメタルインスタンス (c5an.metal および c5adn.metal) は、同等のインスタンスの 2 倍のメモリ量と 2 倍の vCPU 数を提供するため、過去最大で最も強力なコンピューティング最適化インスタンスになります。ベアメタルタイプは、100 Gbps のネットワーク帯域幅にアクセスでき、Elastic Fabric […]

Read More

Firelens の発表 – コンテナログの新たな管理方法

本日、AWS でコンテナサービスを構築した素晴らしいチームが、従来に比べて非常に簡単にログを取り扱うことを可能にする AWS FireLens と呼ばれる新たな優れたツールを立ち上げました。 FireLens を使用することで、顧客は、デプロイメントスクリプトを修正したり、手動で追加のソフトウェアをインストールしたり、追加コードを書き込んだりすることなく、コンテナログをストレージや分析ツールに直接追加できます。Amazon ECS または AWS Fargate の設定をいくつか更新することにより、必要な場所にコンテナログを送信することを FireLens に指示するため、宛先を選択し、オプションでフィルターを定義します。 FireLens は Fluent Bit または Fluentd と動作します。このことは、それらのオープンソースのプロジェクトによりサポートされた宛先にログを送信できることを意味します。AWS ソリューションアーキテクトによりレビューされた AWS Partner Network 製品のリストを確認できるウェブページを維持します。FireLens を使用して、これらの製品にログデータやイベントを送信できます。 FireLens を理解するのに最も簡単な方法は使ってみることです。そこで、このブログの投稿では、Amazon ECS にあるコンテナを用いて、FireLens を使用して、コンテナログを Amazon CloudWatch に転送するデモンストレーションを行います。 まず、タスク定義を設定する必要があります。GitHub の Amazon ECS FireLens の例から定義の例を取得しました。 AWS Identity and Access Management (IAM) ロールを独自の taskRoleArn および executionRoleArn IAM ロールに代替し、また、ブラウザから NGINX コンテナにアクセスできるよう、ポートマッピングを追加しました。 […]

Read More

AWS Launch Wizard を使用して SQL Server Always On のデプロイを加速する

ドメインの専門家でも、クラウドに慣れていないがゆえに、クラウドの開始に手間と時間がかかることがあるそうです。クラウドへの移行を加速するためにも、AWS プラットフォームに関するトライバルな知識やベストプラクティスを前もって必要とせずに、AWS にエンタープライズアプリケーションをすばやく簡単にデプロイしたいという専門家からの声も聞きます。 お知らせAWS Launch Wizard for SQL Server AWS Launch Wizard for SQL Server はシンプルかつ直感的な無償のウィザードベースで、AWS での高可用性 SQL ソリューションの迅速、簡単なデプロイを実現します。ウィザードは、手引きとなるガイドブックを使って、Always On 可用性グループのエンドツーエンドのデプロイを段階的に説明します。必要なパフォーマンス特性といったアプリケーションに関するいくつかの高レベルの質問に答えていくと、ウィザードが一致する AWS リソース (Amazon Elastic Compute Cloud (EC2) インスタンス、Amazon Elastic Block Store (EBS) ボリューム、Amazon Virtual Private Cloud など) の識別、プロビジョニング、設定を行います。選択に基づいて、ウィザードが動的に生成されたデプロイの推定コストを提示します。リソースの選択を変更した場合でも、更新したコスト評価を確認し、お客様の予算に合わせることができます。 承認が完了すると、AWS Launch Wizard for SQL Server がこれらのリソースをプロビジョニングし、わずか数時間で完全に機能する本番対応の SQL Server Always On のデプロイを作成するように設定します。作成したリソースにはタグが付けられるため、識別と操作が容易になります。さらに、ウィザードは AWS CloudFormation テンプレートを作成し、反復可能で一貫性のあるアプリケーションをデプロイするためのベースラインを提供します。 お客様に代わって […]

Read More

AWS Data Exchange – データ製品の検索、登録、および使用について

私たちが暮らす世界は、データ集約型、そしてデータ駆動型に依存しています。 どんな種類の組織でも、データの収集、保存、処理、分析を行い、そのデータを使って意思決定プロセスの通知や改善を行っています。AWS Cloud は、こうした活動すべてに適しています。膨大な量のストレージ、あらゆるケールのコンピューティング能力へのアクセス、多くの異なる種類の分析ツールを実現しています。 たいていの組織では、内部でデータを生成したり操作したりするだけでなく、データセットを生成し、それを一般の人々や業界内で共有しています。2008 年に AWS パブリックデータセット (研究者、アナリスト、および開発者のページング) を立ち上げることで、こうした動きを奨励しようと最初の一歩を踏み出しました。この取り組みは Registry of Open Data on AWS (新しくは Registry of Open Data on AWS (RODA)) に発展し、現在 118 件の興味深いデータセットが含まれ、常に追加されています。 新しくなった AWS Data Exchange 本日、弊社は AWS Data Exchange を立ち上げ、次の一歩を踏み出しました。AWS Marketplaceにこれを追加したことで、80 件を超えるデータプロバイダからの 1,000 件を超えるライセンス可能なデータ製品が含まれることになります。金融サービス、ヘルスケア/ライフサイエンス、地理空間、天気、マッピングなどのカテゴリでは、無料と有料のサービスを含むさまざまなカタログがあります。 データサブスクライバーの場合、これらの製品をすばやく見つけて調達し、使用を開始できます。データプロバイダーなら、独自の製品を簡単にパッケージ化し、ライセンス供与と配信が可能です。両者の観点から Data Exchange を見て、いくつか重要な詳細を確認しましょう。 詳細を見る前に、重要な用語をいくつか定義します。 データプロバイダー – 共有する複数のデータ製品を持つ組織。 データサブスクライバー – データプロバイダーのデータ製品の利用を考えている AWS のお客様。 データ製品 – […]

Read More

現在利用可能: Amazon Personalize のバッチレコメンド

本日、Amazon Personalize がバッチレコメンドをサポートするようになったことをお知らせいたします。 AWS re:Invent 2018 にて開催された Personalize は機械学習の経験をほとんど必要とせずに、アプリケーション用に個人にカスタマイズしたレコメンドを作成できる完全マネージド型サービスです。 Personalize ではオプションで顧客の人口統計情報 (年齢、場所など) だけでなく、アクティビティデータ (ページ閲覧数、サインアップ、購入など) を独自に表示します。次に、記事、製品、ビデオ、音楽など、レコメンドする項目のインベントリを提供します。以前のブログ記事で説明したように、Amazon Simple Storage Service (S3) に保存された履歴データと、JavaScript トラッカーまたはサーバー側からリアルタイムで送信されたストリーミングデータの両方を使用できます。 さらに Personalize はデータの処理と検証、重要なものの特定、正しいアルゴリズムの選択、データに合わせてカスタマイズし API を介してアクセス可能なパーソナライゼーションモデルのトレーニングと最適化を行います。これによってお客様のビジネスアプリケーションを簡単に呼び出すことができます。 ただし、一部のお客様からは、バッチのレコメンドがユースケースにより適しているとの声が寄せられています。たとえば、非常に多数のユーザーまたは項目に対するレコメンド事項を一度に計算し、それらを保存して、電子メールや通知送信などのバッチ指向のワークフローに時間をかけてフィードする機能が必要な場合があります。そのような方法を使うこともできますが、リアルタイムのレコメンドエンドポイントを使用すると、バッチ処理がより便利になり、費用対効果が高まります。 簡単なデモを見てみましょう。 バッチレコメンド事項の紹介 簡単にするために、この投稿でトレーニングされた映画のおすすめソリューションを MovieLens データセットで再利用します。ここでは、このソリューションに基づいてリアルタイムキャンペーンをデプロイする代わりに、バッチレコメンドジョブを作成します。 まず、映画をおすすめしたいユーザーを定義しましょう。S3 バケットに保存する JSON ファイルにユーザー ID を表示しただけです。 {“userId”: “123”} {“userId”: “456”} {“userId”: “789”} {“userId”: “321”} {“userId”: “654”} {“userId”: “987”} 次に、そのバケットにバケットポリシーを適用して、Personalize がバケット内のオブジェクトを読み書きできるようにします。ここでは AWS コンソールを使用していますが、PutBucketAcl API […]

Read More

新機能 ‐ Amazon EMR と Apache Hudi を使用して S3 でデータを挿入、更新、削除する

Amazon S3 のデータの保存により、スケール、信頼性、コスト効率の観点で多くの恩恵が得られます。 その上、Amazon EMR を利用して、Apache Spark、Hive、および Presto のようなオープンソースツールを使用してデータを処理し、分析することができます。 これらのツールと同じように強力ですが、増分データ処理、レコードレベルの挿入、更新、および削除を行うために必要なユースケースを処理するには引き続き課題があることが考えられます。 お客様と話して、個々のレコードに対する増分変更を処理することが必要なユースケースがあることがわかりました。たとえば、次のような場合です。 データプライバシー規制に準拠する。この場合、ユーザーは忘れられる権利を行使するか、データを使用する方法に関する同意を変更するかを選択することができます。 ストリーミングデータを操作する。この場合、特定のデータの挿入とイベントの更新を取り扱う必要があります。 エンタープライズデータウェアハウスまたは運用データストアからデータベースの変更ログを追跡し取り込むために、変更データ取り込み (CDC) アーキテクチャを使用する。 後で到着するデータを復元するか、特定の時点でのデータを分析する。 本日から、EMR release 5.28.0 には Apache Hudi (incubating) が含まれるため、レコードレベルの挿入、更新、削除操作を実行するためにカスタムソリューションを構築する必要がなくなります。Hudi 開発 は 2016 年に Uber に入社し、取り込みおよびETL パイプライン全体の非効率性に対処しました。 最近数カ月、EMR チームは Apache Hudi コミュニティと密接に協力して、Hudi をSpark 2.4.4 (HUDI-12) に更新し、Spark Avro (HUDI-91) をサポートし、AWS Glue Data Catalog (HUDI-306) のサポートを追加するパッチのみならず、複数のバグ修正を提供しました。 Hudi を使用して、S3 でレコードレベルの挿入、更新、削除を実行して、データプライバシー法を順守し、リアルタイムストリームを消費してデータキャプチャを変更し、遅れて到着するデータを復元し、ベンダーに依存しないオープンな形式で履歴とロールバックを追跡できます。データセットとテーブルを作成し、Hudi は基礎のデータ形式を管理します。 Hudi は Apache Parquet および Apache […]

Read More

新しい C5d インスタンスのサイズとベアメタル インスタンスをいますぐ使用可能

Amazon EC2 C5 インスタンスは、バッチ処理、分散型アナリティクス、ハイパフォーマンスのコンピューティング、機械 / 深層学習推論、ad サーブ、高度にスケーラブルなマルチプレイヤーゲーミング、ビデオエンコーディングなどのような計算負荷の高いワークロードに対して非常に一般的です。 2018 年には、非常に高速なローカル NVMe ストレージを追加し、これらの新しいインスタンスを C5d と名付けました。ビデオエンコード、イメージ操作、その他の形式のメディア処理など、高速で低レイテンシーのローカルストレージへのアクセスを必要とするアプリケーションに最適です。また、バッチ処理やログ処理など、データの一時的な保存を必要とするアプリケーションや、キャッシュやスクラッチファイルを必要とするアプリケーションにも役立ちます。 ほんの数週間前に、新しいインスタンスサイズと C5 インスタンスのベアメタルオプションをリリースしました。今は C5d ファミリーに 12xlarge、24xlarge、およびベアメタルオプションなど、同じ機能を追加できます。 新しい C5d インスタンスサイズは、持続的な全コアターボ周波数 3.6 GHz、最大シングルコアターボ周波数 3.9 GHzの Intel の第二世代 Xeron スケーラブルプロセッサ (コード名 Cascade Lake) で実行されます。 新しいプロセッサはまた、 AVX-512 インストラクションセットに基づいた Intel Deep Learning Boost と呼ばれる新機能も備えています。新しいベクトルニューラルネットワークのインストラクション (AVX-512 VNNI) のおかげで、深層学習フレームワークは、畳み込みなどの代表的な機械学習操作をスピードアップし、自動的に広域ワークロードでの推論性能を改善します。 これらのインスタンスは、AWS Nitro System を基礎としており、EBS 処理 (暗号化操作を含む) の専用ハードウェアアクセラレーター、各 Virtual Private Cloud […]

Read More

AWS ブログの 15 年間

私(Jeff Barr: AWSのチーフエバンジェリスト)がこのブログに初めて投稿したのは(Welcome)、ちょうど 15 年前の今日のことになります。そのとき記した紹介の言葉のために、私のキャリアがこれほど新しくて常に変化する世界に入り込むことになるとは全く考えていなかったと言っても、今なら大丈夫でしょう。それから、このブログがどのように存在することになったかについての物語、私が気に入っている投稿のいくつか、執筆してブログに投稿するために実際に行っていることについてお話しするにもよい頃合いに思えます。 始まりのその前 1999 年前後のこと、私は Microsoft の Visual Basic チームの一員でした。XML が産声を上げたばかりで、Dave Winer が RSS について話し始めた頃です。VB6、XML、そして RSS が出会う交差点は私の好奇心を刺激し、私は片手間のプロジェクトとして Headline Viewer という小さなアプリを作り上げました。それをダウンロードできるようにしておいたところ、みんなはそれを気に入り、コンテンツの所有者は自分の RSS を含めてくれるよう私のところに送ってくるようになりました。フィードのリストは独り歩きを始め、みんなはアプリを欲しがると同じほどリストも欲しがりました。私もまた、サーバーのメルトダウンのため初期の自分の実体とでも言うべきものを失った後、その頃について記す 3 番目の個人ブログを始めました。 Aaron Swartz や他のみんなの激励により、私は Headline Viewer に手をかけるのをやめて、2001 年の末頃、フィードを集め、整理し、共有する Syndic8 立ち上げました。余暇を使って約 90,000 行の PHP コードを書きました。50 以上のテーブルを含む、非常に複雑な MySQL サーバーを中心としたものです。私はデータベースのホスティング、スケーリング、セキュリティ、そして管理について学びました。このサイトには、非常に広い範囲のクエリと更新操作をサポートする、XML-RPC ウェブサービスインターフェイスがありました。フィードのコレクションは最初の二、三年のうちに、ほぼ 250,000 のフィードを含むまでに成長しました。 そのときには気づいていなかったのですが、私の初期の XML、RSS、ブログ、ウェブサービスに関する経験は、やがてアマゾンに就職を申し込む時には、私を目立たせるほどのスキルとなっていました。ときには、私たちの趣味や個人的な関心が、ついにはキャリアを変えさせるほどの資産や特殊能力となることもあるのです。 E コマースとウェブサービス このようなことと並行して、私は 2000 年に Microsoft を退職し、当時は新しかったウェブサービスのコンサルティングを始めました。その当時、使われていたほとんどのウェブサービスは、キュートなデモ、株価情報、天気予報、通貨の変換以外の何者でもありませんでした。技術者なら、インターネットを行き交っていた関数コールを見て驚嘆したでしょうが、投資家は肩をすくめて通り過ぎるだけだったでしょう。 […]

Read More

新機能 – CloudFormation スタックへの既存リソースのインポート

AWS CloudFormation を使うと、インフラストラクチャ全体を、テキストによりモデリングできます。この方法により、インフラストラクチャをコードのように扱うことが可能になり、ソフトウェアのバージョン管理やアーキテクチャ上の変更をデプロイ前にチームでレビューするなど、ソフトウェア開発のベストプラクティスを適用できるようになります。 初期段階でコンソールや AWS Command Line Interface (CLI) から作成された AWS リソースは、CloudFormation での管理が必要となる場合があります。たとえば、お客様 (あるいは他のチーム) で、 IAM ロール、仮想プライベートクラウド、または RDS データベースなどを移行の初期段階で作成し、その後、それらを同じスタックに組み入れ最終的なアプリケーションの形に仕上げるための作業時間を割いているとします。こういった場合、CloudFormation を使いリソースをゼロから再作成して、オリジナルのリソースから設定やデータを移行することも多くなります。 お客様によるこれらの手順を簡単にするため、 今回、CloudFormation スタックに既存のリソースをインポートすることが可能になりました。 リソース自体を削除せずに、スタックから除外することは、これまでも DeletionPolicy を Retain に設定することで可能でした。ここに、新なインポート機能も加わることで、利用範囲がさらに広がります。例として、現状では次のことが可能です。 既存リソースをインポートしながら新規のスタックを作成する。 すでに作成済みのスタックに既存リソースをインポートする。 スタック間でリソースの移行をする。 検出されたドリフトを修復する。 親スタックから子スタックを削除した後、別の親からインポートし直すことで、 ネストされたスタックのリファクタリングを行う。 CloudFormation スタックに既存リソースをインポートするには、以下のことが必要です。 インポートするリソースと (既存の) スタックに既に組み込まれているリソースを含む、スタック全体を記述したテンプレート。 インポートする各リソースのテンプレートには、 DeletionPolicy 属性が必要です。これにより、オペレーションの巻き戻しが安全かつ簡単に行えるようになります。 各ターゲットリソース固有の識別子。例としては、インポートをしたい Amazon DynamoDB テーブル、もしくは Amazon Simple Storage Service (S3) バケットの名前などが挙げられます。 リソースのインポート処理中、CloudFormation では次のことをチェックします。 インポートされるリソースが、同じリージョンにある別のスタックに属していないか (IAM ロールなどグローバルなリソースの場合ご注意ください) […]

Read More