Amazon Web Services ブログ

私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。

AWS Organizations(以下、Organizations)は、IT部門が行う複数AWSアカウントの管理を簡単にします。OrganizationsではAWSアカウントのグループを作成でき、それらのグループにセキュリティや自動化設定を一元的管理をするためのポリシーを適用できます。 Organizationsは、個々のAWSアカウントにおけるユーザーが、どのAWSサービスにアクセスできるのかを統制することでセキュリティを向上させます。アカウントに対して、もしOrganizationsがAWS Identity and Access Management (IAM)ポリシーよりも厳しい統制を規定すれば、ユーザーはより厳密なOrganizationsポリシーで守られるでしょう。Organizationsは、新しいアカウントを作成、およびグループへ追加するAPIによって、新規アカウント作成の自動化を可能にします。また、Organizationsは一括請求の機能も含み、組織内のアカウントを自動的に結び付けることで、単一の支払い方法で料金支払いができます。 Organizationsがあれば、アプリケーション、環境、チーム、その他ビジネスにとって意味のあるグループ毎に、規模が拡大するAWSアカウントを更に簡単に管理できるようになります。 詳しくはAWS Organizationsのホームページを参照し、いますぐAWS Organizationsのプレビューにお申し込みください。 原文：Announcing AWS Organizations, Now in Preview (翻訳：Security Solutions Architect 桐山 隼人)

APN パートナーエコシステムの検索をしやすくする為に、AWS Partner Solutions Finder（パートナーソリューションズファインダー）を発表しました。 ユースケース、業界、製品、地域別で検索可能な、AWS Partner Solutions Finderへアクセスください。 全階層のAPNパートナー様の詳細な情報がAWS Partner Solutions Finderでは検索可能です。 AWS Partner Solutions Finderは、AWSコンピテンシー、 サービスデリバリー、 マネージドサービスプロバイダープログラム（MSP)など、APNプログラムのメンバーであるAPNパートナー様の情報をより詳細に把握することができます。 新しいパートナープロファイルページでは、APNパートナー様を一目で、または詳細に知ることのできる新しい環境が提供されます。また、APNパートナー様のスキルセット（AWSによって検証済み）、パートナーソリューション、ケーススタディ、およびオフィスの所在地を表示できます。 AWS Partner Solutions Finderで確認したAPNパートナー様への連絡は、パートナープロファイルページで「Connect」をクリックするだけで、APNパートナー様へ問い合わせができます。 AWSビジネスを加速することに興味がありますか？ AWS Partner Solutions Finderを今すぐ検索してください。   原文：The AWS Partner Network (APN) makes it easier to find the right APN Partner to engage through the Partner Solutions Finder　（翻訳：Partner SA 相澤）

Amazon S3ストレージ管理機能のますます充実するポートフォリオに、新たな機能を発表します。これらにより、ストレージの分析と管理を効率化することができます。本日のリリースに含まれるものは以下です。

AWS re:Invent 2017の初日に開催されているGlobal Partner Summitにて 2017年度のAPN Premier Consulting Partnersが発表されました。 日本からはNEC様、NTT DATA様の2社が新たにプレミアパートナーとして紹介され、 既存の5社とあわせて合計7社となりました。各社様、おめでとうございます！ Classmethod (クラスメソッド株式会社様) cloudpack (アイレット株式会社様) NEC (日本電気株式会社様) NRI (株式会社野村総合研究所様) NTT DATA (株式会社エヌ・ティ・ティ・データ様) Serverworks (株式会社サーバーワークス様) TIS (TIS株式会社様) ※アルファベット順にてご紹介 これでグローバルでは55社のプレミアパートナーがおり、そのうちの7社が日本のパートナー様となります。 今後共、日本市場へのAWSサービスの展開をお願い致します。 (Partner SA 松本)

私の同僚の Kate Miller が AWS Partner Network Blog を投稿しています。本日、彼女のゲスト投稿で、お客様のビジネスニーズにぴったりのパートナー開発者ソリューションを見つけるための新しいツールを紹介しています。 — Jeff; お客様は、AWS でワークロードの設計、移行、管理、最適化を手伝ってくれるコンサルティングパートナーを AWS パートナーネットワーク (APN) 内で求める場合があります。また、ビジネスニーズを満たすために AWS で構築または AWS と統合して活用できるテクノロジーパートナーソリューションを求める場合もあります。AWS には、世界中の何万というコンサルティングパートナーやテクノロジーパートナーで構成されている巨大な AWS パートナープログラムがあります。APN パートナーは、AWS における実質的にすべてのユースケースに対処するお手伝いができます。また、AWS でお客様のニーズに満たすお手伝いができる最適な APN パートナーを、できるだけ簡単に特定して接触できるようにしたいと思います。 AWS パートナーソリューションファインダーの紹介 本日、グローバルパートナーサミットにおいて、APN チームが AWS パートナーソリューションファインダーを発表しました。AWS パートナーソリューションファインダーを使うことで、AWS でビジネスニーズに応じたサービスやソリューションを提供できる APN パートナーをすばやく検索して見つけることができます。AWS パートナーソリューションファインダーでは、以下のことができます。 場所、業界、ユースケース、製品など、一般的なトピック別に検索する 認定された AWS リセラーや AWS マネージドサービスプロバイダーを簡単に見つける AWS コンピテンシーや AWS Service Delivery Program の賞を獲得した APN パートナーをすばやく見つける […]

私の同僚の Dorothy Copeland は、AWS グローバルパートナープログラムのジェネラルマネージャーです。本日、AWS re:Invent の AWS グローバルパートナーサミットに参加した彼女から、以下の詳細なレポートがゲスト投稿として送信されてきました。 — Jeff; re:Invent での重要な AWS グローバルパートナーサミットが無事終了しました。この丸 1 日のイベントは、AWS パートナーネットワーク (APN) パートナー限定です。今年は、AWS のシニアリーダーの基調講演で、APN に関するいくつかの発表、マーケットのキートレンド、AWS でお客様の成功をサポートする APN パートナーの事例が紹介されました。次に、APN チームが、いくつかのビジネスセッションおよびテクニカルセッションを主催し、APN パートナーが AWS ベースのビジネスを構築して成功させるために役立つトピックを取り上げました。サミットにおいて、過去 12 か月間に 10,000 を超える新しいパートナーが APN に登録されたことが発表されました。これにより、お客様は、何千という新しい APN テクノロジーパートナーや APN コンサルティングパートナーから、AWS と統合されたソフトウェアとして最適なものを見つけ、AWS でのワークロードやアプリケーションの設計、構築、移行、管理に役立てることができます。今年のグローバルパートナーサミットで APN チームが行った他の発表についても、いくつか紹介します。グローバルパートナーサミットの基調講演で、以下の AWS 幹部から発表がありました。 Terry Wise James Hamilton Dave McCann Mike Clayville Andy Jassy […]

今までは、実行中のAmazon ECSクラスタの状態の更新を取得するためには、AWS CLIやSDKを使ってコンテナインスタンスとタスクの状態を定期的にポーリングする必要がありました。新しいAmazon ECSイベントストリーム機能によって、これからはAmazon ECSのタスクとコンテナインスタンスの状態更新を準リアルタイムにイベント駆動で受け取ることが可能になりました。イベントはAmazon CloudWatch Eventsを通して配送され、AWS Lambda関数やAmazon SNSトピックといった、あらゆるCloudWatch Eventsのターゲットに向けることができます。 この記事では、簡単なサーバレスアーキテクチャを作って、イベントストリームの更新を受け取り、処理し、そして保存する方法をお見せします。まず最初にLambda関数を作成し、入ってきた全てのイベントをスキャンして実行中のタスクに関連したエラーが無いかを探し、もしあれば即座にSNSの通知を送ります。その後、関数は全てのメッセージをAmazon Elasticsearch Serviceを使ったElasticsearchのクラスタにドキュメントとして保存することで、皆さんや開発チームの方がKibanaのインタフェースを通じてクラスタの状態を監視したり、ユーザから報告された問題に返答するための診断情報を検索することができます。

Apache SparkやPresto、Apache Hadoopエコシステムを利用しているお客様は、ワークフローの完了次第クラスターを終了させることや、安価なAmazon EC2スポットインスタンスを利用してクラスターをリサイズをすることよってコスト節約するために、Amazon EMRの弾力性を活用しています。例えば、お客様は日次のETLや機械学習処理のためにクラスターを作成し、それらの処理が完了したらクラスターを終了させるということや、BI分析者がアドホックでレイテンシーの低いSQLをAmazon S3に置かれたデータに対して行えるよう、業務時間帯のみPrestoクラスターをスケールアウトする、ということが可能です。 Amazon EMRリリース4.xと5.xで新しくサポートされたAuto Scalingによって、お客様は、クラスターのノードを、より簡単に追加(スケールアウト)や削除(スケールイン)できます。スケーリングの動作は、EMRから提供される５分間隔のAmazon CloudWatchメトリクスによって、自動的にトリガーされます。トリガーになるメトリクスには、メモリ利用、未実行アプリケーションの状態、HDFS利用、に関連するいくつかのYARNメトリクスも含まれます。 EMRリリース5.1.0には、2つの新しいメトリクスが導入されました。YARNMemoryAvailablePercentageとContainerPendingRatioです。これらは、Apache SparkやApache Tez、そして、Apache Hadoop MapReduceのような、スケーラブルなYARNベースのフレームワーク向けの、クラスターの利用状況を知るのに便利なメトリクスです。さらに、お客様は、カスタムCloudWatchメトリクスをAuto Scalingポリシーに利用することもできます。 以下は、最大40・最小10インスタンスで、一度に1インスタンスずつ増減する、インスタンスグループに対するAuto Scalingポリシーの例示です。インスタンスグループは、YARN内の利用可能なメモリが15%を下回ると、スケールアウトし、75%を上回るとスケールインします。また、インスタンスグループは、割り当てられているYARNコンテナに対するYARNコンテナの未実行率が0.75になった場合も、スケールアウトします。 さらに、お客様は、EMR 5.1.0のクラスターによってノードが終了される際に、スケールダウンの振る舞いを設定することができます。デフォルトで、EMRは、いかなるタイミングで終了リクエストが投げられたとしても、インスタンス時間単位の境目に実施されるスケールインイベントの最中のみ、ノードの停止を行います。これは、EC2は、いつインスタンスを終了したかに関わらず、時間単位で請求をするためです。この振る舞いによって、クラスター上で実行されているアプリケーションは、コスト効率をより高く、動的にスケールする環境で、インスタンスを利用することができます。 反対に、5.1.0より前のEMRリリースでは、お客様は、以前のデフォルト設定を利用できます。インスタンス時間単位の境目に近接しているかどうかを考慮せず、ノードを終了する前に、ノードをブラックリストしたり、タスクを排出したり、ということが可能です。いずれの振る舞いにおいても、EMRは、まず最も動きの少ないノードを削除しますし、HDFSの不整合を招き得る場合は、終了処理をブロックします。 EMRコンソール、AWS CLI、または、AWS SDKのEMR APIを利用して、Auto Scalingポリシーの作成や変更ができます。Auto Scalingを有効にするためには、Auto Scalingで容量の追加・削除を行うための権限を付与すべく、追加のIAMロールをEMRに与える必要があります。さらに詳細な情報は、Amazon EMRでのAuto Scalingを確認して下さい。また、もし、EMRでのAuto Scalingに関して、ご質問や公開したい面白い事例などございましたら、コメントを下に書いていただければと存じます。 原文: Dynamically Scale Applications on Amazon EMR with Auto Scaling (翻訳: 半場 光晴)

Amazon Auroraは既にdb.r3.large (2 vCPUs, 15 GiB RAM) から db.r3.8xlarge (32 vCPUs 244 GiB RAM)まで5つのインスタンスクラスをご提供していました。これらのインスタンスは非常に多くのプロダクション環境やアプリケーション向けのユースケースをサポートしています。 今日、 db.t2.medium DB インスタンスクラス (2 vCPUs, 4 GiB RAM)の6つ目の選択肢を追加致しました。通常時、このインスタンスクラスではシングルコアの40%のパフォーマンスを利用することが可能で、CPUを利用するクエリやデータベースタスクを実行する場合コアのフルパフォーマンスまでバーストをします。同名のEC2インスタンスの様に、この新しいインスタンスクラスはCPUクレジットを持っており、CPUが多く使われている場合は消費し、そうでない場合はCPUクレジットを蓄積します。(バースト可能な性能を持つ新しい低コストEC2インスタンスで詳細を説明しています) db.t2.mediumは多くの開発・テスト環境に最適です。また、負荷の少ないプロダクションワークロードにも利用出来ます。CPUCreditUsageとCPUCreditBalance メトリクスを監視することでCPUクレジットの利用や蓄積を確認することが出来ます。 本日からご利用いただけます 新しいインスタンスクラスを使ったAmazon Auroraデータベースは本日から起動頂けます。Amazon Auroraが利用出来る全リージョンで利用可能です。1時間あたり$0.082(N.Virginiaリージョンの場合)からご利用頂けます。 —Jeff; (翻訳は星野が担当しました。原文はこちら)