Amazon Web Services ブログ

In The Works – Amazon Aurora Serverless

既にご存知の通り、Amazon AuroraはMySQL互換とPostgreSQL互換があり、マネージドサービスで自動的に64TBまでスケールアップするデータベースストレージ’を備えています。Auroraデータベースインスタンスを作成する際に必要なインスタンスサイズの選択や、リードスループットを向上させるためにリードレプリカを作成するかどうかのオプションを選択します。処理の需要やクエリ数の増減に応じて、インスタンスサイズやリードレプリカの数を必要に応じて変更可能です。このモデルはリクエスト数や負荷などのワークロードが予測し易い場合はうまくいきます。 しかし、場合によっては1日や1週間の間に数時間、もしくは数分間だけリクエストがスパイクするようなワークロードの割り込みがあったり予測が難しいケースがあります。セールや1回だけもしくは不定期イベント、オンラインゲームや日時・週次のレポーティング、dev/test、新規アプリケーションなどが当てはまります。適切なキャパシティに調整し続けるためには多くの作業が必要です、そのため安定している状態を基準として支払いを行うほうが懸命です。

Read More

AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動

コンテナは、開発者がアプリケーションを開発・パッケージ・デプロイするのに強力な手法の1つです。AWSでは、十万以上のアクティブなECSクラスタが稼働しており、毎週数億の新しいコンテナが起動しています。これは、2016年からすると400%を超えるお客様成長率です。Amazon ECSやKubernetesといったコンテナのオーケストレーションソリューションは、コンテナワークロードのデプロイ・管理・スケールをより容易にし、敏捷性を増します。しかし、それらのどのソリューションも下回りとなるインフラストラクチャの可用性、キャパシティやメンテナンスを行う必要が依然としてあります。AWSにおいて、私たちはこれを差別化とならない重労働を取り除く機会と考えました。私たちは、コンテナがもたらすスピード、敏捷性や不変性のメリットを十分にお客様にご利用いただき、インフラストラクチャの管理ではなくアプリケーションの構築に注力いただきたいと思っています。 AWS Fargate AWS Fargateは、コンテナをデプロイする最も簡単な方法です。端的に言うと、FargateはEC2に似ていますが、仮想マシンを提供する代わりに、コンテナを提供します。これにより、下回りとなるインスタンス群の管理をせずとも、コンテナを基本的な計算単位として利用することができる技術です。やるべきことは、コンテナイメージ構築し、CPUやメモリの要件を指定し、ネットワークやIAMポリシーを定義し、そしてコンテナを起動することです。Fargateでは、アプリケーションの要件に対して最も近い設定を柔軟に行うことができ、請求は秒単位となります。

Read More

Amazon EMR での Apache MXNet および Apache Spark を使用した分散推論

このブログでは、Amazon EMR で Apache MXNet (incubating) および Apache Spark を使用して大規模なデータセットで分散オフライン推論を実行する方法を説明します。オフライン推論がどのように役立つのか、課題となる理由、および、Amazon EMR で MXNet と Spark を活用して課題を解決する方法を説明します。 大規模データセットでの分散推論 – ニーズと課題 ディープラーニングモデルのトレーニングの後、新しいデータ上で推論を実行して活用します。推論は、不正検出など、その場でのフィードバックが必要なタスクでリアルタイムに実行できます。これは通常オンライン推論と呼ばれています。または、事前計算が役立つ場合は、推論をオフラインで実行できます。オフライン推論のよくあるユースケースは、ユーザーの製品スコアのソートやランク付けを必要とする推奨システムなど、レイテンシー要件が低いサービスです。これらのケースでは、推奨はオフライン推論を使用して事前計算されます。結果は低レイテンシーストレージに保存され、必要に応じて、推奨がストレージから引き出されます。オフライン推論の別のユースケースは、最新モデルから生成された予測による履歴データのバックフィリングです。仮の例として、新聞でこの設定を使用して、人物識別モデルから予測された人物の名前でアーカイブされた写真をバックフィルできます。また、分散推論を使用して、歴史的なデータで新しいモデルをテストし、本番稼働用にデプロイする前により良い結果を生み出すかどうかを確認できます。 通常、分散推論は数百万以上のレコードがあるような大規模なデータセットで実行されます。妥当な時間内にそのような巨大なデータセットを処理するには、ディープラーニングの機能をセットアップされたマシンクラスターが必要です。分散クラスターでは、データ分割、バッチ処理、タスクの並列化を使用した高いスループット処理ができます。ただし、ディープラーニングデータ処理クラスターをセットアップするには課題もあります。 クラスターのセットアップと管理: ノードのセットアップとモニタリング、高い可用性の維持、ソフトウェアパッケージのデプロイと設定など。 リソースとジョブの管理: ジョブのスケジューリングと追跡、データ分割とジョブの障害への対処。 ディープラーニングのセットアップ: ディープラーニングタスクのデプロイ、設定、および実行。 次に、このブログの投稿では、Amazon EMR で MXNet および Spark を使用してこれらの課題に対処する方法を示します。

Read More

Amazon MQ – ActiveMQのマネージドメッセージブローカーサービス

メッセージングは、分散アプリケーションのパーツを繋げ、弾力性を追加し、スケーラビリティの高い実装を可能にするアーキテクチャです。例えば、今年、Amazon Simple Queue Service (SQS) とAmazon Simple Notification Service (SNS)は、全体で400億件、1秒あたり1000万件にもおよぶPrime Dayのお客様の注文を処理しましたが、目に見えた問題は発生しませんでした。 SQSとSNSは、クラウドで生まれたアプリケーションに幅広く利用されてきました。しかしながら大規模なお客様の多くは、既にオープンソースベースあるいは商用ライセンスのメッセージブローカーを利用しています。彼らのアプリケーションはミッションクリティカルであり、そこで使われるメッセージングも重要です。お客様は、メッセージインフラストラクチャのセットアップと継続的なメンテナンスが”苦痛である”と言っており、少なくとも1週間に10時間をこの雑用に費やしているとおっしゃっています。 新しいAmazon MQ 11/28日、3クリックで数分ではじめられるApache Active MQのマネージドメッセージブローカーサービスであるAmazon MQ をローンチします! 御存知の通り、Active MQは高速で機能が豊富な人気のオープンソースメッセージブローカーです。キューとトピックを提供し、耐久性あり/無しのサブスクリプション、プッシュベースとポーリングベースのメッセージングとフィルタリングを提供します。 マネージドサービスとして、Amazon MQではActive MQの管理とメンテナンスが考慮されています。これには、ブローカーのプロビジョニング、パッチ適用、高可用性のための障害の検知とリカバリ、メッセージの耐久性に関する責務が含まれています。 Amazon MQでは、Active MQ consoleと、JMS,NMS,AMQP,STOMP,MQTT,WebSocketを含むメッセージングのための業界標準のAPIやプロトコルに直接アクセスができます。これによって、これらの標準を利用するあらゆるメッセージブローカーからコードの書き換えなしにアプリケーションごとAmzazon MQへ移行できます。 開発やテスト用にシングルインスタンスのAmazon MQ brokerまたは、AZを跨って素早い自動的なフェイルオーバーを提供するActive/Standbyのペアを作成できます。どちらの場合もデータはAZをまたがって配置され、ブローカーインスタンスとメッセージストレージを従量課金でご利用いただけます。 Amazon MQはAWSファミリーの一員であり、サービスAPIの認証と認可に対してAWS Identity and Access Management (IAM)を利用します。Amazon CloudWatchメトリクスを利用して、キューの深さのような注目すべきメトリクスを継続的に監視し、 必要に応じてコンシューマーフリートのAuto Scalingを発動したりすることが可能です。

Read More

ハードウェアにダイレクトアクセスを提供するAmazon EC2 Bare Metal (ベアメタル)インスタンス

お客様からAWSへの優れたリクエストをいただく際、私達は詳細に要望をお聞きし、多くの質問をし、理解をしてニーズに応えられるようベストを尽くしています。これらの活動の結果として私達はサービスや新機能をリリースしています。 一方で私達は決して特定のお客様専用の一度きりの仕組みを作りこんだりはしません。その方法は混乱を生み、スケールさせる事を困難にしますし、私達のやり方ではありません。 そうではなく、全てのAWSのお客様は私達が作ったもの全てにアクセスでき、全員が利益を得ることが出来ます。VMware Cloud on AWSがこの戦略での良い実例でしょう。VMware社は私達に、VMwareの仮想化スタックをAWSクラウドのハードウェア上で直接稼働させたい、それによってお客様がAWSがオファーする拡張性、セキュリティ、信頼性を手に入れることが出来るとリクエストしました。 私達は仮想化層をネストする事によるパフォーマンス低下を望んでいない他のお客様からもベアメタルハードウェアに興味があると聞いていました。お客様は物理リソースにアクセスし、パフォーマンスカウンターやIntel® VTといった、仮想化環境では通常サポートされないローレベルのハードウェア機能を利用したいと考えていました。また、非仮想化環境でしか稼働できないライセンスのソフトウェアを稼働させるために必要としている方もいました。 ネットワーク、ストレージ、その他EC2関連機能を仮想化プラットフォームの外に出して、専用ハードウェアに移動させる努力を数年間に渡って続けてきており、より良い環境を提供できるための下地が出来ています。この活動は以前のこのブログ(今すぐご利用可能 – Amazon EC2 コンピューティング最適化インスタンス C5)で紹介しており、ハードウエアアクセラレーターでの性能向上を提供できています。 そして現在ではVMware社からのリクエストにあったように、ベアメタルのハードウェアをVMwareハイパーバイザーとともに用意し、これまで通り全てのAWSのお客様に提供しています。では次は何が出来るようになるのか、ぜひ見てみましょう!

Read More

Amazon GuardDuty – 継続したセキュリティ監視と脅威の検知

ITインフラ(AWS アカウントでしたり、セキュリティクレデンシャル、またAWS上で稼働する仮想マシン、アプリケーション等)への脅威は日々形を変え、襲いかかります。オンラインの世界は陰険な場で、ITインフラを安全かつ健全に保つために、ツールでしたり、経験知識、知見をお持ちだと思います。 Amazon GuardDuty は正にそのためにデザインされました。公開データ、AWS 上で生成されるデータといった多数のデータをもとに、機械学習を行います。GuradDury はそれらをもとに、見落としがちな傾向、パターン、異常を追跡し、何億ものイベントの解析を行います。GuardDuty は数クリックで利用開始でき、数分でFindings(イベント)が表示されます。 動作方法 GuardDutyは 脅威情報を含む複数のデータストリームから、悪意のあるIPアドレス、デバイスドメインを認識し、あなたのAWSアカウントで悪意のある、もしくは不正な行動があるか特定するために学習します。VPC Flow Logs、CloudTrail のイベントログ、DNS ログを集め組み合わせることにより、GuardDuty は非常に多くのことなったタイプの危険性のある、悪意のある行動を検知します。その中には、既知の脆弱性でしたりポートスキャン、通常とは異なるロケーションからのアクセス等も含まれます。AWS の観点では、不正なデプロイメントでしたり、CloudTrail の異常なアクティビティ、API アクセスパターン、複数のサービスリミットを越えようとするアクセス等、疑わしいAWSアカウントアクティビティの検知を行います。それに加え、GuardDuty は悪意のあるエンティティ、サービス、データを抜き出そうとする行動、暗号侵害を試みるインスタンスと接続する、感染を受けたインスタンスも検知します。 GuardDuty はAWS上で提供され、パフォーマンス、信頼性の観点で既存サービスへの影響はありません。エージェント、センサー、ネットワークアプリケーションも必要ありません。このクリーンで既存に変更を加えない点は、みなさんのセキュリティチームへのアピールにもなりますし、すべてのAWSアカウントでGuardDutyを有効にする後押しになります。 Findings(検知されたアクティビティ) は3つのレベル(低・中・高)で通知され、詳細情報、復旧アクションの提案も合わせて通知されます。また、FindingはCloudwatch Eventsとの連携が可能で、ある特定の問題に関してはLambda ファンクションと連携し、復旧アクションを取ることが可能です。またこの連携機能により、GurdDuty のFinding 情報を、Splunk、Sumologic、 PagerDuty 等のイベント管理システムと簡単に連携が可能となりますし、JIRA、ServiceNowといったワークフローシステムとの連携、Slack連携も可能になります。 GuardDutyのはじめ方 では、簡単にGuardDutyの始め方をご説明します。はじめにGuardDuty Consoleを開き、開始をクリックします。 その後、GuardDuty を有効にするために確認を行います。そうすることで、GuardDuty のログ解析に必要なサービスリンク ロールが準備され、”GurdDuty の有効化”をクリックすると準備が整います。 アカウントによってはFindingがあまり無いアカウントもあるかもしれません。General Setting から、Generate sample findingsをクリックすると、サンプルのFindingsが確認できます。 あるFindingを選択すると、詳細が確認できます。 虫眼鏡アイコンから拡大し、関連リソース、アクション、その他値のフィルターを作成することが出来ます。下記のようにインスタンスに紐づくすべてのFindingsをフィルターすることも可能です。 信頼IP、また悪意のあるIPリストを追加することで、ご自身の環境にあったGuardDuty環境にカスタマイズもできます。 管理者アカウントでGuadDutyを有効にし、その他のアカウトを参加アカウントとして招待します。 それらアカウントが参加を承認すると、それらアカウントのFindingsが管理者アカウントと共有されます。 時間の関係もありGuardDuty の多くすべてをお話できないため、是非30日間のトライアルを是非ご利用下さい。トライアル終了後はVPC Flow Logs、CloudTrail ログ、DNS ログに対し解析を行った量に応じ課金されます。 利用可能リージョン […]

Read More

AWS AppSyncの紹介 – リアルタイムおよびオフライン機能を備えたデータ駆動型アプリケーションの構築

現在、モバイルデバイスや便利なアプリケーションは私達の生活にとって欠かせないものになっています。モバイルデバイスへの依存が高まるにつれ、私たちの注目を集めて何百万ものアプリケーションが爆発的に増加しています。これはモバイルデベロッパーにとって、高品質かつリアルタイムなユーザーが求めるアプリケーションを構築する必要があることを意味します。これにより、モバイルアプリケーションは、ユーザー間でのデータ同期、オフラインサポート、データディスカバリーなどの機能が実装されていることが必須になってきています。いくつかの記事、(InfoQ、DZone、モバイル開発ブログAlleviateTech)によると前述の機能を提供するうえで重要な要素の1つはクラウド型モバイルアプリケーションと言われています。 モバイルデータの同期やデータストレージなどに関しては特にこれが言えるようです。 このような背景から、クラウド上のデータ集約サービスを使って革新的なモバイルアプリケーションを開発するための新サービスを発表するのに最適なタイミングだと考え、AWS AppSync を紹介します。AWS AppSync は、フルマネージドなサーバーレスGraphQL サービスで、リアルタイムデータクエリ、同期、通信、およびオフラインプログラミングの機能を提供します。使い慣れていない人たちのために、GraphQL 仕様に関する情報を簡単に紹介しましょう。

Read More

AWSインスタンスの新しいSAP認定とベンチマーク結果の世界記録

Steven Jonesは、Amazon Web Services(AWS)のテクニカルディレクターを務めています。 私がAmazon Web Services(AWS)で働いていて最も楽しんでいることは、ミッションクリティカルなワークロードをAWSクラウドに移行するための個々の移行戦略を開発し、遂行する際に、お客様と緊密な関係が持てる機会です。最も重要なのは、私たちのロードマップの推進に必要なのは、こういったタイプの会話ということです。 2016年5月、AWSクラウド上に大規模なSAP HANAを実装する目的で設計された、2TBのRAMを備えたx1.32xlargeインスタンスタイプが利用可能になったことを発表しました。 2016年8月には、最大7つのノードつまり14TBのRAMを備えた大規模スケールアウト構成のSAP HANAクラスタのSAP認定取得とサポート開始を発表しました。 これに続いて、2016年10月に、1TBのRAMを搭載したx1.16xlargeインスタンスタイプを追加しました。 今年の5月に遡ると、単一システムで大量のRAMを必要とする実装のために4TBのRAMを備えたx1e.32xlargeインスタンスタイプを、またx1.32xlargeインスタンスを17ノードつまり34TBのRAMを備えた非常に大規模スケールアウト構成のSAP HANAクラスタにおけるSAPサポート開始を、そして2018年までのロードマップとして8TBから16TBのRAMを備えたより大きなAmazon Elastic Compute Cloud(Amazon EC2)インスタンスの計画を発表しています。 私たちは、SAPワークロードにおける更なる導入の選択肢をサポートするために、継続していくつかのアップデートを行っています。今月初めに5つの小さなX1eサイズを提供開始しました。これらの追加のインスタンスタイプは、anyDB(SQL Server、Oracle、IBM Db2など)で稼働するSAP NetWeaver向けのSAP認定を取得済みで、今すぐご利用いただけます。CPUに対してメモリの比率が高いため、これらのX1eサイズはデータベースインスタンスに最適です。 インスタンスタイプ vCPUs メモリ(GiB) ネットワーク性能 SAPS x1e.xlarge 4 122 最大10Gbps 4,109 x1e.2xlarge 8 244 最大10Gbps 8,219 x1e.4xlarge 16 488 最大10Gbps 16,438 x1e.8xlarge 32 976 最大10Gbps 32,875 x1e.16xlarge 64 1,952 10Gbps 65,750 x1e.32xlarge 128 3,904 […]

Read More

Amazon Polly を使用して音声電話で AWS アカウントのセキュリティイベントに関するアラートを受信

AWS アカウントのセキュリティは極めて重要です。AWS アカウントのセキュリティに関するイベントの最新情報を把握しておくことが大切です。メールや SMS など、様々な方法で通知を受け取ることができますが、今回のブログでは Amazon Polly といった Amazon AI サービスや、Twilio のようなクラウドベースによるコミュニケーションプラットフォームを使用して音声アラートを受信する方法をご紹介します。 Amazon Polly はテキストを肉声のように読み上げるサービスで、スピーチが可能なアプリケーションの作成を可能にします。これは音声対応製品の全く新しいカテゴリです。Polly はディープラーニング技術を使用して、肉声のような音声を合成します。様々な言語を色々な音声で提供します。 移動が多いエンタープライズ IT セキュリティの社員にとって、AWS アカウントのセキュリティイベントのアラートを音声電話で聞くことができるのは実に便利です。セキュリティイベントは、その重要度や優先度を元にカスタムで定義できます。重要度や優先度のレベルが高いセキュリティイベントに関するアラートを、電話を介してシステムに送ることができます。 音声電話によるアラートを利用する上で、私は音声、ビデオ、メッセージングといった API 機能を提供する Twilio を使用しています。Twilio のプラットフォームを使用し、AWS アカウントでセキュリティイベントが発生した時に音声電話を掛ける API 呼び出しを発行するようにプログラムすることができます。Amazon Polly はテキストのアラートを音声メッセージに変換して電話で再生することができます。 ソリューションの概要 このソリューションは次のアーキテクチャ図で示した 2 つのシステムから構成されています。 イベント検出と通知システム テキストを音声に変換するシステム イベント検出と通知システムは、テキストから音声に変換するシステムから分離されます。他のユーザーが定義したイベント検出において後者が一般的なためです。このブログでは、テキストから音声に変換するシステムを取り上げ、過去のブログで紹介したイベント検出と通知システムをソリューションの例として使用します。

Read More

AWS Machine Learning Research Awards の発表

AWS Machine Learning Research Awards の発表です。この新しいプログラムでは、Machine Learning (ML) の斬新な研究に取り組む大学の学部、教授、博士課程の学生、および博士号取得後の研究者に資金援助を行います。このプログラムに基づいて、現在、カーネギーメロン大学、カリフォルニア工科大学 (Caltech)、ハーバードメディカルスクール、ワシントン大学、およびカリフォルニア大学バークレー校との提携を進めています。 AWS クラウドのスケールおよびパフォーマンスを、Apache MXNet、Tensorflow、Caffe2、Microsoft Cognitive Toolkit (CNTK)、Pytorch などの強力なフレームワークと組み合わせると、Machine Learning の研究が躍進する空前の機会となります。このプログラムの目標は、多種多様な Machine Learning アプリケーションおよびフォーカスエリアにわたって、研究者による革新的なアルゴリズム、文献出版、ソースコードの開発を促進することにあります。受賞者は、資金提供を受けるだけでなく、Amazon のサイエンティストやエンジニアからコンピューティングリソース、トレーニング、メンターシップを受け、さらにシアトルの AWS 本部で開催されるリサーチセミナーに参加する機会が与えられます。 AWS Machine Learning Research Awards プログラムの特徴 このプログラムで研究者が得られる利点は以下のとおりです。 資金提供 – 学部およびプロジェクトレベルで配布され、学術機関に対するワンタイムの無制限のギフトとして設定されます。 AWS クレジット – 賞には AWS クレジットが含まれ、このクレジットを EC2 P3 インスタンスタイプや Deep Learning AMI などの任意のサービスに使用できます。 トレーニング – AWS で Machine Learning を実行する方法のチュートリアルや、Amazon […]

Read More