Amazon Web Services ブログ

Amazon EMR での Apache MXNet および Apache Spark を使用した分散推論

このブログでは、Amazon EMR で Apache MXNet (incubating) および Apache Spark を使用して大規模なデータセットで分散オフライン推論を実行する方法を説明します。オフライン推論がどのように役立つのか、課題となる理由、および、Amazon EMR で MXNet と Spark を活用して課題を解決する方法を説明します。 大規模データセットでの分散推論 – ニーズと課題 ディープラーニングモデルのトレーニングの後、新しいデータ上で推論を実行して活用します。推論は、不正検出など、その場でのフィードバックが必要なタスクでリアルタイムに実行できます。これは通常オンライン推論と呼ばれています。または、事前計算が役立つ場合は、推論をオフラインで実行できます。オフライン推論のよくあるユースケースは、ユーザーの製品スコアのソートやランク付けを必要とする推奨システムなど、レイテンシー要件が低いサービスです。これらのケースでは、推奨はオフライン推論を使用して事前計算されます。結果は低レイテンシーストレージに保存され、必要に応じて、推奨がストレージから引き出されます。オフライン推論の別のユースケースは、最新モデルから生成された予測による履歴データのバックフィリングです。仮の例として、新聞でこの設定を使用して、人物識別モデルから予測された人物の名前でアーカイブされた写真をバックフィルできます。また、分散推論を使用して、歴史的なデータで新しいモデルをテストし、本番稼働用にデプロイする前により良い結果を生み出すかどうかを確認できます。 通常、分散推論は数百万以上のレコードがあるような大規模なデータセットで実行されます。妥当な時間内にそのような巨大なデータセットを処理するには、ディープラーニングの機能をセットアップされたマシンクラスターが必要です。分散クラスターでは、データ分割、バッチ処理、タスクの並列化を使用した高いスループット処理ができます。ただし、ディープラーニングデータ処理クラスターをセットアップするには課題もあります。 クラスターのセットアップと管理: ノードのセットアップとモニタリング、高い可用性の維持、ソフトウェアパッケージのデプロイと設定など。 リソースとジョブの管理: ジョブのスケジューリングと追跡、データ分割とジョブの障害への対処。 ディープラーニングのセットアップ: ディープラーニングタスクのデプロイ、設定、および実行。 次に、このブログの投稿では、Amazon EMR で MXNet および Spark を使用してこれらの課題に対処する方法を示します。

Read More

Amazon MQ – ActiveMQのマネージドメッセージブローカーサービス

メッセージングは、分散アプリケーションのパーツを繋げ、弾力性を追加し、スケーラビリティの高い実装を可能にするアーキテクチャです。例えば、今年、Amazon Simple Queue Service (SQS) とAmazon Simple Notification Service (SNS)は、全体で400億件、1秒あたり1000万件にもおよぶPrime Dayのお客様の注文を処理しましたが、目に見えた問題は発生しませんでした。 SQSとSNSは、クラウドで生まれたアプリケーションに幅広く利用されてきました。しかしながら大規模なお客様の多くは、既にオープンソースベースあるいは商用ライセンスのメッセージブローカーを利用しています。彼らのアプリケーションはミッションクリティカルであり、そこで使われるメッセージングも重要です。お客様は、メッセージインフラストラクチャのセットアップと継続的なメンテナンスが”苦痛である”と言っており、少なくとも1週間に10時間をこの雑用に費やしているとおっしゃっています。 新しいAmazon MQ 11/28日、3クリックで数分ではじめられるApache Active MQのマネージドメッセージブローカーサービスであるAmazon MQ をローンチします! 御存知の通り、Active MQは高速で機能が豊富な人気のオープンソースメッセージブローカーです。キューとトピックを提供し、耐久性あり/無しのサブスクリプション、プッシュベースとポーリングベースのメッセージングとフィルタリングを提供します。 マネージドサービスとして、Amazon MQではActive MQの管理とメンテナンスが考慮されています。これには、ブローカーのプロビジョニング、パッチ適用、高可用性のための障害の検知とリカバリ、メッセージの耐久性に関する責務が含まれています。 Amazon MQでは、Active MQ consoleと、JMS,NMS,AMQP,STOMP,MQTT,WebSocketを含むメッセージングのための業界標準のAPIやプロトコルに直接アクセスができます。これによって、これらの標準を利用するあらゆるメッセージブローカーからコードの書き換えなしにアプリケーションごとAmzazon MQへ移行できます。 開発やテスト用にシングルインスタンスのAmazon MQ brokerまたは、AZを跨って素早い自動的なフェイルオーバーを提供するActive/Standbyのペアを作成できます。どちらの場合もデータはAZをまたがって配置され、ブローカーインスタンスとメッセージストレージを従量課金でご利用いただけます。 Amazon MQはAWSファミリーの一員であり、サービスAPIの認証と認可に対してAWS Identity and Access Management (IAM)を利用します。Amazon CloudWatchメトリクスを利用して、キューの深さのような注目すべきメトリクスを継続的に監視し、 必要に応じてコンシューマーフリートのAuto Scalingを発動したりすることが可能です。

Read More

ハードウェアにダイレクトアクセスを提供するAmazon EC2 Bare Metal (ベアメタル)インスタンス

お客様からAWSへの優れたリクエストをいただく際、私達は詳細に要望をお聞きし、多くの質問をし、理解をしてニーズに応えられるようベストを尽くしています。これらの活動の結果として私達はサービスや新機能をリリースしています。 一方で私達は決して特定のお客様専用の一度きりの仕組みを作りこんだりはしません。その方法は混乱を生み、スケールさせる事を困難にしますし、私達のやり方ではありません。 そうではなく、全てのAWSのお客様は私達が作ったもの全てにアクセスでき、全員が利益を得ることが出来ます。VMware Cloud on AWSがこの戦略での良い実例でしょう。VMware社は私達に、VMwareの仮想化スタックをAWSクラウドのハードウェア上で直接稼働させたい、それによってお客様がAWSがオファーする拡張性、セキュリティ、信頼性を手に入れることが出来るとリクエストしました。 私達は仮想化層をネストする事によるパフォーマンス低下を望んでいない他のお客様からもベアメタルハードウェアに興味があると聞いていました。お客様は物理リソースにアクセスし、パフォーマンスカウンターやIntel® VTといった、仮想化環境では通常サポートされないローレベルのハードウェア機能を利用したいと考えていました。また、非仮想化環境でしか稼働できないライセンスのソフトウェアを稼働させるために必要としている方もいました。 ネットワーク、ストレージ、その他EC2関連機能を仮想化プラットフォームの外に出して、専用ハードウェアに移動させる努力を数年間に渡って続けてきており、より良い環境を提供できるための下地が出来ています。この活動は以前のこのブログ(今すぐご利用可能 – Amazon EC2 コンピューティング最適化インスタンス C5)で紹介しており、ハードウエアアクセラレーターでの性能向上を提供できています。 そして現在ではVMware社からのリクエストにあったように、ベアメタルのハードウェアをVMwareハイパーバイザーとともに用意し、これまで通り全てのAWSのお客様に提供しています。では次は何が出来るようになるのか、ぜひ見てみましょう!

Read More

Amazon GuardDuty – 継続したセキュリティ監視と脅威の検知

ITインフラ(AWS アカウントでしたり、セキュリティクレデンシャル、またAWS上で稼働する仮想マシン、アプリケーション等)への脅威は日々形を変え、襲いかかります。オンラインの世界は陰険な場で、ITインフラを安全かつ健全に保つために、ツールでしたり、経験知識、知見をお持ちだと思います。 Amazon GuardDuty は正にそのためにデザインされました。公開データ、AWS 上で生成されるデータといった多数のデータをもとに、機械学習を行います。GuradDury はそれらをもとに、見落としがちな傾向、パターン、異常を追跡し、何億ものイベントの解析を行います。GuardDuty は数クリックで利用開始でき、数分でFindings(イベント)が表示されます。 動作方法 GuardDutyは 脅威情報を含む複数のデータストリームから、悪意のあるIPアドレス、デバイスドメインを認識し、あなたのAWSアカウントで悪意のある、もしくは不正な行動があるか特定するために学習します。VPC Flow Logs、CloudTrail のイベントログ、DNS ログを集め組み合わせることにより、GuardDuty は非常に多くのことなったタイプの危険性のある、悪意のある行動を検知します。その中には、既知の脆弱性でしたりポートスキャン、通常とは異なるロケーションからのアクセス等も含まれます。AWS の観点では、不正なデプロイメントでしたり、CloudTrail の異常なアクティビティ、API アクセスパターン、複数のサービスリミットを越えようとするアクセス等、疑わしいAWSアカウントアクティビティの検知を行います。それに加え、GuardDuty は悪意のあるエンティティ、サービス、データを抜き出そうとする行動、暗号侵害を試みるインスタンスと接続する、感染を受けたインスタンスも検知します。 GuardDuty はAWS上で提供され、パフォーマンス、信頼性の観点で既存サービスへの影響はありません。エージェント、センサー、ネットワークアプリケーションも必要ありません。このクリーンで既存に変更を加えない点は、みなさんのセキュリティチームへのアピールにもなりますし、すべてのAWSアカウントでGuardDutyを有効にする後押しになります。 Findings(検知されたアクティビティ) は3つのレベル(低・中・高)で通知され、詳細情報、復旧アクションの提案も合わせて通知されます。また、FindingはCloudwatch Eventsとの連携が可能で、ある特定の問題に関してはLambda ファンクションと連携し、復旧アクションを取ることが可能です。またこの連携機能により、GurdDuty のFinding 情報を、Splunk、Sumologic、 PagerDuty 等のイベント管理システムと簡単に連携が可能となりますし、JIRA、ServiceNowといったワークフローシステムとの連携、Slack連携も可能になります。 GuardDutyのはじめ方 では、簡単にGuardDutyの始め方をご説明します。はじめにGuardDuty Consoleを開き、開始をクリックします。 その後、GuardDuty を有効にするために確認を行います。そうすることで、GuardDuty のログ解析に必要なサービスリンク ロールが準備され、”GurdDuty の有効化”をクリックすると準備が整います。 アカウントによってはFindingがあまり無いアカウントもあるかもしれません。General Setting から、Generate sample findingsをクリックすると、サンプルのFindingsが確認できます。 あるFindingを選択すると、詳細が確認できます。 虫眼鏡アイコンから拡大し、関連リソース、アクション、その他値のフィルターを作成することが出来ます。下記のようにインスタンスに紐づくすべてのFindingsをフィルターすることも可能です。 信頼IP、また悪意のあるIPリストを追加することで、ご自身の環境にあったGuardDuty環境にカスタマイズもできます。 管理者アカウントでGuadDutyを有効にし、その他のアカウトを参加アカウントとして招待します。 それらアカウントが参加を承認すると、それらアカウントのFindingsが管理者アカウントと共有されます。 時間の関係もありGuardDuty の多くすべてをお話できないため、是非30日間のトライアルを是非ご利用下さい。トライアル終了後はVPC Flow Logs、CloudTrail ログ、DNS ログに対し解析を行った量に応じ課金されます。 利用可能リージョン […]

Read More

AWS AppSyncの紹介 – リアルタイムおよびオフライン機能を備えたデータ駆動型アプリケーションの構築

現在、モバイルデバイスや便利なアプリケーションは私達の生活にとって欠かせないものになっています。モバイルデバイスへの依存が高まるにつれ、私たちの注目を集めて何百万ものアプリケーションが爆発的に増加しています。これはモバイルデベロッパーにとって、高品質かつリアルタイムなユーザーが求めるアプリケーションを構築する必要があることを意味します。これにより、モバイルアプリケーションは、ユーザー間でのデータ同期、オフラインサポート、データディスカバリーなどの機能が実装されていることが必須になってきています。いくつかの記事、(InfoQ、DZone、モバイル開発ブログAlleviateTech)によると前述の機能を提供するうえで重要な要素の1つはクラウド型モバイルアプリケーションと言われています。 モバイルデータの同期やデータストレージなどに関しては特にこれが言えるようです。 このような背景から、クラウド上のデータ集約サービスを使って革新的なモバイルアプリケーションを開発するための新サービスを発表するのに最適なタイミングだと考え、AWS AppSync を紹介します。AWS AppSync は、フルマネージドなサーバーレスGraphQL サービスで、リアルタイムデータクエリ、同期、通信、およびオフラインプログラミングの機能を提供します。使い慣れていない人たちのために、GraphQL 仕様に関する情報を簡単に紹介しましょう。

Read More

AWSインスタンスの新しいSAP認定とベンチマーク結果の世界記録

Steven Jonesは、Amazon Web Services(AWS)のテクニカルディレクターを務めています。 私がAmazon Web Services(AWS)で働いていて最も楽しんでいることは、ミッションクリティカルなワークロードをAWSクラウドに移行するための個々の移行戦略を開発し、遂行する際に、お客様と緊密な関係が持てる機会です。最も重要なのは、私たちのロードマップの推進に必要なのは、こういったタイプの会話ということです。 2016年5月、AWSクラウド上に大規模なSAP HANAを実装する目的で設計された、2TBのRAMを備えたx1.32xlargeインスタンスタイプが利用可能になったことを発表しました。 2016年8月には、最大7つのノードつまり14TBのRAMを備えた大規模スケールアウト構成のSAP HANAクラスタのSAP認定取得とサポート開始を発表しました。 これに続いて、2016年10月に、1TBのRAMを搭載したx1.16xlargeインスタンスタイプを追加しました。 今年の5月に遡ると、単一システムで大量のRAMを必要とする実装のために4TBのRAMを備えたx1e.32xlargeインスタンスタイプを、またx1.32xlargeインスタンスを17ノードつまり34TBのRAMを備えた非常に大規模スケールアウト構成のSAP HANAクラスタにおけるSAPサポート開始を、そして2018年までのロードマップとして8TBから16TBのRAMを備えたより大きなAmazon Elastic Compute Cloud(Amazon EC2)インスタンスの計画を発表しています。 私たちは、SAPワークロードにおける更なる導入の選択肢をサポートするために、継続していくつかのアップデートを行っています。今月初めに5つの小さなX1eサイズを提供開始しました。これらの追加のインスタンスタイプは、anyDB(SQL Server、Oracle、IBM Db2など)で稼働するSAP NetWeaver向けのSAP認定を取得済みで、今すぐご利用いただけます。CPUに対してメモリの比率が高いため、これらのX1eサイズはデータベースインスタンスに最適です。 インスタンスタイプ vCPUs メモリ(GiB) ネットワーク性能 SAPS x1e.xlarge 4 122 最大10Gbps 4,109 x1e.2xlarge 8 244 最大10Gbps 8,219 x1e.4xlarge 16 488 最大10Gbps 16,438 x1e.8xlarge 32 976 最大10Gbps 32,875 x1e.16xlarge 64 1,952 10Gbps 65,750 x1e.32xlarge 128 3,904 […]

Read More

Amazon Polly を使用して音声電話で AWS アカウントのセキュリティイベントに関するアラートを受信

AWS アカウントのセキュリティは極めて重要です。AWS アカウントのセキュリティに関するイベントの最新情報を把握しておくことが大切です。メールや SMS など、様々な方法で通知を受け取ることができますが、今回のブログでは Amazon Polly といった Amazon AI サービスや、Twilio のようなクラウドベースによるコミュニケーションプラットフォームを使用して音声アラートを受信する方法をご紹介します。 Amazon Polly はテキストを肉声のように読み上げるサービスで、スピーチが可能なアプリケーションの作成を可能にします。これは音声対応製品の全く新しいカテゴリです。Polly はディープラーニング技術を使用して、肉声のような音声を合成します。様々な言語を色々な音声で提供します。 移動が多いエンタープライズ IT セキュリティの社員にとって、AWS アカウントのセキュリティイベントのアラートを音声電話で聞くことができるのは実に便利です。セキュリティイベントは、その重要度や優先度を元にカスタムで定義できます。重要度や優先度のレベルが高いセキュリティイベントに関するアラートを、電話を介してシステムに送ることができます。 音声電話によるアラートを利用する上で、私は音声、ビデオ、メッセージングといった API 機能を提供する Twilio を使用しています。Twilio のプラットフォームを使用し、AWS アカウントでセキュリティイベントが発生した時に音声電話を掛ける API 呼び出しを発行するようにプログラムすることができます。Amazon Polly はテキストのアラートを音声メッセージに変換して電話で再生することができます。 ソリューションの概要 このソリューションは次のアーキテクチャ図で示した 2 つのシステムから構成されています。 イベント検出と通知システム テキストを音声に変換するシステム イベント検出と通知システムは、テキストから音声に変換するシステムから分離されます。他のユーザーが定義したイベント検出において後者が一般的なためです。このブログでは、テキストから音声に変換するシステムを取り上げ、過去のブログで紹介したイベント検出と通知システムをソリューションの例として使用します。

Read More

AWS Machine Learning Research Awards の発表

AWS Machine Learning Research Awards の発表です。この新しいプログラムでは、Machine Learning (ML) の斬新な研究に取り組む大学の学部、教授、博士課程の学生、および博士号取得後の研究者に資金援助を行います。このプログラムに基づいて、現在、カーネギーメロン大学、カリフォルニア工科大学 (Caltech)、ハーバードメディカルスクール、ワシントン大学、およびカリフォルニア大学バークレー校との提携を進めています。 AWS クラウドのスケールおよびパフォーマンスを、Apache MXNet、Tensorflow、Caffe2、Microsoft Cognitive Toolkit (CNTK)、Pytorch などの強力なフレームワークと組み合わせると、Machine Learning の研究が躍進する空前の機会となります。このプログラムの目標は、多種多様な Machine Learning アプリケーションおよびフォーカスエリアにわたって、研究者による革新的なアルゴリズム、文献出版、ソースコードの開発を促進することにあります。受賞者は、資金提供を受けるだけでなく、Amazon のサイエンティストやエンジニアからコンピューティングリソース、トレーニング、メンターシップを受け、さらにシアトルの AWS 本部で開催されるリサーチセミナーに参加する機会が与えられます。 AWS Machine Learning Research Awards プログラムの特徴 このプログラムで研究者が得られる利点は以下のとおりです。 資金提供 – 学部およびプロジェクトレベルで配布され、学術機関に対するワンタイムの無制限のギフトとして設定されます。 AWS クレジット – 賞には AWS クレジットが含まれ、このクレジットを EC2 P3 インスタンスタイプや Deep Learning AMI などの任意のサービスに使用できます。 トレーニング – AWS で Machine Learning を実行する方法のチュートリアルや、Amazon […]

Read More

2018年度のAPN プレミアパートナー様が発表され、国内8社目の新たなプレミアパートナーとしてCTC様が紹介されました。

こんにちは、Partner SA 相澤です。 いよいよre:Invent 2017が始まりましたが、28日のGlobal Partner Summit 2017にて APN Premier Consulting Partnerが発表されました。 本年度の、新しいプレミアパートナーとして日本からはCTC様が紹介されました。 おめでとうございます! 今まで同様に非常に厳しいクライテリアを満たしたパートナー様のみの選出なっております。 また、既存のプレミアパートナー様も紹介され、日本からは7社のパートナー様が、昨年度から引き続きプレミアパートナー様として紹介されました。 Classmethod様、Cloudpack様、NRI様、ServerWorks様、TIS様、NEC様、 NTT Data様 おめでとうござます!   これでグローバルでのプレミアパートナー様は67社となり、そのうち8社が日本の企業です。 引き続き、日本市場へのAWS展開に向けて宜しくお願い致します! https://aws.amazon.com/jp/solutions/solution-providers-japan/premier-consulting/ ———————- エコシステムソリューション部 パートナーソリューションアーキテクト 相澤 恵奏  

Read More

AWS PrivateLinkのアップデート – お客様のアプリケーション&サービス向けのVPCエンドポイント

今月はじめに、私の同僚であるColm MacCárthaighがAWS PrivateLinkに関する記事でVPCエンドポイントを利用したAmazon Kinesis StreamsやAWS Service Catalog、AWS Systems Manager、そしてEC2やELBのAPIへのアクセス方法についてご紹介しました。VPCエンドポイント (1つまたは複数のElastic Network InterfacesまたはENIで表される) はVPC内に存在し、VPCのサブネットからIPアドレスを取得します。これらのAWSサービスにアクセスするためにはインターネットゲートウェイやNATゲートウェイは必要ありません。このモデルは明確で理解しやすく、言うまでもなくセキュアでスケーラブルです!   プライベート接続用のエンドポイント 本日、VPCエンドポイントを利用して自分のサービスにアクセスしたり、他のユーザからサービスにアクセスいただけるようにAWS PrivateLinkを拡張しました。AWSサービス向けのPrivateLinkをローンチする以前から、たくさんのお客様からこの機能に関するご要望をいただいており、おそらく非常に人気のある機能になると考えています。例えば、あるお客様は単一のマイクロサービス(詳細はMicroservices on AWSを参照)を提供する数百のVPCを作成する計画があるとお話いただいたことがあります。 各企業は他のAWSのお客様にプライベート接続を介したサービスを開発・提供することができるようになりました。Network Load Balancerを利用したTCPトラフィックによるサービスを作成し、直接またはAWS Marketplaceでサービスを提供することができます。利用者は新しいサブスクリプションリクエストの通知を受け取り、そのサービスの利用について許可または拒否をすることができます。2018年は強力で活気のあるサービスプロバイダーのエコシステムを構築するために、この機能が利用されていくことでしょう。 サービスの提供者と利用者は異なるVPCまたはAWSアカウントを利用し、エンドポイントを介した一元的な通信がAmazonのプライベートネットワークを経由します。サービス利用者はVPC間のIPの重複やVPCピアリング、ゲートウェイの利用について心配する必要はありません。また、AWS Direct Connectを利用することで、オンプレミスやその他で稼働しているサービスから、AWS上のクラウドベースのアプリケーションへのアクセスを実現することができます。   サービスの提供および利用 VPC API、VPC CLI、またはAWSマネージメントコンソールからすべてのセットアップを行うことが可能です。それでは、コンソールからどのようにサービスの提供または利用を行うのかご紹介しましょう。今回はデモ用に単一のAWSにアカウントを利用します。 それでは、サービスの提供について見ていきましょう。サービスはNetwork Load Balancerの背後で実行され、かつTCPを利用する必要があります。EC2インスタンス、ECSコンテナ、またはオンプレミス(NLBのIPターゲットによる設定)を利用し、予想される需要に応じてスケールできるようにします。低レイテンシまたは対障害性を確保するために、リージョン内のそれぞれのAZのNLBをターゲットとすることをおすすめします。 VPCコンソールを開き、[Endpoint Services]を選択し、[Create Endpoint Service]をクリックします。 NLBを選択します。今回の例では一つしか表示されませんが、実際には2つ以上選択し、ラウンドロビン方式で利用者にマッピングさせることも可能です。[Acceptance requred]をクリックし、リクエストベースでのエンドポイントへのアクセスを提供します。 [Create service]をクリックすれば、サービスはすぐに準備完了となります。 もし、AWS Marketplaceでサービスを提供する場合、先に進んでリストを作成します。このブログ記事ではサービスの提供者と利用者が同じため、手順はスキップします。”Service Name”を次の手順で利用するためにコピーします。 VPCダッシュボードに戻り、[Endpoints]を選択し、[Create endpoint]をクリックします。[Find service by name]を選択し、先ほどコピーした”Service Name”を貼り付け、[Verify]をクリックし次に進みます。そしてAZ、サブネット、セキュリティグループをそれぞれ選択し、[Create endpoint]をクリックします。 Endpoint Serviceを作成したときに”Acceptance required”にチェックを入れたため、この接続は”pending acceptance”状態となっています。 […]

Read More