Amazon Web Services ブログ

AWS Application Auto Scaling を使用した Amazon Kinesis Data Streams のスケーリング

先日、AWS は AWS Application Auto Scaling の新機能を発表しました。Amazon Kinesis Data Stream に対してシャードを自動的に追加・削除するスケーリングポリシーを定義できる機能です。この機能の詳細については、Application Auto Scaling の GitHub リポジトリを参照してください。 ストリーミングの情報が増えると、あらゆるリクエストに対応するスケーリングソリューションが必要になります。逆にストリーミング情報が減る場合も、スケーリングを利用してコストを抑えなければなりません。現在、Amazon Kinesis Data Stream のシャードはプログラム的にスケーリングされています。あるいは、Amazon Kinesis のスケーリングユーティリティを使用することも可能です。その場合は、ユーティリティを手動で使用する方法と、AWS Elastic Beanstalk 環境で自動化する方法があります。 Application Auto Scaling の新機能を使うと、AWS を使用してスケーリングソリューションを作成することができ、人手の介入も複雑なソリューションも必要ありません。 Auto Scaling ソリューションの概要 今回のブログ記事でご紹介するのは、デフォルトの Amazon CloudWatch メトリクスに基づいて Amazon Kinesis Data Streams に Auto Scaling ソリューションをデプロイする方法です。環境を自動的に設定する AWS CloudFormation テンプレートと、Lambda 関数に関連するコードについても触れます。 Auto Scaling ソリューションのしくみ 始まりは、Kinesis Data […]

Read More

Amazon Kinesis Video Streams および Amazon SageMaker を使用したリアルタイムでのライブビデオの分析

Amazon SageMaker の Amazon Kinesis Video Streams Inference Template (KIT) の発売を発表できることを嬉しく思っています。この機能により、顧客はほんの数分で Amazon SageMaker エンドポイントに Kinesis Video streams をアタッチすることが可能です。これにより、他のライブラリを使用したり、カスタムソフトウェアを作成してサービスを統合することなく、リアルタイムの推論が可能になります。KIT は、Docker コンテナとしてパッケージ化された Kinesis Video Client Library ソフトウェアと、すべての必要な AWS リソースのデプロイを自動化する AWS CloudFormation テンプレートとで構成されています。 Amazon Kinesis Video Streams を使用すると、アナリティクス、機械学習 (ML) 、再生、その他の処理のために、接続したデバイスからオーディオ、ビデオ、関連メタデータを AWS に確実にストリームすることができます。Amazon SageMaker は、開発者やデータサイエンティストが ML モデルを迅速かつ容易に構築、トレーニング、および展開するための管理プラットフォームです。 ホームセキュリティカメラ、エンタープライズ IP カメラ、トラフィックカメラ、AWS DeepLens 、携帯電話などのソースからオーディオおよびビデオフィードを Kinesis Video Streams へと取り込みます。スマートホームのざまな業界からスマートシティへ、インテリジェント製造から小売業に渡るさまざまな業界のデベロッパーとデータサイエンティストが、AWS クラウドでこれらの動画フィードを分析するために、独自の 機械学習アルゴリズムを導入したいと考えています。これらの顧客が Kinesis Video […]

Read More

Amazon SageMaker IP Insights アルゴリズムを使用して、不審な IP アドレスを検出する

本日、Amazon SageMaker の新しい IP Insights アルゴリズムが公開されました。IP Insights は、IP アドレスの異常な動作や使用パターンを検出する教師なし学習アルゴリズムです。このブログ記事では、IP アドレスを使用した不正行為の特定、Amazon SageMaker IP Insights アルゴリズムの説明、実際のアプリケーションでの使用方法のデモンストレーション、およびその結果を社内で共有する方法について解説します。 悪意ある行為と戦う 悪意のある行為には、たいていの場合、オンラインバンキングアカウント、管理コンソール、ソーシャルネットワーキングまたはウェブメールアカウントへのアクセスなどのオンラインリソースへの不正なアクセス、いわゆるアカウントの乗っ取りが含まれます。乗っ取りは通常、盗まれたり、紛失またはリークされた認証情報を使用して行われ、不正なアクセスが、アカウントのいつもとは異なる IP アドレス (例えば、ユーザーからではなくハッカーのコンピュータ) から発信されることがほとんどです。 アカウントの乗っ取りを防ぐための一般的な防御策は、オンラインリソースに以前にはなかった IP アドレスでアクセスする際にフラグを立てることです。フラグ設定された対話はブロックすることができます。もしくは、ユーザーが追加の認証形式 (SMS への応答など) を利用して、乗っ取りに挑むこともできます。しかし、ほとんどのユーザーは、これまで使用していなかった IP アドレスから定期的にオンラインリソースにアクセスします。したがって、「新しい IP をフラグする」方法は、不適当に高い偽陽性率を生み、残念な顧客エクスペリエンスをもたらします。 ユーザーは定期的に新しい IP アドレスからオンラインリソースにアクセスしますが、新しい IP アドレスは完全な無作為での選択ではありません。ユーザーの移動習慣やインターネットサービスプロバイダーの IP 割り当て戦略など、いくつかの潜在的な要因が割り当てに影響します。これらの潜在的な要因すべてを明確に列挙することは、普通では困難です。しかし、オンラインリソースのアクセスパターンを見ることで、新しい IP アドレスが予期されたイベントなのか異常なのかを予測することは可能です。Amazon SageMaker IP Insights アルゴリズムは、これを行うために厳密に設計されています。 Amazon SageMaker IP Insights アルゴリズム Amazon SageMaker IP Insights アルゴリズムは、統計的モデリングとニューラルネットワークを使用して、オンラインリソース (オンライン銀行口座など) と […]

Read More

AWS Database Migration Serviceのターゲットとしての Amazon Elasticsearch Service の導入

AWS Database Migration Service (AWS DMS)の新しいターゲットをさらに—Amazon Elasticsearch Serviceへの新しいターゲットの追加を発表しました。これで、AWS DMSでサポートされているすべてのソースからAmazon Elasticsearch Service にデータを移行できます。この新しいターゲットのサポートで、データ統合パイプラインで DMSを使用し、ほぼリアルタイムで Amazon Elasticsearch Serviceにデータを複製できます。 Amazon Elasticsearch Serviceは、大規模かつ簡単にElasticsearchの展開、保護、操作が可能な完全に管理されたサービスです。本サービスは、オープンソースのElasticsearch API操作、管理されたKibana、およびLogstashと他のAWS serviceとの統合を提供します。これらの機能を使用すると、ログ分析、全文検索、アプリケーション監視、およびセキュリティ解析のユースケースをリアルタイムで検索、分析、視覚化することができます。 Amazon Elasticsearch Serviceを使用した検索は強力ですが、複数のデータストアからAmazon Elasticsearch Serviceへのデータの簡単な取得が可能にすることを考えていました。当社はある時点からのバルクデータのロードの可能性の確認を願っていました。また、必要に応じて転送中のデータの結合とマッピングを完全にサポートし、変更データがほぼリアルタイムで複製されるようにしたいと思っていました。AWS DMS は、現在 サポートされているソース からどのデータの移行にも役立ちます。DMSを使用すれば、必要なデータをより迅速かつ安全に移行できます。 データの分析と処理を実行したり、または電子商取引や検索サービスのビジネスに携わっている多くの大企業や技術ベンチャーは、すべてデータに関連しています。巨大なデータベースで直面する最も一般的な問題は、製品情報を検索する際の待ち時間に関連したものです。この遅延は、ユーザーエクスペリエンスの低下につながり、見込み客にそっぽを向かれることになります。データ量が増えるにつれて、大きなウェブページの応答時間の提供はさらに困難になっています。ユースケースはますます複雑になり、組織は数百万件、時には数十億件のデータベース記録を管理しているにもかかわらずつ、わずかなページの読み込み時間しか提供していません。この問題は、大きなデータセットの検索とフィルタリングによって悪化します。複雑で動的なフィルタを使用しても、数十億の記録をめくるために関連データベース(Oracle、SQL Serverなど)を拡張するには、多くの専門知識を必要とします。 今日のビジネスには、迅速に検索を促進するためにデータが格納される場所の代替案を探しています。これは、データの格納に関連データベースではなく、NoSQLを採用することで実現できます。Amazon Elasticsearchは、フルテキストの分散型NoSQLデータベースです。つまり、スキーマや表ではなく文書を使用するので、データのリアルタイム検索と分析が可能となります。人がこのシステムを高く評価しているのは、データに基づいた測定基準が即座に実行可能であるため、継続的に即座に理解できるためです。 以下は、Elasticsearchが性能に適している使用例です。 すべての行を索引付けし、これらのフィールドのブール値の組み合わせでフィールド検索を提供する 関連するフリーテキスト検索を提供する自然言語テキストによるネイティブ処理 関連した結果の提供 オートコンプリートと検索候補の提供 ファセット加工とファセットドリルダウンをサポート 地元検索のためのサポート日とGEOの場所 Amazon Elasticsearch Serviceは、検索エンジンの最良の情報に基づいて記録とソートされた結果を提供し、一般には素晴らしいです。おおよその回答を見つけることは、より伝統的なデータベースからAmazon ESを差別化するプロパティです。 要約すると、AWSは皆様のユースケースと要件に合わせたアプリケーションとデータベースの再構築の支援を目的としています。AWS DMSを使用してAmazon ESにデータの移行と複製のためのサポートの追加により、柔軟性は向上します。また、RDBMSからAmazon ESへのデータの移行の際に提供するアプローチは、あまり複雑ではありません。 Amazon Elasticsearch Serviceをターゲットとしてサポートする機能の一部は、以下のとおりです。 Amazon Elasticsearch Serviceの全バージョンがサポートされています。この文書に詳細があります。 […]

Read More

AWS Database Migration Serviceを使用し、Amazon Kinesis Data Streamingを実施する

この投稿では、AWS Database Migration Service (AWS DMS) を使用し、Amazon Kinesis Data Streamsに変更データをストリーミングする方法について議論します。 以前の投稿 Load CDC Data では、データ処理アーキテクチャについてリアルタイムで議論しました。その一環として、AWS DMS を使用して Amazon RDS for Microsoft SQL Server のデータベースの変更を取得し、AWS Lambdaを使用して Kinesis Data Streams に送信する方法について扱いました。AWS DMS のターゲットとしての Kinesis Data Streams の開始により、変更データの取得データ(CDC)のストリーミング、分析、および格納がより簡単になりました。DMSは、成功事例を使用してデータからの変更を自動的に収集し、それを Data Streams にストリーミングします。 Kinesis Data Streamsをターゲットとして追加したため、お客様がデータレイクを構築し、データストアからデータを変更してリアルタイムで処理することができます。 データ統合パイプラインで AWS DMS を使用して、ほぼリアルタイムで Kinesis Data Stream にデータを複製できます。このアプローチを使用すれば、アプリケーションを高価なデータベース上に構築しなくても、デカップリングされ、最終的に一貫したデータベースビューを構築が可能になります。 リアルタイムの変更データのアーキテクチャ 数多くの組織がKinesis Data ストリームを使用して変更データを分析し、Webサイト、不正検出、広告、モバイルアプリケーション、IOTなどを監視しています。 この投稿では、AWS DMSを使用して関連データベースの変更データを Kinesis Data […]

Read More

近日登場 – コンピューティング能力と GPU を増強した Snowball Edge

お客様のニーズに基づいたイノベーションが実現するのを目の当たりにする経験は、飽きることがありません。 AWS のお客様からペタバイト単位のデータを AWS に出し入れする簡単な方法が必要だという要望をいただいたとき、私たちは AWS Snowball でお応えしました。その後、AWS にデバイスを送信してデータを戻す前に (多くの場合、オフラインで) ローカルデータ処理やフィルタリングを行いたいという要望をお客様からいただいたときは、AWS Lambda 関数を使用してローカル処理を行える AWS Snowball Edge を提供しました。今年の始めには、EC2 コンピューティングインスタンスのサポートを追加し、デバイスごとに最大 10 個の AMI を事前ロードできるサイズと機能を備えた 6 つのインスタンスが利用可能になりました。 素晴らしい進歩ですが、これで終わりではありません! コンピューティング能力と GPU の増強 嬉しいことに、私たちは 2 つの新しい Snowball Edge オプションを提供する準備ができています。それは、Snowball Edge Compute Optimized と Snowball Edge Compute Optimized with GPU です (元の Snowball Edge は、Snowball Edge Storage Optimized という名称になりました)。どちらのオプションにも、42 TB の […]

Read More

新機能 – Machine Learning を中核とする EC2 の予測スケーリング

AWS の歴史を振り返り、クラウド本来の特徴である動的なオンデマンド性を真の意味で象徴するようなサービスとは何であったかを思い起こしてみます。2 つありました。それは、2006 年のAmazon EC2 のスタートと 2009 年の CloudWatch Metrics、Auto Scaling、Elastic Load Balancing の同時スタートです。前者は計算能力へのアクセスをもたらし、後者はその計算能力へのアクセスを需要の変化に対応できるよう高速かしました。それ以来、これらのサービスに多数の機能を追加してきました。私の知る限りでは、今でもその重要性、基本性は変わっていません。 新しい予測スケーリング 本日、Auto Scaling は予測スケーリングの追加によりさらに強化されます。ユーザーが使用する EC2 から収集されたデータおよび弊社独自の観測結果から得られた情報をもとに、十分にトレーニングを重ねた Machine Learning モデルを使用して、予想されるトラフィック量 (および EC2 使用量) を日次パターンと週次パターンで予測します。当該モデルで予測を開始するには、履歴データを最低でも 1 日分必要とします。その予測結果は 24 時間ごとに再評価され、次の 48 時間分を予測します。 このモデルを使いやすくするために、最善を尽くしてきました。クリック 1 回で有効化し、次に、3 ステップのウィザードに従って観測およびスケーリング対象のリソースを選択します。EC2 インスタンスのウォームアップ時間を設定できます。また、実際および予測の使用状況を見やすく視覚化します。 予測プロセスではスケーリングプランが作成され、Auto Scaled EC2 インスタンスのグループを 1 つまたは複数動作させることが可能です。 新しいスケーリングプランが動作を開始すると、日次ベースや週次ベースでピークに達する前に先を見越したスケーリングができるようになります。この結果、ユーザーのウェブサイトやビジネスに関してユーザーエクスペリエンス全体が向上し、オーバープロビジョニングを防止して EC2 コスト削減に役立ちます。 それでは、具体的にご覧いただきます。 動作中の予測スケーリング まず Auto Scaling コンソールを開いて、[今すぐ始める] をクリックします。 観測および予測スケーリング対象のリソースを選択するには、3 […]

Read More

AWS GovCloud (米国東部) が開設されました

昨年、2011 年に開設された既存の AWS GovCloud (米国西部) リージョンの米国東部パートナーとなる AWS GovCloud (米国東部) の開設に取り組んでいることについてお話しました。この度、この新しいリージョンが開設され、連邦政府、州政府、および地方政府の各機関、それらの機関にサービスを提供する IT 請負業者、ならびに規制対象のワークロードをお持ちのお客様のニーズに対応する準備が整いました。このリージョンは、冗長性、データ耐久性、および回復性をさらに高めると共に、災害復旧のための追加オプションも提供します。これは、FedRAMP の High および Moderate ベースラインの対象となる隔離された AWS リージョンで、米国内で米国市民によって運営されています。このリージョンには、審査を受けた米国事業体と root アカウント所有者のみがアクセスでき、root アカウント所有者がアクセス権を得るには、米国人 (市民または永住者) であることを確認する必要があります。詳細については、Achieve FedRAMP High Compliance in the AWS GovCloud (US) Region を参照してください。 AWS GovCloud (米国) は、審査済みの政府のお客様、および規制対象産業のお客様とそのパートナーに対して、FedRAMP High ベースライン、米国司法省の犯罪司法情報サービス部 (CJIS) セキュリティーポリシー、米国武器国際取引規則 (ITAR)、輸出管理規則 (EAR)、米国国防総省 (DoD) のラウドコンピューティングセキュリティ要件ガイド (SRG) インパクトレベル2、4、および 5、FIPS 140-2、IRS-1075、ならびにその他コンプライアンス体制に準拠したセキュアなクラウドソリューションを設計する柔軟性を提供します。 豊富なサービス このリージョンで実行されるアプリケーションは、Auto Scaling (EC2 および Application)、AWS […]

Read More

只今準備中 – イタリア、ミラノの AWS リージョン

先月下旬、私は 南アフリカの AWS リージョンに取り組んでいることをお知らせしました。本日は、イタリアの AWS リージョンを構築中で、2020 年初頭には開設予定であることをお知らせします。 ミラノ、2020 年 予定されている欧州 (ミラノ) リージョンには 3 つのアベイラビリティーゾーンがあり、これで既存のフランス、ドイツ、アイルランド、英国、今年後半に開始される新しいスウェーデンリージョンを合わせて、ヨーロッパで 6 番目のリージョンになります。当社は現在、全世界 19 の地理的リージョンに 57 のアベイラビリティーゾーンがあり、これに加えて現在から 2020 年の前期の間に、5 つのリージョンの 15 のアベイラビリティーゾーンが準備中です (詳細については、AWS グローバルインフラストラクチャ ページを参照ください)。既存のすべてのリージョンと同じく、これは最も厳格なコンプライアンス基準を満たし、AWS のお客様に最高レベルのセキュリティを提供するように設計されています。 イタリアの AWS イタリアの AWS のお客様は、既存のリージョンを 10 年以上使っています。イタリアのホットなスタートアップ、企業、公共部門組織はすべて、AWS クラウドでミッションクリティカルなアプリケーションを実行しています。すでに起こっていることをお知らせするための例を紹介します。 Ferrero は世界最大のチョコレート製造メーカーの 1 つです (私のブログ執筆を力づけるポケットコーヒーも作っています)。同社は 2010 年から AWS を使用しており、80 か国の 250 Web サイト全体で機能を共有できるテンプレート駆動モデルを使用して、トラフィックサージを処理しながらコストを 30% 削減しています。 Mediaset は複数の放送ネットワークとデジタルチャンネル、有料テレビサービス、広告代理店、イタリア映画スタジオ Medusa […]

Read More

新 – CloudFormation ドリフト検出

AWS CloudFormation は、Infrastructure as Code (IaC) を実装する取り組みをサポートします。テンプレートを使うことで、希望する AWS リソース設定を定義し、それを使って CloudFormation スタックを起動することができます。スタックには、指定通りに設定されたテンプレートに定義されている、一連のリソースが含まれています。設定を変更する必要があるときは、このテンプレートを更新し、CloudFormation の変更セットを使って変更を適用します。テンプレートはインフラストラクチャを完全かつ詳細に指定するので、ユーザーは自信をもって、いつでもこれを使って新しいリソースセットを作成できます。 実に理想的といえるでしょう。 現実には、多くの企業でいまだに IaC の完全な実装が行われています。こうした企業は、並行して従業員の研修やプロセスの調整を行っています。いずれも、ある程度の時間が必要です。移行期間中に、テンプレートを更新することなく、AWS リソース (とそのプロパティ) を直接変更して終わることもよくあります。また、帯域外でその場しのぎの修正を行って EC2 インスタンスタイプを変更したり、Auto Scaling パラメータを修正したり、IAM パーミッションを更新したりしている場合もあります。こうしたアンマネージド型の変更は、再起動時に問題を発生させる要因となります。実行中のスタックの設定がテンプレートから乖離してしまい、適切に記述されなくなるためです。深刻なケースでは、変更によってスタックの更新や削除が妨害される場合もあります。 新しいドリフト検出 本日、当社は、上記のような状況に対応するために設計された、強力な、新しいドリフト検出機能を発表します。テンプレートからスタックを作成した後に、コンソール、CLI、またはユーザー自身のコードからのドリフトを検出できます。スタック全体、または特定のリソースでドリフトを検出し、結果を数分以内に確認することが可能です。その後、テンプレートの更新に必要な情報や、リソースをコンプライアンスに準拠した適切な状態に戻すための情報が提供されます。 ドリフト検出のチェックを開始すると、CloudFormation が、現在のスタック設定と、スタックを作成または更新するために使用された、テンプレートが指定する設定とを比較し、誤差があれば報告し、それぞれの詳細な情報を提供します。 当社は、核となる一連のサービス、リソース、プロパティへのサポートを開始します。サポートは今後さらに追加される予定です。初回のリソースリストには、API ゲートウェイ、Auto Scaling、CloudTrail、CloudWatch Events、CloudWatch Logs、DynamoDB、Amazon EC2、Elastic Load Balancing、IAM、AWS IoT、Lambda、Amazon RDS、Route 53、Amazon S3、Amazon SNS、Amazon SQS その他が含まれています。 ドリフト検出は、CREATE_COMPLETE、UPDATE_COMPLETE、UPDATE_ROLLBACK_COMPLETE、UPDATE_ROLLBACK_FAILED の状態にあるスタックに実行できます。ドリフト検出は、チェックしたスタックにネストされている他のスタックには適用されません。これらのチェックはユーザーが自ら行います。 実行中のドリフト検出 Provisioned Throughput for Amazon EFS の記事を書いたときに使用した単純なタスクで、この機能を実際に使ってみました。スタックを選んで [Action] メニューから [Detect […]

Read More