Amazon Web Services ブログ

リレーショナルデータベースエンジンを選ぶとき、お客様は、管理、性能、信頼性、自動化など、さまざまな面に注目しますが、最近では、さらに保存されたデータをネイティブに暗号化する機能にも注目が集まっています。Amazon Aurora は、可用性と拡張性が高い最適なリレーショナルデータベースエンジンで、MySQL と PostgreSQL の両方をサポートしています。Amazon Aurora は、保存されたデータのネイティブ暗号化をサポートしており、AWS Key Management Service (AWS KMS) を使用して暗号化用のキーの保管と管理をします。 AWS KMS を使用して暗号化キーの作成、保管、管理をすることができます。これはハードウェアセキュリティモジュール (HSM) で強化されており、確実にキーを安全に保管できます。 AWS KMS は、次のようなさまざまなコンプライアンススキーマに準拠しています。 連邦情報処理標準 (FIPS) 140-2 System and Organization Controls (SOC) 1、2、3 ペイメントカード業界データセキュリティ基準 (PCI-DSS) レベル 1 Federal Risk and Authorization Management Program (FedRAMP) 医療保険の相互運用性と説明責任に関する法令 (HIPAA) AWS KMS の特長は、お客様管理のカスタマーマスターキー、すなわちCMKです。AWS KMS では CMK を使用することで、独自のポリシーに基づくキーのローテーション、キーの削除、KMS ポリシーと IAM ポリシーによるキーへのアクセス制御などの機能が得られます。AWS KMS […]

ビデオを撮影し、保存するとろこまではごく一般的に行われていますが、そのビデオに主要人物、場所、またはものが映り込んでいるかどうかは、だれかが画面の前に座って、そのビデオを見る時間がとれるまで分析されることはありませんでした。  深層学習を活用した使い勝手の良いサービスを使用して、ビデオを分析するプロセスを合理化し、自動化できるとしたらどうでしょう? Amazon Rekognition Video は、人物を追跡したり、活動を検出したり、物体、有名人、および不適切なコンテンツを認識したりする、深層学習を使用した動画分析サービスです。Amazon Rekognition Video は、ライブストリーム内の顔を検出して認識できます。Rekognition Video は、Amazon S3 に保存されている既存のビデオを分析し、活動、人物と顔、物体を示すラベルをタイムスタンプ付きで返すため、シーンを簡単に見つけることができます。Amazon Kinesis Video Streams からライブビデオの顔認識を実行することも可能です。Amazon Kinesis Video Streams を使用することで、分析、機械学習 (ML)、およびその他の処理のために、接続されたデバイスから AWS へ動画を簡単かつ安全にストリーミングできるようになります。 今回のブログ記事では、自分で顔認識機能をテストする方法をご紹介します。この機能を利用することで、ライブビデオフィードから、既知の個人の顔情報を集めた特定の顔情報コレクションに一致する顔がそのビデオに含まれているかを判別することもできます。 これらの例としては、要人、参考人、会社や組織の特定の人々、または個々のユースケースで意味をなすあらゆる種類の顔情報コレクションが挙げられます。 サーバーレスアーキテクチャの概要 以下はこのブログ記事でご紹介するビデオ分析フローを図式化したものです。このコレクションでは単一の顔を使用しますが、容易に数百万の顔情報コレクションに拡張することができます。 このブログ記事では、Amazon Kinesis Video Stream にライブフィードを送信するためにあなたのノート PC のウェブカムを使用します。 そこから Amazon Rekognition Video のプロセッサがフィードを分析し、私たちの作成したコレクションと比較します。  一致した結果は、AWS Lambda と Amazon Simple Notification Service (Amazon SNS) との統合によりメールで私たちに送信されます。 結果を理解する 次に、ライブのビデオストリームで顔情報が特定されたときに、Amazon Rekognition Video からの結果を見てみます。この結果はウェブカムのフィードに既知または未知の顔が現れたときに、Amazon […]

AWS ではちょうど 10 年前に、Amazon EC2、Amazon S3、および Amazon SQS に焦点を当てたゴールドプランとシルバープランで AWS サポートを開始しました。シアトルの小さなチームが支えるこれらの開始当初のサポート提供から始まった AWS サポートは、現在 60 を超える場所で働く何千人もの人々で成り立っています。 これまでを振り返って 長い年月を経て、これらのサポートは AWS のますます多様化するカスタマーベースのニーズを満たすために成熟し、進化しました。AWS は、一番初めの実験から、ミッションクリティカルなワークロードとアプリケーションをデプロイするときまで、クラウド採用の旅におけるあらゆる段階でお客様をサポートすることを目標としています。 私たちは、AWS のサポートモデルを有益な先を見越したものとするために尽力してきました。AWS では、お客様がセキュアで堅固、かつ信頼できるシステムを構築するために役立つツール、アラート、および知識を提供するために最善を尽くしています。以下は、この目標に向けた最近の取り組みの一部です。 Trusted Advisor S3 バケットポリシーチェック – AWS Trusted Advisor は 5 つのカテゴリーのチェックを提供し、セキュリティとパフォーマンスを向上させるように設計された推奨事項を提供します。AWS は今年の初めに、S3 バケットアクセス権限チェックが無料になり、すべての AWS ユーザーにご利用いただけるようになったことを発表しました。AWS サポートのビジネスまたはプロフェッショナルレベルに加入されている場合は、Amazon CloudWatch Events を使ってこのチェック (およびその他多くの事柄) を監視できます。これは、人手を介さずにバケットを監視してセキュア化するために使用できます。 Personal Health Dashboard – このツールは、AWS でお客様に影響を与える可能性があるイベントが発生しているときにアラートとガイダンスを提供します。お使いの AWS リソースの基礎となる AWS のサービスのパフォーマンスと可用性に関するパーソナライズされたビューを見ることができます。また、必要に応じて自動フェイルオーバーと修復を開始できるように、Amazon CloudWatch […]

大規模なデータおよびデータレイクのワークロード用にサーバーレスETL（抽出、変換およびロード）アプリケーションを開発するためにAWS Glueはますます普及しています。 ETLアプリケーションをクラウドベースのサーバーレスETLアーキテクチャに変換する組織は、ソースコードからビルド、デプロイ、プロダクトデリバリまで、シームレスでエンドツーエンドの継続的なインテグレーションおよび継続的なデリバリ（CI / CD）パイプラインが必要です。優れたCI / CDパイプラインを持つことで、組織はプロダクションリリース前にバグを発見し、より頻繁にアップデートを提供することができます。また、開発者が高品質のコードを書いたり、ETLのジョブリリース管理プロセスを自動化したり、リスクを軽減したりするのに役立ちます。 AWS Glueは、フルマネージドのデータカタログとETLのサービスです。これは、データの発見、変換、およびジョブスケジューリングなどの困難で時間のかかる作業を簡素化し自動化します。 AWS Glueは、データソースをクロールし、CSV、Apache Parquet、JSONなどの一般的なデータフォーマットとデータタイプ用に事前に作成された分類子を使用してデータカタログを構築します。 AWS Glueを使用してETLアプリケーションを開発する場合、CI / CDの次のような課題に直面する場合があります。 ユニットテストによる繰り返しの開発 継続的なインテグレーションとビルド ETLパイプラインをテスト環境にプッシュする ETLパイプラインをプロダクション環境にプッシュする 実データを使用したETLアプリケーションのテスト（live test） データの調査と検証 この記事では、AWS Developer Tools（AWS CodePipeline、AWS CodeCommit、AWS CodeBuildなど）とAWS CloudFormationがサポートするサーバーレスAWS Glue ETLアプリケーションのCI / CDパイプラインを実装するソリューションを紹介します。 ソリューションの概要 次の図は、ワークフローのパイプラインを示しています。 このソリューションでは、AWS CodePipelineを使用して、ETLアプリケーションのソースコードのテストおよびステージへのデプロイを制御および自動化することができます。 このソリューションは、以下のステージを含むパイプラインで構成されています。 1.）Source Control：このステージでは、デプロイするETLジョブのAWS Glue ETLジョブソースコードとAWS CloudFormationテンプレートファイルの両方がバージョン管理にコミットされます。 バージョン管理にAWS CodeCommitを使用することにしました。 ETLジョブソースコードとAWS CloudFormationテンプレートを取得するには、gluedemoetl.zipファイルをダウンロードします。 このソリューションは、以前の記事、AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築するに基づいて開発されました。 2.）LiveTest：このステージでは、AWS […]

Cloudability は、クラウドのコスト管理プラットフォームであり、企業が既知のクラウド財務と完全なアカウンタビリティの実行を可能にします。プラットフォームでは、殺到する請求書および利用データポイントを収集します。各クラウドベンダーの 275,000 以上のサービスとオプション、またクラウドプロバイダーごとに毎年 1,000 以上の新しいサービスが展開されており、1 リソースあたり 3,300 万件にものぼります。 分析、自動化、および Machine Learning を使用して、 Cloudability の True Cost Engine は、企業での割引、クレジット、コミットメント、予約、配分、および償却に基づいてこのデータを補強し、変換します。 Cloudability’ の TrueCost Explorer では、請求データを分析し、使用状況がどのようにコストに変換されるかを理解します。 Cloudability により、より望ましいリザーブドインスタンス (RI) の決定が可能になります。リザーブドインスタンスプランナーを使って、活用されていない RI の計画、購入、変更、および識別が可能です。 コスト、使用量、および RI データを取り込んだ後、Cloudability は、使用時間消費と RI カバレッジ周りのユーザーの可視性における追跡と改善を容易にします。 状況 2017年春、我々は True Cost Engine の新しい予測モデルを公開するプロジェクトに着手しました。AWS で実行するする顧客にさらに高いコスト効率を提供する予測モデルを開発することがこのプロジェクトの目標でした。 このような分析をサポートするためには、パフォーマンス、スケーラビリティ、費用対効果に優れ、そしてメンテナンスやチューニングが容易なデータベースが必要でした。この記事では、これらの要件を満たすための最良の選択である PostgreSQL との互換性を備えた Amazon Aurora をどのように見出したかを示します。 プロジェクト 昨年初め、Cloudability のデータサイエンスチームは、ペタバイトの顧客コスト最適化データを使用して新しい予測モデルを開発することを決めました。これらのモデルは、アカウントの過去のスポット料金の動向、顧客の RI ポートフォリオの欠損値、インスタンスの使用パターン、および顧客が指定した料金表の調整などを考慮に入れます。 このモデルは、過去の […]

こんにちは。マーケティングの鬼形です。2018 年 5 月の AWS Black Belt オンラインセミナーの配信についてご案内をさせて頂きます。

ブロックチェーンテクノロジーに関する今日の議論の多くは、古典的な Shimmer のフロアワックスの寸劇を思い出させます。Dan Aykroyd によれば、Shimmer はデザートのトッピングです。Gilda Radner はそれがフロアワックスであると主張し、Chevy Chase が議論を解決し、実際には両方であることを明らかにします。私が話している人々の中には、ブロックチェーンは新しい金融システムの基盤であり、国際的な支払いを促進する手段であると見る人がいます。他の人々は、ブロックチェーンを分散された元帳、物流、サプライチェーン、土地の登記、クラウドファンディング、その他のユースケースに適用できる不変のデータソースと見ています。いずれにしても、興味深い可能性がたくさんあり、お客様がこの技術をより効果的に使用できるよう支援しています。 本日、AWS ブロックチェーンテンプレートを開始します。これらのテンプレートを使用すると、Ethereum (パブリックまたはプライベート) や Hyperledger Fabric (プライベート) ネットワークをほんの数分で、数回クリックするだけで始めることができます。テンプレートが、堅牢でスケーラブルな方法で動かすために必要なすべての AWS リソースを作成し、設定します。 プライベート Ethereum ネットワークの開始 Ethereum テンプレートには、2 つの起動オプションがあります。ecs オプションは、Virtual Private Cloud (VPC) 内に Amazon ECS クラスターを作成し、クラスターで一連の Docker イメージを起動します。また、docker-local オプションも VPC で実行され、Docker イメージを EC2 インスタンスで起動します。このテンプレートは、Ethereum のマイニング、EthStats と EthExplorer のステータスページ、Ethereum RPC プロトコルを実装し、応答するノードのセットをサポートしています。どちらのオプションも、サービス検出のための DynamoDB テーブルを作成して使用し、ステータスページのための Application Load Balancer も使用します。 Ethereum […]

これまで、大量の構造化されていないか、半分構造化されているコンテンツからの値の抽出は困難で、機械学習 (ML) のバックグラウンドが必要でした。Amazon Comprehend はエントリの障害をなくし、データエンジニアと開発者が豊富で継続的にトレーニングされた、自然言語処理サービスに簡単にアクセスできるようにします。 Amazon Comprehend からの分析を関連するビジネス情報と結合して貴重な傾向分析を構築することにより、完全な分析ソリューションを構築できます。たとえば、ブランド、製品、またはサービスについて取り上げている記事では、どの競合製品が最も頻繁に書かれているのかを理解することができます。顧客は顧客プロファイル情報と顧客のフィードバックのセンチメントも結合して、新製品を発売したときにどのタイプの顧客が特定の反応を見せるのかをより良く理解することもできます。 収集され、S3 に保存されるソーシャルメディアの投稿、ニュース記事や毎日の顧客のフィードバックなどの造化されていないか、半分構造化されているコンテンツの急速な増加により、S3 は分析できるときにもたらされる貴重な洞察の絶好の機会を提供してきました。Amazon Comprehend は Amazon Relational Database Service (RDS) とシームレスに機能します。このブログ投稿において、私たちは自然言語処理モデルの機械学習について学ぶ必要なく、データベースから豊かなテキスト分析ビューを構築する方法を紹介します。 私たちはこのことを Amazon Comprehend を Amazon Aurora-MySQL と AWS Lambda と結合して利用することで行います。これらは、センチメントを判別し、それをデータベースに返して保存するためにデータが挿入されるときに発せられる Aurora の一連のトリガーと統合されます。その後、より迅速な洞察をもたらす上で役立つ、データベースの追加データと結合できます。この同じパターンは、Amazon Translate などの他のアプリケーションレベルの ML サービスを統合して、コンテンツ自体を翻訳するために使用することもできます。 重要 -このパターンを使用しないとき: このパターンは、高速の Insert コール (1 秒間に数十を超える行数の挿入) を伴うワークロードを対象としていません。これらのトリガーは非同期ではないため、アドホック操作にのみお勧めします。Lambda 関数のコールを Insert ステートメントの後に置くことにより、各ステートメントに数十ミリ秒を追加します。トラフィックの多いデータソースの場合は、poll-aggregate-push アプローチを使用して、主たる Insert 書き込みパスから Lambda コールを削除する必要があります。 アーキテクチャ 次のダイアグラムは、このブログで設定するフローを示します。 ダイアグラムの矢印は、次のステップを示します。 MySQL […]

こんにちは、マーケティングの鬼形です。 先日(2018/4/18) 開催された AWS Black Belt Online Seminar「Amazon VPC」の資料を公開いたしました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180418 AWS Black Belt Online Seminar Amazon VPC from Amazon Web Services Japan PDF 録画（オンデマンドセミナー） Q1. (自己紹介の質問) Market Place の何が好きか教えていただけるとうれしいです。 A. Network 担当ということで、様々なルータやファイアーウォール製品を時間単位で複数お試しができるので、検証が簡単にできるのが好きなところです。 Q2. 別々の VPC では物理的にネットワークが分離する認識で合っていますか。 A. 別々の VPC は論理的にネットワークが分離されます。 Q3. VPC を分ける単位のベストプラクティスはありますでしょうか。 A. ページ 76，77 でいくつか例をご紹介させていただきました。よりよいベストプラクティスをお探しの場合は是非 Well-Architectedをご参照ください。 Q4. 異なるリージョンのAZを、1つのリージョンから指定することはできますか。 A. リージョンの内部にアベイラビリティゾーン（AZ)が存在するので、指定することはできません。それぞれのリージョンから AZ […]

ほぼ 10 年前、私の同僚の Deepak Singh は、彼の投稿の｢Paging Researchers, Analysts, and Developers｣で、AWS のパブリックデータセットを紹介しました。Deepak が現在も AWS チームの重要な一員であり、パブリックデータセップログラムがまだまだ強くなっていることを報告できて嬉しく思います！ 本日、オープンでパブリックなデータへの新しい取り組みである AWS の Registry of Open Data または RODA を発表いたします。このレジストリには既存のパブリックデータセットが含まれており、誰でも自分のデータセットを追加して、AWS でアクセスして分析することができます。 レジストリの内側 ホームページに、レジストリに含まれているすべてのデータセットの一覧があります。 検索用語を入力すると、一致するデータセットだけが表示され、リストは縮小します。 それぞれのデータセットには、使用例、ライセンス情報、AWS でのデータセットの検索とアクセスに必要な情報など、関連する詳細ページがあります。 この場合、単純な CLI コマンドを使用してデータにアクセスできます。 また、プログラムでアクセスしたり、EC2 インスタンスにデータをダウンロードしたりすることもできます。 リポジトリへの追加 公開されているデータセットを RODA に追加したい場合は、プルリクエストを送信してください。オープンデータレジストリリポジトリに移動し、CONTRIBUTING ドキュメントを読んで、データセットディレクトリの既存ファイルの 1 つをモデルとして使用して、データセットを記述する YAML ファイルを作成します。 プルリクエストは定期的に確認していますので、リポジトリを「スター」するか見ることで、追加や変更を追跡することができます。 感動させてください 強力で興味深い方法でデータを使用する方法を示すブログの投稿やアプリとともに、新しいデータセットの登場を楽しみにしています。皆様からのご感想をお待ちしています。 — Jeff;