Amazon Web Services ブログ

先日 (2018/6/20) 開催しました AWS Black Belt Online Seminar 「AWS Support」 の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180620 AWS Black Belt Online Seminar AWS Support PDF Q. たまに利用実績のないサービスのアラートメールが届いたりするのですが、現状サポート契約をしていない（ベーシックプラン）のでどこに確認していいか迷うときがあります。そもそもご配信では？というときはどこに聞けばいいでしょうか？ こちらは、一度料金関連のサポートケースをご起票いただけたらと思います。料金関連のお問い合わせはベーシックプランでもご利用可能です。ご利用実績がないということで、料金の発生有無から切り分けを進める形が良いと考えます。 Q. AWS費用に応じてサポートがかわりますが、どのタイミングの費用で計算されるのでしょうか AWSサポート料金は、実際にAWSサポートにご加入いただいていた期間に発生したAWS月額ご利用料金を基に算出されます。開発者サポート及びビジネスサポート料金は、対象期間の料金を月末締めで算出し、翌月初旬にAWS月額料金に含まれ請求されます。 なお、AWSサポートご加入時に前払い金有りのリザーブドソースを保有されている場合、リザーブドソースの前払い金の案分料金*がAWSサポート料金計算に含まれます。案分料金に対するサポート料金は、サポートご加入初月にまとめて計算されますので、翌月以降は案分料金に対するサポート費用の発生はございません。 *前払い料金をリザーブドソースの有効期限までの残日数で案分した金額となります。 Q. サポートプランを途中で変更した場合は日割りとなるのでしょうか。クリティカルな障害が発生した際にビジネスサポートへ変更して１時間以内または４時間以内に回答を求める、といったことは可能なのでしょうか。 月の途中でサポートプランの変更を行った場合、それぞれのサポートプランに加入していた期間の案分料金が請求されます。お使いのシステムの重要性が上がるタイミングに合わせて、ビジネスサポートプランをご検討いただければ幸いです。 Q. 請求を分割するために複数のアカウントを利用しているのですが、組織での統合請求と同じようにサポートも組織 にまとめることはできないのでしょうか？ こちらのご質問、「組織」はAWS Organizationsを指しているものとして回答します。恐れ入りますが、サポート契約については、Organizationsの利用にかかわらず、アカウント単位でのご選択をお願いしております。 Q. パフォーマンスの妥当性について、解析やサポートできますか ? AWSインフラ側の稼働状況を調査し、またログや各種メトリクスを中心としたご利用状況から見解をお答えすることができます。切り分けに際しては、アプリケーション側の切り分けを実施していただく必要がございますので、ご協力のほどお願いいたします。またご支援に際し、性能指標の妥当性についてはお客様にご判断いただく必要があること、またお客様の開発されたプログラムコードのレビューやデバッグは対象外となりますこと、何卒ご了承ください。 以上です。 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております！ AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS) […]

VidMob のシニアソフトウェアエンジニア、Joe Monti 氏の投稿記事です。彼らの言葉を借りれば、Vidmob とは「革新的テクノロジーソリューションを備えた、世界をリードするビデオ作成プラットフォームです。高度にトレーニングしたクリエイターネットワークを使って、予測に重点を置き、自分用にカスタマイズしたり拡張もできるマーケティングコミュニケーションの開発を可能にします。VidMob のクリエイターは、ソーシャルあるいはデジタルチャンネル、フォーマット、および言語にわたるあらゆるビデオコンテンツが制作できるようにトレーニングされています。」 動画は、特に複雑で大規模なリアルタイムアプリケーションで使用する場合、自動化したコンテンツ認識を行うのに、特徴的な課題が生じます。例えば、ディープラーニングアルゴリズムを実装し使用するのは、面倒な作業だけでなく、大きな動画ファイルや大きな出力ファイルを処理するために膨大なコンピューティングパワーを必要とします。Amazon Rekognition は AWS 上で利用可能な数多くのツールとサービスを組み合わせることで、こうした難しい部分をより簡単に行えるようにします。そのため、価値ある、そして洗練されたアプリケーションの構築だけに、総力をあげることができるのです。 この記事では、動画ファイルに対してコンテンツ認識を実行する、スケーラビリティおよび適応性が高い処理パイプラインの重要なコンポーネントについて説明します。 アーキテクチャの概要 次のアーキテクチャは、コンテンツ認識を通じて動画を処理し、使用可能なデータセットを構築するために、多くの AWS サービスを統合します。 システムが新しい動画を取り込み、保留中のメディア認識のため Amazon SQS キューへメッセージが送信されると、このプロセスが開始されます。このキューは、Amazon Rekognition API のスループットを管理するためのバッファとして機能します。次のステップで、SQS キューを処理し、Process Rekognition Step Function を開始するため、固定料金スケジュールで設定した Amazon CloudWatch イベントが起動します。このステップ関数は、複数の AWS Lambda 関数を調整し、後に続く Amazon Rekognition リクエストとデータ処理を管理します。 Amazon Rekognition によるリクエスト処理のためのステップ関数 ステップ関数は、コードの実行を調整するシステムで、次に行うことを決定する制御フローロジックを提供します。ですので、ステップ関数を使えば、動画処理パイプラインの機能を迅速に開発、テスト、デプロイ、および向上することができます。この例では、AWS Step Functions で作成したステップ関数を使用して、複数の コンテンツの Amazon Rekognition API 操作による動画処理を可能にします。次の画像は、Amazon Rekognition リクエストを開始、待機、および処理する簡単なステップ関数を表しています。 このステップ関数の状態は、次の通りです。 認識の開始 – Amazon […]

Amazon Simple Queue Service (SQS) を使って AWS Lambda 関数をトリガーできるようになりました。これは私が個人的に 4 年以上前から楽しみにしてきた、重要な機能を提供する特別なアップデートです。皆さん、試用を待ち望んでいることでしょうから、昔話に興味のない方は下記を飛ばしてもらって結構です。 SQS は当社が立ち上げた初めてのサービスで、14 年前の 2004 年、AWS より公開されました。ご参考に、2004 年当時と言えば、商用ハードドライブは最大でも約 60 GB、PHP 5 が現れ、Facebook がちょうど開始したところ、テレビ番組のフレンズはシリーズが終了、Gmail はまだ珍しく、そして私はまだ高校生でした。振り返ってみると、今日の AWS を生み出した理念、つまり完全な管理体制、ネットワークにアクセス可能で、プリペイドで契約維持料なしといった方針は、SQS 開発の初期段階であった当時にも少し垣間見ることができます。現在、SQS は数多くの顧客が非常に大規模に使用しているサービスの中でも最も人気が高く、多くのアプリケーションの基本構成部分の 1 つとなっています。 これに対して、AWS Lambda は 2014 年に開催された AWS re:Invent (私はその日の参加者でした) にてリリースした比較的新しいサービスです。Lambda は、サーバーのプロビジョニングや管理を行わずにコードを実行できるコンピューティングサービスであり、2014 年にサーバーレスの革命を起こしたのです。Web およびモバイルバックエンドから IT ポリシーエンジン、データ処理パイプラインまで、幅広いユースケースに即座に採用されました。現在、Lambda は Node.js、Java、Go、C＃、Python のランタイムをサポートしているので、既存のコードベースの変更を最小限に抑え、新しいコードベースを柔軟に構築できます。さらにこの過去 4 年間で、Lambda の機能やイベントソースを多数追加したため、さらに迅速な仕事ができるようになりました。Lambda に SQS のサポートを追加することで、ポーリングサービスの実行や、SQS から SNS […]

AWS Schema Conversion Tool (AWS SCT) の新しいバージョンを導入することに興奮しています。これには、PostgreSQL10 のパーティショニング、新しいサーバレベルのアセスメントレポート、テーブル値関数のサポートなどをサポートが含まれています。 AWS SCT とは、あるデータベースエンジン上の既存のデータベーススキーマを別のデータベースエンジン用に変換するためのツールです。リレーショナル OLTP スキーマやサポート対象のデータウェアハウス OLAP スキーマを Amazon RDS に変換することができます。たとえば、MySQL や PostgreSQL などと互換性があるため、Amazon Aurora に変換できます。また、リレーショナル OLTP スキーマやサポート対象のデータウェアハウス OLAP スキーマを Amazon Redshift に変換することも可能です。サポートされているすべてのソースとターゲットをドキュメントで検索してください。 以下に、このブログ記事でカバーするトピックの概要を示します： SCT Assessment Report への変更 Oracleから Amazon RDS for Oracle Microsoft SQL Server から Amazon RDS for SQL Server テーブル値関数の実装 SQL Server から PostgreSQL へ […]

Elasticsearch および Amazon Elasticsearch Service (Amazon ES) に関するこの導入シリーズへようこそ。今回および今後のブログ記事では、AWS で Elasticsearch の使用を開始するために必要な基本情報を紹介します。 概要 Amazon Elasticsearch Service ドメインを初めて起動するときには、インスタンスタイプとインスタンス数の設定、専用マスターを使用するかどうかの決定、ゾーン認識の有効化、およびストレージの設定が必要です。このシリーズでは、インスタンス数の決定のためにストレージをガイドラインとして使用することについて説明してきましたが、他のパラメータについては説明したことがありませんでした。本記事では、ログ分析ワークロードの T シャツサイズに基づいて推奨事項を提供します。 ログ分析およびストリーミングのワークロードの特性 ストリーミングワークロードに Amazon ES を使用する場合、1 つ以上のソースから Amazon ES にデータを送信します。Amazon ES は定義した 1 つまたは複数のインデックスにお客様のデータ (より正確には、お客様のデータのインデックス) を保存します。さらに、データのタイムスライスと保持期間を定義して、ドメインでのライフサイクルを管理します。 次の図では、データのストリームを生成するデータソースが 1 つあります。 そのデータのストリームを Amazon ES に送信する際に、Stream1_2018.05.21、Stream1_2018.05.22 などの名前の 1 日ごとのインデックスを作成します。Stream1_ をインデックスパターンと呼びます。この図では、これらの各インデックスに対して 3 つのプライマリシャードを表示しています。シャードは、各プライマリシャードに 1 つあるレプリカと共に、3 つの Amazon ES データインスタンスにデプロイされます。(分かりやすいように、図には示していませんが、プライマリとレプリカが別のインスタンスにあるようにシャードがデプロイされます。) Amazon Elasticsearch Service […]

Amazon EMR で利用可能な動的なスケーリング機能を利用することで、費用を節約することができます。 クラスタ内のノード数を即座に増やしたり減らしたりスケールする機能は、Amazon EMR を弾力的にする主要な機能の1つです。 EMR のスケーリング機能を使うことで，負荷がほとんどまたはまったくない時にクラスターのサイズを小さく変更することができます。 また、ジョブが非常に遅くなった場合に処理能力を追加するために、クラスターのサイズを大きくすることもできます。 これによりあなたのジョブを少し余裕を持たせた上でカバーするのに必要十分なコストを使うことが出来ます。 この機能の背後にある複雑なロジックを知ることで、クラスタのコストを節約することができます。この記事では、EMR クラスターのサイズをどのように変更するかを詳しく説明し、この機能を使用してあなたのクラスタのコストを削減し最大限のメリットを得るためのベストプラクティスを紹介します。 EMR スケーリングは、単にノードをクラスタに追加または削除するより複雑です。よくある誤解の1つは、Amazon EMR のスケーリングは Amazon EC2 のスケーリングとまったく同じように動くということです。 EC2 スケーリングを使用すると、ノードをほぼ即時に、かつ心配なく追加/削除できますが、EMR では複雑さが増します（特にクラスタを縮小する場合）。これは重要なデータがノード上にあったり，ジョブがノード上で実行していたりする可能性があるためです。 データロストを防ぐため、Amazon EMR スケーリングでは、実行中の Apache Hadoop タスクや、ノードを削除する前に失われる可能性のある一意のデータがノードに存在しないことが保証されます。 EMR クラスタのサイズ変更する際にはデコミッションの遅延を考慮する必要があります。このプロセスがどのように機能するかを理解することによって、遅いクラスタのサイズ変更や非効率なオートスケーリングのポリシーなど、他の人が悩まされていた問題を回避できます。 EMR クラスタが縮小されると、終了するノードで2つの異なるデコミッションプロセスがトリガされます。最初のプロセスは、Hadoop リソースマネージャである Hadoop YARN のデコミッションです。 Amazon EMR にサブミットされる Hadoop タスクは一般的に YARN を通じて実行されるため、EMR はノードを削除する前に実行中の YARN タスクが完了していることを保証する必要があります。何らかの理由で YARN タスクがスタックした場合、デコミッショニングを緩やかに終了することを確実にする設定可能なタイムアウトがあります。このタイムアウトが発生すると、YARN タスクは終了し、タスクが正常に完了できるように別のノードに再スケジュールされます。 2番目のデコミッションプロセスは、HDFS（Hadoop Distributed File System）のデコミッションプロセスです。 HDFSは、HDFSを実行している任意のノード上の EMR […]

今日からは、PyTorch の深層学習モデルのトレーニングとデプロイを Amazon SageMaker で簡単に行うことができます。PyTorch は、TensorFlow、Apache MXNet、Chainer に加え、Amazon SageMaker がサポートすることになった 4 番目の深層学習フレームワークです。  他のフレームワークとまったく同様、普段通りに PyTorch スクリプトを記述し、Amazon SageMaker のトレーニングに分散型トレーニングのクラスター設定、データ転送、さらにはハイパーパラメータのチューニングまで処理を任せることが可能になりました。推論の点では、Amazon SageMaker は、マネージド型で可用性が高く、また必要に応じて自動的にスケールアップ可能なオンラインのエンドポイントを提供します。 PyTorch に加え、最新の TensorFlow 安定版 (1.7 and 1.8) も追加しており、これらバージョンの新機能である tf.custom_gradient や、既成の BoostedTree 推定関数などを今日から活用していくことが可能です。Amazon SageMaker の TensorFlow 推定関数は、最新バージョンを使うようデフォルトで設定されているため、ユーザーはコードを更新する必要すらありません。 それぞれの深層学習フレームワークが得意とする分野は異なるため、開発者にとっては多くの深層学習フレームワークをサポートしていることが重要です。PyTorch は深層学習の研究者がよく使用するフレームワークですが、その柔軟性と使いやすさから開発者の間でも急速に普及してきています。TensorFlow は定評があり、リリースごとに素晴らしい機能を追加し続けています。私たちはこれらのエンジンのほか、MXNet や Chainer のような定評ある他のエンジンの開発も継続していきます。 Amazon SageMaker における PyTorch PyTorch フレームワークは独特です。Pytorch が TensorFlow、MXNet、Caffe など他のフレームワークと異なるのは、リバースモード自動微分という技術を使用しているためで、これにより動的にニューラルネットワークを構築できます。また、Python とも密に統合されており、一般的な Python の制御フローを自身のネットワーク内で使用することや、Cython、Numba、NumPy などを使用して新しいネットワーク層を作ることが可能です。そして最後に、PyTorch は高速であり、MKL、CuDNN、NCCL […]

AWS Database Migration Service (AWS DWS) は、本日よりネイティブ CDC サポートを開始し、特定のチェックポイントから AWS DMS レプリケーションを開始および停止する機能を提供します。この機能を利用すると、Microsoft SQL Server のログシーケンス番号 (LSN)、Oracle のシステム変更番号 (SCN)、AWS DMS 固有の復旧チェックポイントなどのチェックポイントを使用できます。このリリースの一環として、データレプリケーションを停止し、AWS DMS のチェックポイント機能を使用して再開する機能も提供しています。 このリリースにより、AWS DMS を使用するお客様は、データベースがコミットシーケンス (ログシーケンス番号 (LSN) のことです) を使用するのと同じ仕組みを利用できます。また、より多くの統合ユースケースが公開されます。たとえば、Oracle Data Pump または SQL Server BCP を使用して、初期データをターゲットデータベースにロードした後、DMS ログシーケンス番号を使用して変更データキャプチャ (CDC) を開始できるようになりました。今回提供されるチェックポイント機能とネイティブな開始ポイントのサポートにより、環境を休止して前回のレプリケーション実行後に行われた変更を処理することができます。たとえば、最後のチェックポイントから 1 日に 1 回変更をレプリケートできます。 リリースの時点では、Oracle、SQL Server、MySQL データベースに加えて、Amazon Aurora with MySQL Compatibility もサポートしています。今後、他のデータベースのサポートも予定されています。 AWS DMS 入門 AWS […]

みなさん、こんにちわ。 アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。   大阪ローカルリージョンで AWS Snowball / Snowball Edgeの提供が開始されました。 Snowball はセキュリティに考慮して設計されたデバイスを使用するペタバイト規模のデータ転送ソリューションで、AWS クラウド内外に大容量データを転送できます。AWSのリージョンへ大量のデータを転送するだけではなく、データの取り出しにもご利用可能です。 Snowballの使い方はシンプルです。例えばImportの場合、マネージメントコンソールでJOBを作成すると、Snowballデバイスが皆さんのところに送付されてきます。Snowballデバイスは業界標準のネットワークインターフェイス (RJ45、銅線 SFP+、光ファイバー SFP+ アダプタを使用した 10Gb イーサネット) とストレージプロトコル (HDFS、S3 API、S3 CLI) をサポートしています。このインターフェースを使用してAWSのリージョンへコピーするデータをSnowballデバイスへ書き込みます。その後指定された住所まで送付すると、指定したS3バケットにデータがアップロードされます。 すべてのデータは256 ビット暗号化を使用して暗号化されます。暗号化キーは、AWS Key Management Service (KMS) を使用して管理されます。キーがデバイスに送信されたり、保存されたりすることはないので、郵送途中のSnowballからデータが漏洩することはないようになっています。 インターネット経由でのデータアップロードとSnowballによるデータアップロードの比較 100 テラバイトのデータを転送するには、1 Gbps の専用接続を使っても 100 日以上かかります。Snowball デバイスは1個80テラバイトのデータを格納可能ですので、 2 個使用すれば同じ容量のデータを 1 週間未満 (別途、運送時間がかかる) で転送することができます。 東京リージョンと大阪ローカルリージョン間のデータコピー Snowballはリージョン間のデータコピーはサポートしていません。東京リージョンのデータを大阪ローカルリージョンへコピーする場合は、S3 のクロスリージョンレプリケーションを使用してください。 料金表 Snowballの料金表はこちらにあります。 Snowball […]

多くの企業は、クラウド セキュリティのポリシーを厳格に規制しています。機密データが処理される Amazon EMR の場合、これらのポリシーはより厳しくなる可能性があります。 EMR で提供されているセキュリティ構成を使用すると、Amazon S3 およびローカルの Amazon EBS ボリュームに保存されているデータの暗号化を設定できます。また、転送中のデータの暗号化用に Transport Layer Security (TLS) 証明書を設定することもできます。 転送時の暗号化を有効にした場合、EMR は次のコンポーネントをデフォルトでサポートします。 Hadoop MapReduce 暗号化シャッフル。 「プライバシー」に設定されている セキュア Hadoop RPC および SASL の使用。これは、保管時のデータの暗号化を有効にしたときに、EMR 内でアクティブになります。 「プライバシー」に設定されている セキュア Hadoop RPC および SASL の使用。これは、セキュリティ構成内で保存済みのデータの暗号化が有効な場合に、EMR 内でアクティブになります。 SSL/TLS を使用した、Presto のノード間の内部通信。これは、EMR バージョン 5.6.0 以降にのみ当てはまります。 TLS を使用する Tez Shuffle Handler。 Apache Spark 間の内部 RPC 通信 Spark […]