Amazon Web Services ブログ

AWS 深層学習 AMI は TensorFlow と Microsoft Cognitive ツールキット用の Volta GPU に対するより高速のトレーニングを提供します

Ubuntu と Amazon Linux の AWS 深層学習 AMI に最新バージョンの TensorFlow (1.5) と Microsoft Cognitive ツールキット (2.4) が含まれます。 これらのフレームワークは、NVIDIA CUDA 9 と cuDNN 7 ドライバーのサポートを提供します。これにより、ユーザーは Amazon EC2 P3 インスタンスに対応する V100 Volta GPU によりサポートされる複合精度のトレーニングを利用できるようになります。当社の Volta における TensorFlow 1.5 のテストでは、ResNet-50 ベンチマークを合成 ImageNet データを使って FP16 モードの p3.8xlarge インスタンスでトレーニングすると、TensorFlow 1.4.1 でのトレーニングよりも 1.8 倍高速になりました。 深層学習フレームワークの最新の更新 深層学習 AMI は、個別のConda ベースの仮想環境で、深層学習フレームワークの最新の正式バージョンに対して、事前構築された pip バイナリを提供します。 […]

Read More

ご利用の WordPress ブログに新しい Amazon Polly の声を

私は最初、皆さまに 2016 年後半に Polly について、 「Amazon Polly – 24 か国語 47 種類の声で音声変換」の投稿でお話ししました。 AWS re:Invent が起動した後、韓国語、5 種類の新しい声のサポートを追加し、Polly を aws パーティションのすべてのリージョンで利用可能にしました。また、ウィスパリング、スピーチマーク、ティンバーエフェクト、および ダイナミックレンジ圧縮などの機能を備えています。 新しい WordPress プラグイン 当社は今日、お客様のブログ投稿の高品位音声バージョンを作成するために、WordPress プラグインを使い始めています。Amazon Pollycast と呼ぶ機能を使用して、投稿中やポッドキャスト内の音声にアクセスできます! 両方のオプションにより、お客様のコンテンツにより容易にアクセスできるようになり、より広い対象者に達することを支援できます。このプラグインは、AWS アドバンストテクノロジーパートナーである WP Engine の AWS チームの共同作業でした。 ご覧の通り、このプラグインのインストールと構成は容易です。お使いのインフラストラクチャまたは AWS 上で実行する WordPress のインストレーションと共に使用できます。いずれの方法でも、Polly のすべての音声に幅広い構成オプションと共にアクセスできます。 生成される音声 (各投稿の MP3 ファイル) は、WordPress コンテンツと共に保存するか、Amazon Simple Storage Service (S3) に保存し、その際に、Amazon CloudFront 経由のコンテンツ配布のための任意のサポートが利用できます。 プラグインのインストール 既存の […]

Read More

New – DynamoDB の保存時の暗号化

AWS re:Invent 2017 では、Werner は対象者に対して、次のように勧めました。「誰も見ていないようにダンスをして、誰もがしているように暗号化してください。」 AWS チームは常に、機密データを保護し、またコンプライアンスの目標を達成するために支援することを容易にする機能を追加したいと考えています。たとえば、2017 年に当社は SQS と EFS に対して保存時の暗号化を開始し、S3 に対して追加の暗号化オプション、さらに Kinesis データストリームのサーバー側の暗号化を開始しました。 今日、Amazon DynamoDB に対して保存時の暗号化の導入に、別のデータ保護オプションを提供しています。新規テーブルを作成するときに暗号化を有効にするだけで、後は DynamoDB が行います。お使いのデータ (テーブル、ローカルセカンダリインデックス、グローバルセカンダリインデックス) は、AES-256 およびサービスデフォルトのAWS Key Management Service (KMS) キーを使用して暗号化されます。暗号化はストレージオーバーヘッドを追加せず、完全に透過的です。以前のように、アイテムを挿入、クエリ、スキャン、および削除できます。チームは暗号化を有効にして、暗号化した DynamoDB テーブルで異なるいくつかのワークロードで実行した後、レイテンシーで変更を観察しませんでした。 暗号化テーブルの作成 AWS マネジメントコンソール、API (CreateTable)、または CLI (create-table) から暗号化テーブルを作成できます。私はコンソールを使用します。私は通常通り、次のように名前を入力して、プライマリーキーを設定します。 先に進む前に、[デフォルト設定の使用] をオフにして、[暗号化] セクションまで下方にスクロールして、[暗号を有効化] をオンにします。次に、[作成] をクリックすると、私のテーブルが暗号化形式で作成されます。 一目でテーブルの暗号化設定を確認することができます。 コンプライアンスチームが、DynamoDB でキーを使ってデータを暗号化する方法を尋ねられたら、AWS CloudTrail トレールを作成して、アイテムを挿入し、テーブルをスキャンして AWS KMS API へのコールを確認することができます。以下がトレールからの抽出です。 { “eventTime”: “2018-01-24T00:06:34Z”, “eventSource”: […]

Read More

Amazon Lex 対話ボックスの対応を強化

AWS マネジメントコンソールから Amazon Lex 対話ボットに応答を直接追加できるようになりました。ユーザーと活発に説得力のある対話を行うための応答メッセージを使用しましょう。 応答を使用する 応答はボットによるやり取りの最終要素であり、ボットのやり取りがすべて行われたあとに、ユーザーに表示されます。 応答にはお別れの挨拶といったシンプルなものから、メッセージを表示して別のやり取りにつながる様々なボタンの付いた画像のカルーセル表示などがあります。  応答は一部の事例ではやり取りの主要な要素となることもあります。たとえば、ユーザーを別のボット機能へ導くのに役立つやりとりなどがその例です。 応答は事前に定義され、デベロッパーによって作成されたメッセージのグループから動的に選択されるメッセージで構成されています。  たとえば、予約ボットでは最初のメッセージグループとして、ボットがユーザーに使用できる様々な挨拶(「こんにちは」、「いらっしゃいませ」、「お待たせいたしました」)などを含めることができます。2 つ目のメッセージグループには様々な自己紹介メッセージを指定できます。たとえば、「私は予約用ボットです」、「こちらは予約用ボットです」など。 3つ目のメッセージグループにはやり取りするための言葉を指定します。「レンタカーのご予約、ホテルのご予約はお任せください」など。  Amazon Lex は各メッセージグループの各メッセージを動的に使用して会話の受け答えを構築します。たとえば、会話の一例として次のメッセージをご覧ください。 会話例をもう 1 つご覧ください。 応答は簡単なもので、ユーザーが別の表現を使って答え、それにより別のやり取りがトリガーされるものを使用します。  たとえば、ユーザーが「レンタカー」と答えるとします。「レンタカー」がレンタカーを支援するやり取りの対話に一致すれば、そのやり取りが同時にトリガーされます。 応答には次に示すコンポーネントを 3 件まで指定できます。 メッセージ (いずれの応答にも 1 件以上のメッセージが必要) 応答の質問に対するユーザーの回答が「いいえ」であれば、終了メッセージ 応答カード 応答は Amazon Lex コンソール上で、Amazon Lex SDK を介して実行できます。  コンポーネントを見ながら応答の作成方法をご紹介します。 メッセージ Amazon Lex コンソールでは、応答セクションの最初のコンポーネントはメッセージまたはメッセージグループです。エディターではメッセージグループはこのように表示されます。 より自然な会話の流れを作るのに役立つのであれば、1 件の応答に 1 つまたは複数のメッセージグループを作成できます。  メッセージはメッセージグループごとにマークが付いた状態 (メッセージグループ 1、メッセージグループ 2 など) でクライアントに送信されるため、それぞれのグループはサポート対象の Amazon Lex チャンネルに 1 行ずつ自動的に表示されます。  […]

Read More

Amazon Redshift および AWS のサービスを使用してデータウェアハウスを構築する方法

12これは、Cerberus Technologies のビッグデータと BI の責任者である Stephen Borg による顧客の投稿です。 Cerberus Technologies、言い換えると Cerberus は先見的な iGaming の専門家により 2017 年に創立された会社です。私たちの使命は簡単です – データ指向で顧客第一のアプローチを通じた最高の技術ソリューションにより、作業とプロセスの従来の形態とは異なる革新的なソリューションを提供することです。この指名は信頼性、柔軟性、およびセキュリティの確固たる基礎に基づいており、iGaming と業界がテクノロジーと対話する方法を基本的に変更することを目的としています。 過去数年間にわたり、私は何もないところから、多くのデータウェアハウスを開発し、作ってきました。最近、私は iGaming 業界のデータウェアハウスを単独で構築しました。そのために、私はAmazon Redshiftのパワーと柔軟性、およびより広い AWS データ管理エコシステムを利用しました。この投稿では、一般的には必要な大きな専門家チームなしに、堅牢でスケール自在なデータウェアハウスを構築できた方法を説明します。

Read More

Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8

ETL(Extract、Transform、Load)プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト(挿入)プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化された正規化されていないテーブルまで、あらゆるタイプのデータモデルを使用した分析が可能です。 堅牢なETLプラットフォームを操作し、Amazon Redshiftにデータをタイムリーに配信するには、Amazon Redshiftのアーキテクチャを考慮してETLプロセスを設計します。 従来のデータウェアハウスからAmazon Redshiftに移行する場合、リフト・アンド・シフト方式を採用することが魅力的ですが、結果としてパフォーマンスとスケールの問題が長期的に発生する可能性があります。 この記事では、ETLプロセスにおける最適かつ一貫した実行時間を確保するためのベスト・プラクティスを下記にご紹介します。 複数の均等なサイズのファイルからデータの COPY Workload Management (WLM) を用いたETL実行時間の改善 定期的なテーブルのメンテナンスの実施 単一のトランザクションで複数ステップの実行 データの一括読み込み UNLOADを利用した大きな結果セットの抽出 アドホックETL処理に Amazon Redshift Spectrumを使用 診断クエリを使用して日常的なETLヘルスの監視 1. 複数の均等なサイズのファイルからデータの COPY Amazon RedshiftはMPP(大規模並列処理)データベースで、すべての計算ノードがデータの取り込み作業を分割して並列化します。 各ノードはさらにスライスに細分され、各スライスは1つ以上の専用コアを有し、処理能力を等しく分割します。 ノードあたりのスライス数は、クラスタのノードタイプによって異なります。 たとえば、各DS2.XLARGE計算ノードには2つのスライスがありますが、各DS2.8XLARGE計算ノードには16のスライスがあります。 Amazon Redshiftにデータを読み込むときは、各スライスに同じ量の作業をさせることを目指すべきです。 1つの大きなファイルまたは不均一なサイズに分割されたファイルからデータをロードすると、一部のスライスは他のスライスよりも多くの仕事をする必要があります。 その結果、プロセスは最も遅い、または最も負荷の高いスライスと同じ速度で実行されます。 以下の例では、1つの大きなファイルが2ノードのクラスタにロードされ、ノード「Compute-0」のうちの1つだけがすべてのデータ処理を実行します。 データファイルを分割する際には、圧縮後のサイズがほぼ同じ(1 MB〜1 GB)であることを確認してください。 ファイル数は、クラスタ内のスライス数の倍数にする必要があります。 また、gzip、lzop、またはbzip2を使用してロードファイルを個別に圧縮し、大規模なデータセットを効率的にロードすることを強くお勧めします。 1つのテーブルに複数のファイルをロードする場合は、複数のCOPYコマンドではなく、テーブルに対して1つのCOPYコマンドを使用します。 Amazon Redshiftはデータの取り込みを自動的に並列化します。 1つのCOPYコマンドを使用してデータをテーブルにバルクロードすると、クラスタリソースの最適な使用と可能な限り高いスループットが可能となります。 2. Workload Management (WLM) を用いたETL実行時間の改善 […]

Read More

東京リージョンで Amazon Aurora with PostgreSQL Compatibility をご利用可能に

Amazon Aurora PostgreSQL-compatible edition が、アジアパシフィック (東京) でも利用可能となりました。これにより、データベースの構築、可用性、スケーラビリティを確保するための選択肢が広がります。 Amazon Aurora は、ハイエンドな商用データベースのパフォーマンスと可用性、オープンソースデータベースのシンプルさとコスト効率性を兼ね備えています。Amazon Aurora は、一般的な PostgreSQL データベースと比べてパフォーマンスが最大 3 倍であり、さらにより高いスケーラビリティ、耐用性、およびセキュリティを備えています。詳しくは、Amazon Aurora の製品ページをご覧ください。リージョンごとのサポート状況については、製品およびサービス一覧をご覧ください。 Recent Updates 2018年に入り、RDS for PostgreSQL からの移行に関して機能が追加されています。 Amazon RDS for PostgreSQL のリードレプリカとして Aurora PostgreSQL レプリカの作成:これにより、スナップショットからの移行に比べてよりダウンタイムの短い移行が実現できます。 暗号化されたスナップショットからの移行:これにより暗号化された状態を維持したまま、 RDS for PostgreSQL インスタンスからの移行が可能です。 移行について 既存のデータベースからの移行については、その運用環境に基づいて、いくつかの選択肢が考えられます。RDS for PostgreSQL をご利用の場合、AWS が提供する機能を利用して移行できます。上記のアップデートでも紹介しましたが、具体的には以下の通りです。 Aurora レプリカを利用した RDS for PostgreSQL からのレプリケーション RDS for PostgreSQL スナップショットからの移行 注意点として、上記の2つの機能を利用するためには、現在のところ RDS for […]

Read More

ホワイトペーパー「日本におけるプライバシーに関する考慮事項に照らした AWSの利用」の公開

2017年5月30日、昨今の IT 技術の飛躍的に進歩に伴い、様々な個人情報の利活用の現状を踏まえ、改正個人情報保護法が全面施行されました。個人情報の取り扱いに関する義務が明確になりましたが、一方でクラウドをご利用する上で配慮すべき点が増え、考慮されているお客様もいらっしゃるかと思います。そのようなお客様の声にお答えするために、お客様が自身のクラウド利用を検討していく際の参考資料として「日本におけるプライバシーに関する考慮事項に照らした AWS の利用」(ホワイトペーパー)を準備し、コンプライアンスのリソースページにて公開しました。本ホワイトペーパーは、今回の改正個人情報保護法に沿った内容となっており、お客様がご自身の IT インフラストラクチャを AWS へ移行する際の主な検討事項となる以下の点について解説しています。   • コンテンツのセキュリティをどのように担保していくのか? • コンテンツはどこに保存されるのか? • コンテンツにアクセスできるのは誰か? • どのような法令がコンテンツに適用され、これらを遵守するには何が必要か?   上記のようなお客様がクラウドのセキュリティやプライバシーについて検討いただく際に、最も重要となるのが「責任共有モデル」についての理解です。AWS はクラウドサービスにおけるインフラストラクチャ自体のセキュリティについて責任を持ちます。一方で、お客様はサービス利用に際して法令を遵守し、併せて当該クラウド環境の上に構築するサービス、オプションの構成やデータ保護のための追加の構成等によりご自身のコンテンツについてのセキュリティを確保するという責任を持つことになります。AWS ではこのようにお客様と AWS の2者でシステム全体の統制やセキュリティを担保していくモデルを「責任共有モデル」と呼んでいます。詳しくは本ホワイトペーパーの「クラウドセキュリティの管理に対する AWS 責任共有の考え方」をご参照ください。   また、AWS のサービスをご利用いただく際に、お客様のコンテンツの所有権と管理権はお客様に保有することになり、AWS にコンテンツの所有権と管理権が移るようなことはありません。したがって、コンテンツの性質やセキュリティ要件に応じたセキュリティの強度レベルを決定できるのはお客様自身となります。お客様が AWS サービスをどのように構成し、アクセス権をどのように付与し、どのリージョンを使用するか等の個別な設定については、お客様の判断と責任の下でコントロールしていただくことになります。(どのような場合に AWS がお客様のコンテンツにアクセスをする可能性があるかにつきましては、「カスタマーコンテンツにアクセスできるのは誰か?」をご参照ください。)   一方、AWS のクラウドサービスのインフラストラクチャーに関するセキュリティを確保するのは AWS の責任です。例えば、AWS はファシリティ、物理セキュリティ、物理インフラ、ネットワークインフラ、仮想インフラの管理につき責任を負います。セキュリティは、AWS における最優先事項です。セキュリティに対する継続的な投資を行い、セキュリティ専門部隊を設置しています。併せて、お客様が安心して AWS のサービスをご利用いただけるよう幅広いセキュリティ機能、ツールを備え、お客様に提供しています。AWS のサービスとインフラストラクチャーは、セキュリティコントロールの設計及び運用についての有効性を証明する、数多くの認定・認証・監査に関連して第三者からの評価を受けており、機密保持契約に基づき AWS Artifact を通じてオンラインにて直接確認いただくことが可能です。(AWS Service Organization Control(SOC) 1、SOC2、PCI DSS7 コンプライアンスレポート等。ISO27001, ISO27017, ISO27018, […]

Read More

ポート443でTLS認証を使ったMQTT: なぜ便利で、どのように動くのか

AWS IoT Coreサービスで、ポート443でTLSクライアント認証を使用してMQTTを使用してデバイスを接続できるようになりました。この機能を利用してどのようにデバイスを接続するのかを知るには次をお読みください、デバイス接続方法についてを知るには最後のセクションをお読みください。 443, 8883 -違い TCP接続は通常、IPアドレスとポート番号の組み合わせの関連付けがなされています。そのために、アプリケーションが他のサードパーティのアプリケーションと通信できるようにするためには、使用するポート番号の問い合わせが発生します。これを解決するために Internet Assigned Numbers Authority(IANA)は 、組織に登録されているTCPとUDPの様々なメッセージプロトコルに対するマッピングを維持管理しています。これは標準的なリストではありませんが、広く採用されています。データベースのクイック検索では、ポート443はHTTP over TLSとして登録済みのポートであり、8883はMQTT over TLSとして登録済みのポートです。 AWS IoT Coreはこれらの規格を可能な限り遵守していますが、これを逸脱するシナリオがあることをお客様から学びました。

Read More

Model Server for Apache MXNet、ONNX サポートと Amazon CloudWatch の組み込みを開始

AWS は、大規模な予測を行うための深層学習モデルをパッケージ化してサービスを提供するオープンソースライブラリである Model Server for Apache MXNet (MMS) のバージョン 0.2 をリリースしました。それにより、Open Neural Network Exchange (ONNX) 形式でモデルを提供し、ダッシュボードとアラームを作成できる Amazon CloudWatch に直接、運用メトリックを公開できるようになります。 MMS とは? MMS は、大規模の推論のための深層学習モデルの展開を簡素化するオープンソースライブラリです。MMS は、次の機能を備えています。 モデルアーティファクトを単一のモデルアーカイブにパッケージ化するためのツール。アーカーブはモデルを提供するために必要なすべてのアーティファクトをカプセル化します。 モデルアーカイブにパッケージ化されたカスタムコードを使用して、推論の実行パイプラインの各段階をカスタマイズする機能。 REST API エンドポイントと推論エンジンを含む、事前構成されたサービススタック。 スケーラブルなモデルの提供のために、MMS、MXNet、および nginx を含む Docker イメージ。 MMS およびエンドポイントを監視するためのリアルタイム運営メトリックス。 事前構成された Docker イメージである PyPI (Python Package Index) パッケージから、または Model Server GitHub リポジトリから直接、MMS をインストールできます。 ONNX モデルサービスの開始 ONNX は、複数の深層学習フレームワークの間の相互運用性を可能にします。MMS バージョン 0.2 […]

Read More