Amazon Web Services ブログ

New – DynamoDB の保存時の暗号化

AWS re:Invent 2017 では、Werner は対象者に対して、次のように勧めました。「誰も見ていないようにダンスをして、誰もがしているように暗号化してください。」 AWS チームは常に、機密データを保護し、またコンプライアンスの目標を達成するために支援することを容易にする機能を追加したいと考えています。たとえば、2017 年に当社は SQS と EFS に対して保存時の暗号化を開始し、S3 に対して追加の暗号化オプション、さらに Kinesis データストリームのサーバー側の暗号化を開始しました。 今日、Amazon DynamoDB に対して保存時の暗号化の導入に、別のデータ保護オプションを提供しています。新規テーブルを作成するときに暗号化を有効にするだけで、後は DynamoDB が行います。お使いのデータ (テーブル、ローカルセカンダリインデックス、グローバルセカンダリインデックス) は、AES-256 およびサービスデフォルトのAWS Key Management Service (KMS) キーを使用して暗号化されます。暗号化はストレージオーバーヘッドを追加せず、完全に透過的です。以前のように、アイテムを挿入、クエリ、スキャン、および削除できます。チームは暗号化を有効にして、暗号化した DynamoDB テーブルで異なるいくつかのワークロードで実行した後、レイテンシーで変更を観察しませんでした。 暗号化テーブルの作成 AWS マネジメントコンソール、API (CreateTable)、または CLI (create-table) から暗号化テーブルを作成できます。私はコンソールを使用します。私は通常通り、次のように名前を入力して、プライマリーキーを設定します。 先に進む前に、[デフォルト設定の使用] をオフにして、[暗号化] セクションまで下方にスクロールして、[暗号を有効化] をオンにします。次に、[作成] をクリックすると、私のテーブルが暗号化形式で作成されます。 一目でテーブルの暗号化設定を確認することができます。 コンプライアンスチームが、DynamoDB でキーを使ってデータを暗号化する方法を尋ねられたら、AWS CloudTrail トレールを作成して、アイテムを挿入し、テーブルをスキャンして AWS KMS API へのコールを確認することができます。以下がトレールからの抽出です。 { “eventTime”: “2018-01-24T00:06:34Z”, “eventSource”: […]

Read More

Amazon Lex 対話ボックスの対応を強化

AWS マネジメントコンソールから Amazon Lex 対話ボットに応答を直接追加できるようになりました。ユーザーと活発に説得力のある対話を行うための応答メッセージを使用しましょう。 応答を使用する 応答はボットによるやり取りの最終要素であり、ボットのやり取りがすべて行われたあとに、ユーザーに表示されます。 応答にはお別れの挨拶といったシンプルなものから、メッセージを表示して別のやり取りにつながる様々なボタンの付いた画像のカルーセル表示などがあります。  応答は一部の事例ではやり取りの主要な要素となることもあります。たとえば、ユーザーを別のボット機能へ導くのに役立つやりとりなどがその例です。 応答は事前に定義され、デベロッパーによって作成されたメッセージのグループから動的に選択されるメッセージで構成されています。  たとえば、予約ボットでは最初のメッセージグループとして、ボットがユーザーに使用できる様々な挨拶(「こんにちは」、「いらっしゃいませ」、「お待たせいたしました」)などを含めることができます。2 つ目のメッセージグループには様々な自己紹介メッセージを指定できます。たとえば、「私は予約用ボットです」、「こちらは予約用ボットです」など。 3つ目のメッセージグループにはやり取りするための言葉を指定します。「レンタカーのご予約、ホテルのご予約はお任せください」など。  Amazon Lex は各メッセージグループの各メッセージを動的に使用して会話の受け答えを構築します。たとえば、会話の一例として次のメッセージをご覧ください。 会話例をもう 1 つご覧ください。 応答は簡単なもので、ユーザーが別の表現を使って答え、それにより別のやり取りがトリガーされるものを使用します。  たとえば、ユーザーが「レンタカー」と答えるとします。「レンタカー」がレンタカーを支援するやり取りの対話に一致すれば、そのやり取りが同時にトリガーされます。 応答には次に示すコンポーネントを 3 件まで指定できます。 メッセージ (いずれの応答にも 1 件以上のメッセージが必要) 応答の質問に対するユーザーの回答が「いいえ」であれば、終了メッセージ 応答カード 応答は Amazon Lex コンソール上で、Amazon Lex SDK を介して実行できます。  コンポーネントを見ながら応答の作成方法をご紹介します。 メッセージ Amazon Lex コンソールでは、応答セクションの最初のコンポーネントはメッセージまたはメッセージグループです。エディターではメッセージグループはこのように表示されます。 より自然な会話の流れを作るのに役立つのであれば、1 件の応答に 1 つまたは複数のメッセージグループを作成できます。  メッセージはメッセージグループごとにマークが付いた状態 (メッセージグループ 1、メッセージグループ 2 など) でクライアントに送信されるため、それぞれのグループはサポート対象の Amazon Lex チャンネルに 1 行ずつ自動的に表示されます。  […]

Read More

Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8

ETL(Extract、Transform、Load)プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト(挿入)プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化された正規化されていないテーブルまで、あらゆるタイプのデータモデルを使用した分析が可能です。 堅牢なETLプラットフォームを操作し、Amazon Redshiftにデータをタイムリーに配信するには、Amazon Redshiftのアーキテクチャを考慮してETLプロセスを設計します。 従来のデータウェアハウスからAmazon Redshiftに移行する場合、リフト・アンド・シフト方式を採用することが魅力的ですが、結果としてパフォーマンスとスケールの問題が長期的に発生する可能性があります。 この記事では、ETLプロセスにおける最適かつ一貫した実行時間を確保するためのベスト・プラクティスを下記にご紹介します。 複数の均等なサイズのファイルからデータの COPY Workload Management (WLM) を用いたETL実行時間の改善 定期的なテーブルのメンテナンスの実施 単一のトランザクションで複数ステップの実行 データの一括読み込み UNLOADを利用した大きな結果セットの抽出 アドホックETL処理に Amazon Redshift Spectrumを使用 診断クエリを使用して日常的なETLヘルスの監視 1. 複数の均等なサイズのファイルからデータの COPY Amazon RedshiftはMPP(大規模並列処理)データベースで、すべての計算ノードがデータの取り込み作業を分割して並列化します。 各ノードはさらにスライスに細分され、各スライスは1つ以上の専用コアを有し、処理能力を等しく分割します。 ノードあたりのスライス数は、クラスタのノードタイプによって異なります。 たとえば、各DS2.XLARGE計算ノードには2つのスライスがありますが、各DS2.8XLARGE計算ノードには16のスライスがあります。 Amazon Redshiftにデータを読み込むときは、各スライスに同じ量の作業をさせることを目指すべきです。 1つの大きなファイルまたは不均一なサイズに分割されたファイルからデータをロードすると、一部のスライスは他のスライスよりも多くの仕事をする必要があります。 その結果、プロセスは最も遅い、または最も負荷の高いスライスと同じ速度で実行されます。 以下の例では、1つの大きなファイルが2ノードのクラスタにロードされ、ノード「Compute-0」のうちの1つだけがすべてのデータ処理を実行します。 データファイルを分割する際には、圧縮後のサイズがほぼ同じ(1 MB〜1 GB)であることを確認してください。 ファイル数は、クラスタ内のスライス数の倍数にする必要があります。 また、gzip、lzop、またはbzip2を使用してロードファイルを個別に圧縮し、大規模なデータセットを効率的にロードすることを強くお勧めします。 1つのテーブルに複数のファイルをロードする場合は、複数のCOPYコマンドではなく、テーブルに対して1つのCOPYコマンドを使用します。 Amazon Redshiftはデータの取り込みを自動的に並列化します。 1つのCOPYコマンドを使用してデータをテーブルにバルクロードすると、クラスタリソースの最適な使用と可能な限り高いスループットが可能となります。 2. Workload Management (WLM) を用いたETL実行時間の改善 […]

Read More

東京リージョンで Amazon Aurora with PostgreSQL Compatibility をご利用可能に

Amazon Aurora PostgreSQL-compatible edition が、アジアパシフィック (東京) でも利用可能となりました。これにより、データベースの構築、可用性、スケーラビリティを確保するための選択肢が広がります。 Amazon Aurora は、ハイエンドな商用データベースのパフォーマンスと可用性、オープンソースデータベースのシンプルさとコスト効率性を兼ね備えています。Amazon Aurora は、一般的な PostgreSQL データベースと比べてパフォーマンスが最大 3 倍であり、さらにより高いスケーラビリティ、耐用性、およびセキュリティを備えています。詳しくは、Amazon Aurora の製品ページをご覧ください。リージョンごとのサポート状況については、製品およびサービス一覧をご覧ください。 Recent Updates 2018年に入り、RDS for PostgreSQL からの移行に関して機能が追加されています。 Amazon RDS for PostgreSQL のリードレプリカとして Aurora PostgreSQL レプリカの作成:これにより、スナップショットからの移行に比べてよりダウンタイムの短い移行が実現できます。 暗号化されたスナップショットからの移行:これにより暗号化された状態を維持したまま、 RDS for PostgreSQL インスタンスからの移行が可能です。 移行について 既存のデータベースからの移行については、その運用環境に基づいて、いくつかの選択肢が考えられます。RDS for PostgreSQL をご利用の場合、AWS が提供する機能を利用して移行できます。上記のアップデートでも紹介しましたが、具体的には以下の通りです。 Aurora レプリカを利用した RDS for PostgreSQL からのレプリケーション RDS for PostgreSQL スナップショットからの移行 注意点として、上記の2つの機能を利用するためには、現在のところ RDS for […]

Read More

ホワイトペーパー「日本におけるプライバシーに関する考慮事項に照らした AWSの利用」の公開

2017年5月30日、昨今の IT 技術の飛躍的に進歩に伴い、様々な個人情報の利活用の現状を踏まえ、改正個人情報保護法が全面施行されました。個人情報の取り扱いに関する義務が明確になりましたが、一方でクラウドをご利用する上で配慮すべき点が増え、考慮されているお客様もいらっしゃるかと思います。そのようなお客様の声にお答えするために、お客様が自身のクラウド利用を検討していく際の参考資料として「日本におけるプライバシーに関する考慮事項に照らした AWS の利用」(ホワイトペーパー)を準備し、コンプライアンスのリソースページにて公開しました。本ホワイトペーパーは、今回の改正個人情報保護法に沿った内容となっており、お客様がご自身の IT インフラストラクチャを AWS へ移行する際の主な検討事項となる以下の点について解説しています。   • コンテンツのセキュリティをどのように担保していくのか? • コンテンツはどこに保存されるのか? • コンテンツにアクセスできるのは誰か? • どのような法令がコンテンツに適用され、これらを遵守するには何が必要か?   上記のようなお客様がクラウドのセキュリティやプライバシーについて検討いただく際に、最も重要となるのが「責任共有モデル」についての理解です。AWS はクラウドサービスにおけるインフラストラクチャ自体のセキュリティについて責任を持ちます。一方で、お客様はサービス利用に際して法令を遵守し、併せて当該クラウド環境の上に構築するサービス、オプションの構成やデータ保護のための追加の構成等によりご自身のコンテンツについてのセキュリティを確保するという責任を持つことになります。AWS ではこのようにお客様と AWS の2者でシステム全体の統制やセキュリティを担保していくモデルを「責任共有モデル」と呼んでいます。詳しくは本ホワイトペーパーの「クラウドセキュリティの管理に対する AWS 責任共有の考え方」をご参照ください。   また、AWS のサービスをご利用いただく際に、お客様のコンテンツの所有権と管理権はお客様に保有することになり、AWS にコンテンツの所有権と管理権が移るようなことはありません。したがって、コンテンツの性質やセキュリティ要件に応じたセキュリティの強度レベルを決定できるのはお客様自身となります。お客様が AWS サービスをどのように構成し、アクセス権をどのように付与し、どのリージョンを使用するか等の個別な設定については、お客様の判断と責任の下でコントロールしていただくことになります。(どのような場合に AWS がお客様のコンテンツにアクセスをする可能性があるかにつきましては、「カスタマーコンテンツにアクセスできるのは誰か?」をご参照ください。)   一方、AWS のクラウドサービスのインフラストラクチャーに関するセキュリティを確保するのは AWS の責任です。例えば、AWS はファシリティ、物理セキュリティ、物理インフラ、ネットワークインフラ、仮想インフラの管理につき責任を負います。セキュリティは、AWS における最優先事項です。セキュリティに対する継続的な投資を行い、セキュリティ専門部隊を設置しています。併せて、お客様が安心して AWS のサービスをご利用いただけるよう幅広いセキュリティ機能、ツールを備え、お客様に提供しています。AWS のサービスとインフラストラクチャーは、セキュリティコントロールの設計及び運用についての有効性を証明する、数多くの認定・認証・監査に関連して第三者からの評価を受けており、機密保持契約に基づき AWS Artifact を通じてオンラインにて直接確認いただくことが可能です。(AWS Service Organization Control(SOC) 1、SOC2、PCI DSS7 コンプライアンスレポート等。ISO27001, ISO27017, ISO27018, […]

Read More

ポート443でTLS認証を使ったMQTT: なぜ便利で、どのように動くのか

AWS IoT Coreサービスで、ポート443でTLSクライアント認証を使用してMQTTを使用してデバイスを接続できるようになりました。この機能を利用してどのようにデバイスを接続するのかを知るには次をお読みください、デバイス接続方法についてを知るには最後のセクションをお読みください。 443, 8883 -違い TCP接続は通常、IPアドレスとポート番号の組み合わせの関連付けがなされています。そのために、アプリケーションが他のサードパーティのアプリケーションと通信できるようにするためには、使用するポート番号の問い合わせが発生します。これを解決するために Internet Assigned Numbers Authority(IANA)は 、組織に登録されているTCPとUDPの様々なメッセージプロトコルに対するマッピングを維持管理しています。これは標準的なリストではありませんが、広く採用されています。データベースのクイック検索では、ポート443はHTTP over TLSとして登録済みのポートであり、8883はMQTT over TLSとして登録済みのポートです。 AWS IoT Coreはこれらの規格を可能な限り遵守していますが、これを逸脱するシナリオがあることをお客様から学びました。

Read More

Model Server for Apache MXNet、ONNX サポートと Amazon CloudWatch の組み込みを開始

AWS は、大規模な予測を行うための深層学習モデルをパッケージ化してサービスを提供するオープンソースライブラリである Model Server for Apache MXNet (MMS) のバージョン 0.2 をリリースしました。それにより、Open Neural Network Exchange (ONNX) 形式でモデルを提供し、ダッシュボードとアラームを作成できる Amazon CloudWatch に直接、運用メトリックを公開できるようになります。 MMS とは? MMS は、大規模の推論のための深層学習モデルの展開を簡素化するオープンソースライブラリです。MMS は、次の機能を備えています。 モデルアーティファクトを単一のモデルアーカイブにパッケージ化するためのツール。アーカーブはモデルを提供するために必要なすべてのアーティファクトをカプセル化します。 モデルアーカイブにパッケージ化されたカスタムコードを使用して、推論の実行パイプラインの各段階をカスタマイズする機能。 REST API エンドポイントと推論エンジンを含む、事前構成されたサービススタック。 スケーラブルなモデルの提供のために、MMS、MXNet、および nginx を含む Docker イメージ。 MMS およびエンドポイントを監視するためのリアルタイム運営メトリックス。 事前構成された Docker イメージである PyPI (Python Package Index) パッケージから、または Model Server GitHub リポジトリから直接、MMS をインストールできます。 ONNX モデルサービスの開始 ONNX は、複数の深層学習フレームワークの間の相互運用性を可能にします。MMS バージョン 0.2 […]

Read More

【開催報告】AWS Media Services ローンチセミナー

こんにちわ。プロダクトマーケティング エバンジェリストの亀田です。 1月23日にre:Invent 2017で発表されたAWS Media Servicesのラウンチセミナーを行いましたので、その資料公開とともに内容をブログでお届けします。 AWS Media Servicesは、クラウド上で動画ワークフローを構築可能なフルマネージドのメディアサービス群となります。 このサービスを使用して、信頼性の高い、ブロードキャスト品質の動画ワークフローをクラウド上で簡単に構築できます。AWS Media Servicesを使用すると、メディアおよびエンターテイメント企業、エンタープライズ、スタートアップ企業、政府機関のいずれを問わず、視聴者にプロフェッショナル品質のメディア環境を簡単に提供できます。従来のデータセンターで時間、労力、費用を費やして特殊なビデオ機器を運用する必要はありません。これらのオンデマンドで伸縮自在なサービスにより、イノベーションを加速させ、動画テクノロジーのさまざまな変化に迅速に対応できます。 Amazon CloudFront、AWS CloudFormation、Amazon CloudWatch などの AWS の補完的なサービスと、セキュリティ、管理、本番環境向けサードパーティアプリケーションとの統合により、ライブ動画およびオンデマンド動画コンテンツの処理と配信のためのツール一式が提供されます。 AWS Media Servicesは全部で5個のサービスから構成されます。 AWS Elemental MediaConvert AWS Elemental MediaLive AWS Elemental MediaPackage AWS Elemental MediaStore AWS Elemental MediaTailor それぞれのサービスの紹介は是非、上記リンクをクリックしてご確認ください。 セミナーではまず、私の方からAWSのロードマップに見るCloudFrontの重要性や、分散型と集中型におけるアーキテクチャの違い、AWSメディアワークロードの事例についてお話をさせていただきました。 続いて、AWS Elementalプロダクト マネージメント ディレクターのリオネル・ブランギエ から 本題のAWS Media Services 紹介セッションを同時通訳でお届けしました。 Aws elemental mediaservices_japan_sharever from Kameda Harunobu その後、ソリューションアーキテクト M&E の安司 仁より、「初心者でも簡単 AMSデモンストレーション」としてLive配信を20分で構築可能なデモを行いました。 20180123 20分でlive配信aws […]

Read More

Amazon Aurora: MySQL 5.7互換をリリース

Amazon AuroraのMySQL 5.7互換版が皆様にご利用頂けるようになりました。JSONサポート、空間インデックス、generated columnsなどをご利用頂け、MySQL 5.7より最大5倍高速です。 Amazon Auroraの空間インデックスの作成は、MySQL 5.7よりも20倍以上の書き込みパフォーマンスと10倍以上の読み込みパフォーマンスとなっています。この機能がどのように実装されているかについては、AWSデータベースブログをご覧ください。またAmazon Auroraのドキュメントもご参照下さい。 Aurora with MySQL compatibilityがご利用頂ける13リージョン(US East (N. Virginia), US East (Ohio), US West (Oregon), US West (N. California), Canada (Montreal), Europe (Ireland), Europe (Frankfurt), Europe (London), Europe (Paris), Asia Pacific (Tokyo), Asia Pacific (Sydney), Asia Pacific (Seoul), and Asia Pacific (Mumbai))全てでご利用頂けます。 ハイエンドな商用データベースのパフォーマンスと可用性を、オープンソースデータベースのシンプルさとコスト効率と組み合わせたAmazon Aurora (MySQLとPostgreSQL互換のリレーショナルデータベース)の詳細については、Amazon Auroraの製品ページをご覧ください。 CLIを用いた際のエンジンバージョンの指定方法や、スナップショットを利用したアップグレードなどAurora MySQL5.7互換に関する詳細な情報はドキュメントやフォーラムアナウンスをご覧ください。 […]

Read More

クイックスタートによるAWSクラウドへのSAP NetWeaverの展開

Somckit Khemmanivanhは、Amazon Web Services(AWS)のSAP Solutions Architectです。 現在、AWSクラウド上の244 GiBから4 TiB RAMのスケールアップ、あるいは最大50 TiB RAMのスケールアウトで認定されているSAP HANAシステムの自動的なプロビジョニングとインストールのために、AWS SAP HANAクイックスタートは利用されていますか?FAST移行プログラムの移行戦略の一環としてSAP HANAクイックスタートを使われているかもしれません。もし、SAP HANAシステムとして1つ、あるいは複数のSAPアプリケーションをプロビジョニング、インストールしたいとき、これらと同様なシナリオを必要としていないでしょうか。少し前までは、独自のAWS CloudFormationテンプレートを作成するか、自動的にAmazon Elastic Compute Cloud(Amazon EC2) インスタンスをプロビジョニングして、SAPシステムをインストールするカスタムスクリプトを開発する必要がありました。今回のSAP NetWeaverクイックスタートにより、これらの面倒な仕組みづくりや手作業を排除できます。お客様に必要なすべてのこれらのタスクが実行されるので、お客様は他のビジネスクリティカルな活動に集中することができます。 SAP NetWeaverは、SAP アプリケーションを開発・実行するための一連のテクノロジーを提供する基盤コンポーネントです。SAP Business Suite、SAP S/4HANA、SAP Business Warehouse(SAP BW)、および SAP BW/4HANAなどのSAP製品やアプリケーションは、SAP NetWeaverに依存しています。クイックスタートは、AWSベストプラクティスに従い、AWS上に主要なテクノロジーをデプロイするためのAWS CloudFormationテンプレートを使用して、リファレンスの展開を自動化します。このクイックスタートは、Advanced Business Application Programming(ABAP)用のSAP NetWeaver Application Server(AS)を展開し、SAP HANAデータベース用のABAPベースのアプリケーション開発をサポートします。SAP HANAクイックスタートと統合されており、引き続き個別に展開することもできます。 このクイックスタートは、AWSクラウド環境にSAPアプリケーションサーバを展開し、これらのサーバをSAP HANAシステムと接続して統合します。その結果、完全にプロビジョニングされ、自動的にインストールされたSAPシステムがSAP HANA上で実行されます。 以下は、SAP NetWeaverクイックスタートが展開するアーキテクチャの概要です。 このクイックスタートでは、お客様のAWSアカウントにおける仮想プライベートクラウド(VPC)内に、SAPアプリケーション層、SAP HANAデータベース層、リモートデスクトッププロトコル(RDP)、および踏み台ホストを展開します。この展開には、SAPシステムの機能を提供するプライマリアプリケーションサーバ(PAS)インスタンスと、SAPアプリケーション層をスケールアウトするためのオプションであるアディショナルアプリケーションサーバ(AAS)インスタンスを含みます。 システムを異なった方法で構築したい場合は、GitHubリポジトリからAWS CloudFormationテンプレートとスクリプトをダウンロードし、お客様の固有要件に合わせてカスタマイズすることができます。 AWS上でSAP […]

Read More