Amazon Web Services ブログ

AWS CloudTrail ログを簡単に視覚化できることは、AWS インフラストラクチャがどのように使用されているかについてより良い理解を提供してくれます。また、AWS API コールの監査とレビューを行って、AWS アカウント内のセキュリティ異常を検知するためにも役立ちます。これを行うには、CloudTrail ログに基づいた分析を実行できる必要があります。 この記事では、Amazon S3 内の AWS CloudTrail ログを JSON 形式からクエリ用に最適化された形式のデータセットに変換するための AWS Glue と AWS Lambda の使用について詳しく説明します。その後、Amazon Athena と Amazon QuickSight を使用してデータをクエリし、視覚化します。 ソリューションの概要 CloudTrail ログを処理するには、以下のアーキテクチャを実装する必要があります。 CloudTrail は Amazon S3 バケットフォルダにログファイルを配信します。これらのログを正しくクロールするには、S3 バケットの単一フォルダ内に変換済みファイルを格納する Amazon S3 によってトリガーされる Lambda 関数を使ってファイルコンテンツとフォルダ構造を変更します。ファイルが単一のフォルダ内にある場合、AWS Glue はデータをスキャンし、それを Apache Parquet フォーマットに変換して、Amazon Athena と Amazon QuickSight を使用したクエリと視覚化を可能にするためにカタログ登録します。   チュートリアル ソリューションを構築するために必要なステップを見て行きましょう。 CloudTrail ログのセットアップ 最初に、S3 バケットにログファイルを配信する証跡をセットアップする必要があります。CloudTrail […]

AWS Glue には、ネストされた JSON をリレーショナルデータベースに簡単にインポートできるカラムに変換することによって抽出、変換、ロード (ETL) プロセスをシンプル化する、Relationalize と呼ばれるトランスフォームがあります。Relationalize は、ネストされた JSON を JSON ドキュメントの最外部レベルでキーと値のペアに変換します。変換されたデータでは、ネストされた JSON からの元のキーのリストが、ピリオドで区切られた形で維持されます。 サンプルユースケースを使って Relationalize がどのように役立つかを見てみましょう。 Relationalize の実行例 ビデオゲームの開発者が、JSON 形式で保存されたデータに基づいてプレイヤーの行動についてのレポートを実行するために Amazon Redshift などのデータウェアハウスを使用したいとしましょう。サンプル 1 は、ゲームからのユーザーデータ例を示しています。「User1」という名前のプレイヤーには、ネストされた JSON データ内に種族、クラス、ロケーションなどの特徴があります。さらに下に行くと、プレイヤーの武器情報に追加のネストされた JSON データが含まれています。開発者がデータウェアハウスに対してこのデータの ETL を行いたい場合、コードではネストされたループや再帰的関数を用いなければならないかもしれません。 サンプル 1: ネストされた JSON { “player”: { “username”: “user1”, “characteristics”: { “race”: “Human”, “class”: “Warlock”, “subclass”: “Dawnblade”, “power”: 300, “playercountry”: “USA” }, […]

この記事は、Full 360 のソリューションアーキテクトである Jeremy Winters と Ritu Mishra によるゲスト投稿です。2 人によると、「Full 360 はクラウドファースト、クラウドネイティブのインテグレーターで、2007 年の創立以来の忠実なクラウド信者です。私たちの焦点は、クラウドへの旅におけるお客様の援助であり続けています。ビッグデータとウェアハウジング、アプリケーション近代化、そして Cloud Ops/戦略といった私たちの業務分野は、深いだけではなく、明確な専門知識を表しています。」 AWS Glue は、簡単でコスト効果の高い方法でデータの分類、消去、強化、およびさまざまなデータストア間を確実に移動することができる、完全マネージド型 ETL (抽出、変換、ロード) サービスです。 10年もの間クラウド内にデータウェアハウスソリューションを構築してきた企業として、Full 360 はカスタマーソリューションで AWS Glue をどのように活用できるかについて興味を持っていました。この記事では、当社が Amazon Redshift データ統合ユースケースのための AWS Glue の使用からの得た経験と教訓について詳しく説明していきます。 UI ベースの ETL ツール 当社では、re:Invent 2016 で AWS Glue が発表された当時からそのリリースを心待ちにしていました。私たちの顧客の多くは、データ変換パイプラインを管理するための使いやすい UI ベースのツールを探しています。しかし当社の経験では、どの生産パイプラインの複雑性も、それらを作成するために使われたテクノロジーに関わらず、解消しづらい傾向にあります。Full 360 では, データ統合を処理するためにコンテナにデプロイされたクラウドネイティブなスクリプトベースのアプリケーションを構築しており、スクリプトベースの変換は、発生するデータ問題に対応するために必要なロバスト性と柔軟性のバランスを提供すると考えています。 AWS Glue は、スクリプトを記述することを好む開発者と、UI ベースのインタラクションを望むユーザー両方の要望に応えます。データのソースとターゲットを選択することにより、UI を使ってジョブを初期に作成することが可能です。AWS Glue は内部で Python […]

2017 年には Amazon RDS チームによって、およそ 80 個もの機能がリリースされました。一部はこのブログでもご紹介しましたが、AWS データベースブログや AWS の最新情報またはフォーラムの投稿でもご紹介しています。今週のしめくくりに、これらの情報を振り返って整理したいと思います。ではご紹介します! 認証とセキュリティ 1 月 – FedRAMP Certification for Amazon RDS for MySQL, Oracle, and PostgreSQL 2 月 – Forced SSL Support for SQL Server 4 月 – AWS IAM で RDS for MySQL と Amazon Aurora データベースへのアクセスを管理 6 月 – TDE Encrypted Cross-Region Snapshots for RDS […]

Trimble 社の フィールドサービス管理部門 (FSM) でインフラストラクチャ運用部のディレクターである Todd Hofert 氏による寄稿。 状況 最近、 Trimble 社のフィールドサービス管理部門のインフラストラクチャ運用グループは、非公開でホストされている SaaS サービスをアマゾン ウェブ サービス (AWS) に移行する積極的な取り組みに着手しました。同部門は、ハードウェアのリフレッシュ、継続的なコスト削減の必要性、 AWS 上の同社の次世代プラットフォームと従来の商品を調和させたいという必要性に直面しました。これに対応して、 Trimble 社のインフラストラクチャチームは、データウェアハウスソリューションから始まる包括的な移行計画を策定しました。 コスト削減、可用性、スケーラビリティは、 AWS イニシアチブへの主な推進力でした。Trimble 社は、Oracle からオープンソースデータベースプラットフォームに移行することで、現在のライセンスコストを最適化することに決めました。また Trimble 社は、 Amazon RDS を使用してデータベースを動作させることで、信頼性を保証し、運用サポートの間接費を削減することにも力を入れました。 データベースの選択 Trimble 社の運用とデータベース開発チームは、 AWS チームを招き入れて、 Oracle から離れたデータベースプラットフォームへの移行に関する難易度を調べました。この評価の中心となったのは、 AWS Schema Conversion Tool (AWS SCT) 評価レポートでした。 Trimble 社のチームは AWS SCT を使用して、ソースである Oracle データベースと Amazon Relational […]

本日 日本で2番目、ローカルリージョンとしては AWS 初となる、 Asia Pacific (Osaka) Local Region（以下、AWS 大阪ローカルリージョン）がご利用いただけるようになりました。 2017 年 5 月 31 日 AWS Summit Tokyo 2017 の基調講演にて、 2018 年より利用できるお知らせをしました。AWS 東京リージョンをお使いのお客さまにおいては、規制対応のため補完的なインフラストラクチャを準備し、アベイラビリティゾーン間を地理的に離す必要のある特定のアプリケーションの運用が可能になる点、多くの反響をいただきました。 AWS 東京リージョンが開設した 2011 年から、お客様は、同リージョンの 4 つのアベイラビリティゾーンを利用することで、いずれか 1 つのデータセンターで障害が発生した場合でも支障をきたさない、優れた耐障害性と高可用性を持つアプリケーション構築が可能になりました。すべての AWS リージョンは、複数かつ地理的に分離されたアベイラビリティゾーンから構成されます。アベイラビリティゾーンとは、 1 つの障害が可用性に影響を与えるリスクを大幅に減らすために、十分地理的に離れた地点に位置する一方で、迅速なフェイルオーバーが求められる事業の継続性に関わるアプリケーションのニーズを満たすために、十分近い距離に位置する独立したテクノロジーインフラストラクチャです。また、各アベイラビリティゾーンは、独立した電源および冷却システム、物理的セキュリティを擁し、大容量な光ファイバーネットワークを通じて Amazon のグローバルバックボーンネットワークに接続しています。AWS 大阪ローカルリージョンは、当初、単一のアベイラビリティゾーンのみを提供し、データセンター間をこれまで以上に地理的に離すことで、特定のアプリケーションのニーズに対応します。 AWS 大阪ローカルリージョンは、通常の AWS リージョンと同じように、他の AWS リージョンから独立し、 AWS リージョン内に独立した API エンドポイントを有します。大阪ローカルリージョンは、東京から 400 キロメートル離れた地点に位置しているため、 AWS 東京リージョンからさらに離れた場所に、拡張可能なデータセンターが必要なお客様に適しています。 IT 資産に対する追加の対策として、国内に地域的な多様性を重要視するお客さまは […]

Ubuntu と Amazon Linux の AWS 深層学習 AMI に最新バージョンの TensorFlow (1.5) と Microsoft Cognitive ツールキット (2.4) が含まれます。 これらのフレームワークは、NVIDIA CUDA 9 と cuDNN 7 ドライバーのサポートを提供します。これにより、ユーザーは Amazon EC2 P3 インスタンスに対応する V100 Volta GPU によりサポートされる複合精度のトレーニングを利用できるようになります。当社の Volta における TensorFlow 1.5 のテストでは、ResNet-50 ベンチマークを合成 ImageNet データを使って FP16 モードの p3.8xlarge インスタンスでトレーニングすると、TensorFlow 1.4.1 でのトレーニングよりも 1.8 倍高速になりました。 深層学習フレームワークの最新の更新 深層学習 AMI は、個別のConda ベースの仮想環境で、深層学習フレームワークの最新の正式バージョンに対して、事前構築された pip バイナリを提供します。 […]

私は最初、皆さまに 2016 年後半に Polly について、 「Amazon Polly – 24 か国語 47 種類の声で音声変換」の投稿でお話ししました。 AWS re:Invent が起動した後、韓国語、5 種類の新しい声のサポートを追加し、Polly を aws パーティションのすべてのリージョンで利用可能にしました。また、ウィスパリング、スピーチマーク、ティンバーエフェクト、および ダイナミックレンジ圧縮などの機能を備えています。 新しい WordPress プラグイン 当社は今日、お客様のブログ投稿の高品位音声バージョンを作成するために、WordPress プラグインを使い始めています。Amazon Pollycast と呼ぶ機能を使用して、投稿中やポッドキャスト内の音声にアクセスできます! 両方のオプションにより、お客様のコンテンツにより容易にアクセスできるようになり、より広い対象者に達することを支援できます。このプラグインは、AWS アドバンストテクノロジーパートナーである WP Engine の AWS チームの共同作業でした。 ご覧の通り、このプラグインのインストールと構成は容易です。お使いのインフラストラクチャまたは AWS 上で実行する WordPress のインストレーションと共に使用できます。いずれの方法でも、Polly のすべての音声に幅広い構成オプションと共にアクセスできます。 生成される音声 (各投稿の MP3 ファイル) は、WordPress コンテンツと共に保存するか、Amazon Simple Storage Service (S3) に保存し、その際に、Amazon CloudFront 経由のコンテンツ配布のための任意のサポートが利用できます。 プラグインのインストール 既存の […]

AWS re:Invent 2017 では、Werner は対象者に対して、次のように勧めました。「誰も見ていないようにダンスをして、誰もがしているように暗号化してください。」 AWS チームは常に、機密データを保護し、またコンプライアンスの目標を達成するために支援することを容易にする機能を追加したいと考えています。たとえば、2017 年に当社は SQS と EFS に対して保存時の暗号化を開始し、S3 に対して追加の暗号化オプション、さらに Kinesis データストリームのサーバー側の暗号化を開始しました。 今日、Amazon DynamoDB に対して保存時の暗号化の導入に、別のデータ保護オプションを提供しています。新規テーブルを作成するときに暗号化を有効にするだけで、後は DynamoDB が行います。お使いのデータ (テーブル、ローカルセカンダリインデックス、グローバルセカンダリインデックス) は、AES-256 およびサービスデフォルトのAWS Key Management Service (KMS) キーを使用して暗号化されます。暗号化はストレージオーバーヘッドを追加せず、完全に透過的です。以前のように、アイテムを挿入、クエリ、スキャン、および削除できます。チームは暗号化を有効にして、暗号化した DynamoDB テーブルで異なるいくつかのワークロードで実行した後、レイテンシーで変更を観察しませんでした。 暗号化テーブルの作成 AWS マネジメントコンソール、API (CreateTable)、または CLI (create-table) から暗号化テーブルを作成できます。私はコンソールを使用します。私は通常通り、次のように名前を入力して、プライマリーキーを設定します。 先に進む前に、[デフォルト設定の使用] をオフにして、[暗号化] セクションまで下方にスクロールして、[暗号を有効化] をオンにします。次に、[作成] をクリックすると、私のテーブルが暗号化形式で作成されます。 一目でテーブルの暗号化設定を確認することができます。 コンプライアンスチームが、DynamoDB でキーを使ってデータを暗号化する方法を尋ねられたら、AWS CloudTrail トレールを作成して、アイテムを挿入し、テーブルをスキャンして AWS KMS API へのコールを確認することができます。以下がトレールからの抽出です。 { “eventTime”: “2018-01-24T00:06:34Z”, “eventSource”: […]

AWS マネジメントコンソールから Amazon Lex 対話ボットに応答を直接追加できるようになりました。ユーザーと活発に説得力のある対話を行うための応答メッセージを使用しましょう。 応答を使用する 応答はボットによるやり取りの最終要素であり、ボットのやり取りがすべて行われたあとに、ユーザーに表示されます。 応答にはお別れの挨拶といったシンプルなものから、メッセージを表示して別のやり取りにつながる様々なボタンの付いた画像のカルーセル表示などがあります。  応答は一部の事例ではやり取りの主要な要素となることもあります。たとえば、ユーザーを別のボット機能へ導くのに役立つやりとりなどがその例です。 応答は事前に定義され、デベロッパーによって作成されたメッセージのグループから動的に選択されるメッセージで構成されています。  たとえば、予約ボットでは最初のメッセージグループとして、ボットがユーザーに使用できる様々な挨拶（「こんにちは」、「いらっしゃいませ」、「お待たせいたしました」）などを含めることができます。2 つ目のメッセージグループには様々な自己紹介メッセージを指定できます。たとえば、「私は予約用ボットです」、「こちらは予約用ボットです」など。 3つ目のメッセージグループにはやり取りするための言葉を指定します。「レンタカーのご予約、ホテルのご予約はお任せください」など。  Amazon Lex は各メッセージグループの各メッセージを動的に使用して会話の受け答えを構築します。たとえば、会話の一例として次のメッセージをご覧ください。 会話例をもう 1 つご覧ください。 応答は簡単なもので、ユーザーが別の表現を使って答え、それにより別のやり取りがトリガーされるものを使用します。  たとえば、ユーザーが「レンタカー」と答えるとします。「レンタカー」がレンタカーを支援するやり取りの対話に一致すれば、そのやり取りが同時にトリガーされます。 応答には次に示すコンポーネントを 3 件まで指定できます。 メッセージ (いずれの応答にも 1 件以上のメッセージが必要) 応答の質問に対するユーザーの回答が「いいえ」であれば、終了メッセージ 応答カード 応答は Amazon Lex コンソール上で、Amazon Lex SDK を介して実行できます。  コンポーネントを見ながら応答の作成方法をご紹介します。 メッセージ Amazon Lex コンソールでは、応答セクションの最初のコンポーネントはメッセージまたはメッセージグループです。エディターではメッセージグループはこのように表示されます。 より自然な会話の流れを作るのに役立つのであれば、1 件の応答に 1 つまたは複数のメッセージグループを作成できます。  メッセージはメッセージグループごとにマークが付いた状態 (メッセージグループ 1、メッセージグループ 2 など) でクライアントに送信されるため、それぞれのグループはサポート対象の Amazon Lex チャンネルに 1 行ずつ自動的に表示されます。  […]