Amazon Web Services ブログ

SAP HANAを使用したAWSデータレイクに対するフェデレーテッドクエリの実行

この記事は、Amazon Web Services (AWS)でソリューション アーキテクトを務めるHarpreet Singhによるものです。 アバディーンの調査によると、データレイクを導入している組織は、類似企業に比べて有機的収益成長率が9%上回ることが明らかになっています。 データレイクは、これらの企業がデータから有意義な洞察をする能力を得て、競合他社と差別化を図るための行動を促進します。 耐久性とコスト効率を備えたAmazon Simple Storage Service (Amazon S3)は、AWSデータレイクのストレージ層として使用する魅力的な理由があります。これらのお客様の多くは、SAP HANAベースのアプリケーションをAWS上で導入しており、SAP HANAとAmazon S3ベースのデータレイクにあるデータを使用した分析基盤を構築して、分析実行には主にSAP HANAを使用したいと考えています。

Read More

Amazon AppStream 2.0 – 新しいアプリケーション設定のパーシステンス機能の紹介および 2018 年に追加された機能概括

Amazon AppStream 2.0 を使用すると、ウェブブラウザ経由で Windows のデスクトップアプリケーションにアクセスできるようになります。SOLIDWORKS、Siemens、MathWorks など、数千社にのぼる AWS のカスタマーがすでに AppStream 2.0 を使用してアプリケーションを客先に届けています。 今回は、AppStream 2.0 の直近の追加機能をいくつかまとめておさらいをしておきたいと思います。さらには、アプリケーションのカスタマイズ (環境設定、ブックマーク、ツールバー設定、接続プロファイルなど) およびユーザーのセッション間の Windows 設定を自動保存するまったく新しい機能を詳しくご紹介します。 AppStream 2.0 で最近追加された機能は、次の 4 つに分類できます。 ユーザー機能強化 – タイムゾーン、ロケール、言語入力のサポート、コピーアンドペースト操作の改善、新しいアプリケーションのパーシステンス機能。 管理者向けの改善点 – アプリケーションのデフォルト設定、一部のシステムリソースに対するアクセス権限の管理、複数の AWS リージョンにまたがるイメージのコピー、ブランディングのカスタマイズ、複数の AWS アカウント同士のイメージ共有。 ストレージの統合 – Microsoft OneDrive for Business および Google Drive for G Suite のサポート。 利用可能リージョンの拡大 – AppStream 2.0 を利用できる AWS リージョンが、欧州およびアジアで 3 […]

Read More

AWS Database Migration Service を使用して PostgreSQL 10 のネイティブパーティション表に移行する

AWS Database Migration Service (AWS DMS) バージョン 2.4.3 についてご紹介します。これには、PostgreSQL 10 のネイティブパーティション表へデータを移行するサポートが含まれています。 この記事では、AWS DMS バージョン 2.4.3 を使用して Oracle パーティション表から PostgreSQL 10 のネイティブパーティション表へデータを移行する方法について説明します。これは特殊な設定をせずに行えます。AWS DMS と並行してパーティション表のスキーマ変換を実行するには、この変換をサポートするようになった AWS Schema Conversion Tool (AWS SCT) を使用できます。 PostgreSQL のパーティショニング パーティショニングは、論理的に 1 つの大きな表をより小さな物理的なピースに分割することを指します。パーティショニングにはいくつかの利点があります。 AWS DMS を使用してこの記事の説明に従ってパーティション表に移行する前に、PostgreSQL のパーティション表に精通している必要があります。PostgreSQL はバージョン 10 でネイティブパーティショニングサポートを導入しました。 以下は、Oracle パーティション表から PostgreSQL 10 ネイティブパーティション表にデータを移行する例です。ソースの Oracle パーティション表は、作成日の列に 3 つのパーティションが作成されます。すべてのパーティションは、それぞれの日付範囲の値に基づいてデータを保持します。 ステップ 1: レンジパーティション基準を使用して Oracle […]

Read More

AWS のメディア解析ソリューションを使用して、メタデータの自動抽出を使い始める

 AWS でメディア解析ソリューションを使用して、メディアファイルから意味のあるメタデータを簡単に抽出することができます。 メディア解析ソリューションは、数分でメディアファイルから意味のあるメタデータの抽出を始めるために使用できる AWS CloudFormation テンプレートを提供します。ウェブベースのユーザーインターフェイスを使用すると、簡単にファイルをアップロードし、自動的に抽出されたメタデータを表示することができます。 このソリューションは、顔認識に Amazon Rekognition、文字起こしの作成に Amazon Transcribe、文字起こしでの感情分析に Amazon Comprehend を使用します。独自の画像を Amazon Rekognition コレクションにアップロードして、個人を認識できるようにソリューションをトレーニングすることもできます。 料金を支払うのは、このソリューションをテストするときに使用するサービスに対してのみです。1080p HD ビデオの場合、このソリューションを開始するのに必要なコストは、1 時間あたり 8 USD 以下です。このソリューションは、メディアライブラリにインデックス付けされるメタデータの量に基づいて、さまざまなサイズで利用できます。サイズに応じた価格の範囲は月額 300 – 1,000 USD で、主にメタデータのインデックス付け、検索、保存のための Amazon Elasticsearch Service のコンピューティングとストレージのコストで構成されています。 このブログ記事では、ソリューションを起動して画像やビデオをアップロードする方法を段階的に示します。メタデータがどのようにしてシームレスに抽出されるかを直接見ることができます。 注意: このソリューションは、現在は特定の AWS リージョンでのみ利用可能である Amazon Rekognition、Amazon Comprehend、Amazon Transcribe を使用しています。したがって、このソリューションは、これらのサービスが利用可能な AWS リージョンで起動する必要があります。最新のリージョン別の AWS のサービスの利用可用性については、リージョン別の AWS のサービス内容をご覧ください。 ステップ 1: メディア解析ソリューションのデプロイ ユーザー名とパスワードを使って、AWS マネジメントコンソールにサインインします。メディア解析ソリューションへ移動して、[Deploy […]

Read More

AWS X-Ray が、Amazon API Gateway と新しいサンプリングルール API のサポートを開始

  同僚である Jeff は、約 2 年前、AWS re:Invent についての投稿で、初めて AWS X-Ray について紹介してくれました。AWS X-Ray は、本稼働と開発の両方の局面で、シンプルなウェブアプリから大規模で複雑な分散型マイクロサービスまで、開発者があらゆるものを分析してデバッグするのに役立ちます。X-Ray が 2017 年に一般利用可能になって以来、顧客からのフィードバックに速やかに対応し、AWS Key Management Service (KMS) による暗号化、新しい SDK や言語 (Python!) のサポート、オープンソーシングのデーモン、レイテンシーの可視化ツールなどのサービスに対する強化を継続しました。本日、新たに次の 2 つの新機能を追加します。 Amazon API Gateway のサポートにより、API を通じた基礎となるサービスへのリクエストの追跡と分析が容易になります。 また、最近 AWS X-Ray コンソールと API でサンプリングルールをコントロールするサポートも開始しました。 それでは、API の追跡を有効にする方法を確認しましょう。 X-Ray 追跡を有効にする API Gateway にデプロイされたシンプルな API から始めます。2 つのエンドポイントを追加します。1 つはレコードを Amazon Kinesis Data Streams にプッシュするためであり、もう 1 […]

Read More

AWS CloudFormation を AWS Lambda によるマクロで拡張する

今日(2018/9/6)、AWS CloudFormation の強力な新機能である マクロ (Macros) を紹介できることを嬉しく思います。開発者は CloudFormation マクロ を使って CloudFormation テンプレートのネイティブ記法を拡張できるようになりました。これは AWS Lambda による変換処理を呼び出すことで実現されています。みなさんご存知の Serverless Application Model も同様のテクノロジで実現されていますが、今回の機能は、変換処理を、あなたのアカウントの、あなたが作成した Lambdaファンクションを使用して、完全にカスタマイズすることができます。(AWS初心者の方へ)CloudFormation はインフラストラクチャを (YAML や JSON の) コードでモデリングし定義するために重要なツールです。CloudFormation は AWS 全体とそのサービスが依存するコアな構成要素です。

Read More

AWS Innovate Container Live Day 開催 2018年9月11日

みなさん。こんにちは。アマゾン ウェブ サービス ジャパン プロダクトマーケティング エバンジェリストの亀田です。 8月28日より開始されている、大規模オンラインカンファレンス、AWS Innovate Japan 2018、楽しんでいただいておりますでしょうか。 ML Live Day、IoT Live Dayに続き9月11日(火)は、Container Live Day です。Containerトラックの登壇者に対して直接質問を投げることができます。12時15分より開催されます。 クラウドコンピューティングにより、ITの生産性が向上し、アプリケーション開発手法の進化を迎えている昨今、多くの企業が自社の競争力を高める上で継続的インテグレーションと継続的デリバリーの実現が不可欠であることを認識しており、コンテナはそれらを強力に推進する技術の一つです。本トラックではコンテナ技術の本番環境利用に焦点をあて、AWS が提供するコンテナサービスとその事例を学んでいきます。 Containerトラックでは、6セッション用意されています。 オープニングセッションとその次のセッションでは、コンテナという技術が注目される背景や、マイクロサービス、オーケストレーションサービスといった用語の整理とAWSが提供しているコンテナ関連サービスのまとめをお届けします。 そして、お客様公開事例のご紹介、 OSSベースのKubernetesのマネージドサービスであるAmazon EKSや、サーバーやクラスターを管理することなくコンテナの実行環境を実現するAWS Fargate、そしてそれらを活用したCI/CD方法についてご紹介します。こちらにセッション概要がありますので、ご興味があれば是非ご覧ください。 https://aws.amazon.com/jp/about-aws/events/aws-innovate/sessions/ – プロダクトマーケティング エバンジェリスト 亀田  

Read More

インパクトのある Amazon QuickSight のダッシュボードを、パラメーター・コントロール・URL アクションを使って構築する

Amazon QuickSight は今年の 5 月に、パラメーター、コントロール、そして URL アクションの機能をサポートしました。このブログ記事では、いくつかのサンプルビジュアルの作成を通じて、これらの機能を利用したインタラクティブなダッシュボードの作り方について説明します。 各機能の概要 パラメーターは、ダッシュボードにおける「変数」をさします。パラメーターを利用することで、フィルタリング、What-if 分析、ドリルスルーといった機能を Amazon QuickSight で実現できるようになります。パラメーターを作成したら、それを変更するためのコントロール UI を設置します。ドロップダウン・スライダーバー・テキストボックス・日付セレクターなどの UI を通じて、ダッシュボードを見る人がパラメーターを自由に変更できます。このパラメーターはダッシュボード内のすべてのビジュアルに対して反映されます。 パラメーターおよびコントロール UI を実際にビジュアルに反映させるためには、フィルター、計算フィールド、URL アクションなど中で、このパラメーターを参照しておく必要がある点に注意してください。そうすればダッシュボードを見た人が、コントロール UI を通じてパラメーターを変更し、ダッシュボード上でインタラクティブな分析を行えるようになります。またコントロール UI を設置しない場合には、ダッシュボードの URL を通じて、パラメーターの値を指定することもできます。こちらの詳細に関しては、Amazon QuickSight のドキュメントをご覧ください。 URL アクションにより、ビジュアル内の要素に対して URL を付与し、そこから新しいWebページに誘導することができるようになります。もちろん URL に対して特定の値を引き渡すこともできます。簡単な例として、データの中に URL を含んだカラムがあったとしましょう。この場合、ビジュアル内のデータポイントをクリックすると、当該カラムに含まれる URL が開くように URL アクションを設定することができます。指定した URL を開くだけでなく、mailto: のような URI を指定することで、メール作成画面を開くアクションを作成できます。より詳細については、Amazon QuickSight のドキュメントをご覧ください。 それではいくつかのユースケースを通じて、これらの機能の使い方をみていきましょう。 ユースケース 1: ダッシュボードに簡単なフィルタコントロールを追加 Amazon QuickSight では、ダッシュボード内の […]

Read More

Alexa Prize のファイナリストと今すぐチャットしてみよう

Alexa Prize は、対話型人工知能分野での学術的な研究開発を支援する目的で毎年開催されるコンテストです。今年、学生たちが取り組むのは、世間で話題になっているトピックについて、自然で楽しい会話を 20 分以上続けられるソーシャルボットの開発です。実際に作り上げるには、知識の獲得、自然言語の理解と生成、コンテキストのモデリング、常識の推論、対話プランの作成など広い範囲の分野で新しい手法やアイデアを実現する必要があります。ボットの開発には、Alexa Skills Kit (ASK) が使用され、そのパフォーマンスについてリアルタイムにフィードバックを受け取ることができます。 先月、コンテストのファイナリストに、Heriot-Watt University (Alana)、Czech Technical University (Alquist)、UC Davis (Gunrock) が選ばれました (詳細については、Twitch stream をご覧ください)。しのぎを削る競争の結果、その分野における科学面での潜在的な貢献度、技術的なアプローチ上の利点、全体的なアイデアの新規性、ビジョンの実現能力に点数が割り振られました。 実際にチャットする そして、ついにファイナルラウンドが始まります。 お手元の Alexa 対応のデバイスに向かって、「Alexa、チャットしよう」と声をかけてみてください。 上述の 3 つのソーシャルボット (ランダムに選択) の 1 つにつながり、好きなだけ会話ができます。ひととおりの会話が終わったら、「Alexa、ストップ」と言ってください。評価するように促されますので、会話したソーシャルボットについて評価してください。開発チームに対するフィードバックを加えることもできます。コンテストの勝者は、2018 年にラスベガスで開催される AWS re:Invent で発表される予定です。 — Jeff PS – もし、ご自身で Alexa Skill を作成できるなら、ぜひ Alexa Skills Kit Tutorials を確認して、Alexa ブログを購読してみてください。  

Read More

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法

  あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中から注目すべきデータセットを探索したり、取り出したりすることができます。複数のデータセットのそれぞれに必要な情報のサブセットが含まれている場合には、それらを統合させて注目すべき情報を取り出し、Amazon SageMaker ノートブックでそのままシームレスにデータの分析と可視化を行うことができます。 概要 Amazon SageMaker は、機械学習の機能を提供するフルマネージドサービスです。Amazon SageMaker を使用することで、データサイエンティストや開発者は、機械学習モデルを短期間で容易に構築、トレーニングすることができます。また、用意したモデルを実稼動も可能なホステッド環境に直接導入することもできます。また、Jupyter のオーサリング環境が統合されており、データサイエンティストの初期のデータ探索や分析、モデル構築に便利です。 Jupyter ノートブックが Amazon SageMaker ノートブックのインスタンス上で実行されているため、Amazon S3 のデータセットを容易にノートブックに読み込み、処理することができます。ただ、最初に対象とするデータセットのロケーションを指定する必要があります。データレイクの規模が大きい場合、解析対象のフィールドを含んだデータセットを正確に特定することは、難しい作業になります。個々のデータセットのサイズが大きくなればなるほど、ノートブックに読み込ませる作業が現実的なものではなくなります。今日における一般的なデータセットのサイズに対し、ノートブックのディスク容量やメモリは限られているのです。また、よくあるケースとして、必要な情報が複数のデータセットに分散していることもあります。この場合は、データの探索がさらに難しいものとなります。必要なデータセットのロケーションを特定し、統合させてフィルタリングする必要が生じるのです。つまり、非常に規模の大きなデータセットを統合させて、ノートブックに読み込ませようとすると、生産性が損なわれることになります。データセットがさらに大きくなれば、そのような作業はもはや現実には不可能です。このようなデータの結合や探索に要する作業は、データサイエンティストの作業時間の 80% を占めています。機械学習プロジェクトを支障なく遂行するには、このような負担を軽減することが不可欠です。 多くの大企業が、データレイクの管理に AWS Glue を使用しています。AWS Glue はフルマネージド型のデータ抽出、変換、ロード (ETL) サービスです。このサービスを使用すれば、データに対する分類、クリーニング、エンリッチ、信頼性の高い方法でのデータストア間でのデータ移行が行えます。AWS Glue データカタログと称される一元化されたメタデータリポジトリが備えられており、データレイク内のデータをエンリッチおよび分類した上で、検索やクエリが実行できるようになっています。 データカタログ内のメタデータを使用することで、任意のデータセットの名前、ロケーション、コンテンツ、属性での指定が行えます。 Amazon S3 のデータレイクで、非常に大きなデータセットのフィルタリングや集計を行う場合や、他のデータセットと統合される可能性がある場合には、Amazon EMR 上で Apache Spark を使用するのが最適です。Apache Spark はクラスタコンピューティング用のフレームワークで、Python、Java、Scala などの複数の言語での分析をサポートする組み込みモジュールを備えています。企業のデータレイクによくみられる大規模データセットを扱ううえで、Amazon EMR で Spark を動作させることによるスケーリングの効果は絶大です。データセットが AWS Glue データカタログで定義されていれば、データセットへのアクセスがさらに容易になります。また、AWS […]

Read More