Amazon Web Services ブログ

AWS Database Migration Service を使用して PostgreSQL 10 のネイティブパーティション表に移行する

AWS Database Migration Service (AWS DMS) バージョン 2.4.3 についてご紹介します。これには、PostgreSQL 10 のネイティブパーティション表へデータを移行するサポートが含まれています。 この記事では、AWS DMS バージョン 2.4.3 を使用して Oracle パーティション表から PostgreSQL 10 のネイティブパーティション表へデータを移行する方法について説明します。これは特殊な設定をせずに行えます。AWS DMS と並行してパーティション表のスキーマ変換を実行するには、この変換をサポートするようになった AWS Schema Conversion Tool (AWS SCT) を使用できます。 PostgreSQL のパーティショニング パーティショニングは、論理的に 1 つの大きな表をより小さな物理的なピースに分割することを指します。パーティショニングにはいくつかの利点があります。 AWS DMS を使用してこの記事の説明に従ってパーティション表に移行する前に、PostgreSQL のパーティション表に精通している必要があります。PostgreSQL はバージョン 10 でネイティブパーティショニングサポートを導入しました。 以下は、Oracle パーティション表から PostgreSQL 10 ネイティブパーティション表にデータを移行する例です。ソースの Oracle パーティション表は、作成日の列に 3 つのパーティションが作成されます。すべてのパーティションは、それぞれの日付範囲の値に基づいてデータを保持します。 ステップ 1: レンジパーティション基準を使用して Oracle […]

Read More

AWS のメディア解析ソリューションを使用して、メタデータの自動抽出を使い始める

 AWS でメディア解析ソリューションを使用して、メディアファイルから意味のあるメタデータを簡単に抽出することができます。 メディア解析ソリューションは、数分でメディアファイルから意味のあるメタデータの抽出を始めるために使用できる AWS CloudFormation テンプレートを提供します。ウェブベースのユーザーインターフェイスを使用すると、簡単にファイルをアップロードし、自動的に抽出されたメタデータを表示することができます。 このソリューションは、顔認識に Amazon Rekognition、文字起こしの作成に Amazon Transcribe、文字起こしでの感情分析に Amazon Comprehend を使用します。独自の画像を Amazon Rekognition コレクションにアップロードして、個人を認識できるようにソリューションをトレーニングすることもできます。 料金を支払うのは、このソリューションをテストするときに使用するサービスに対してのみです。1080p HD ビデオの場合、このソリューションを開始するのに必要なコストは、1 時間あたり 8 USD 以下です。このソリューションは、メディアライブラリにインデックス付けされるメタデータの量に基づいて、さまざまなサイズで利用できます。サイズに応じた価格の範囲は月額 300 – 1,000 USD で、主にメタデータのインデックス付け、検索、保存のための Amazon Elasticsearch Service のコンピューティングとストレージのコストで構成されています。 このブログ記事では、ソリューションを起動して画像やビデオをアップロードする方法を段階的に示します。メタデータがどのようにしてシームレスに抽出されるかを直接見ることができます。 注意: このソリューションは、現在は特定の AWS リージョンでのみ利用可能である Amazon Rekognition、Amazon Comprehend、Amazon Transcribe を使用しています。したがって、このソリューションは、これらのサービスが利用可能な AWS リージョンで起動する必要があります。最新のリージョン別の AWS のサービスの利用可用性については、リージョン別の AWS のサービス内容をご覧ください。 ステップ 1: メディア解析ソリューションのデプロイ ユーザー名とパスワードを使って、AWS マネジメントコンソールにサインインします。メディア解析ソリューションへ移動して、[Deploy […]

Read More

AWS X-Ray が、Amazon API Gateway と新しいサンプリングルール API のサポートを開始

  同僚である Jeff は、約 2 年前、AWS re:Invent についての投稿で、初めて AWS X-Ray について紹介してくれました。AWS X-Ray は、本稼働と開発の両方の局面で、シンプルなウェブアプリから大規模で複雑な分散型マイクロサービスまで、開発者があらゆるものを分析してデバッグするのに役立ちます。X-Ray が 2017 年に一般利用可能になって以来、顧客からのフィードバックに速やかに対応し、AWS Key Management Service (KMS) による暗号化、新しい SDK や言語 (Python!) のサポート、オープンソーシングのデーモン、レイテンシーの可視化ツールなどのサービスに対する強化を継続しました。本日、新たに次の 2 つの新機能を追加します。 Amazon API Gateway のサポートにより、API を通じた基礎となるサービスへのリクエストの追跡と分析が容易になります。 また、最近 AWS X-Ray コンソールと API でサンプリングルールをコントロールするサポートも開始しました。 それでは、API の追跡を有効にする方法を確認しましょう。 X-Ray 追跡を有効にする API Gateway にデプロイされたシンプルな API から始めます。2 つのエンドポイントを追加します。1 つはレコードを Amazon Kinesis Data Streams にプッシュするためであり、もう 1 […]

Read More

AWS CloudFormation を AWS Lambda によるマクロで拡張する

今日(2018/9/6)、AWS CloudFormation の強力な新機能である マクロ (Macros) を紹介できることを嬉しく思います。開発者は CloudFormation マクロ を使って CloudFormation テンプレートのネイティブ記法を拡張できるようになりました。これは AWS Lambda による変換処理を呼び出すことで実現されています。みなさんご存知の Serverless Application Model も同様のテクノロジで実現されていますが、今回の機能は、変換処理を、あなたのアカウントの、あなたが作成した Lambdaファンクションを使用して、完全にカスタマイズすることができます。(AWS初心者の方へ)CloudFormation はインフラストラクチャを (YAML や JSON の) コードでモデリングし定義するために重要なツールです。CloudFormation は AWS 全体とそのサービスが依存するコアな構成要素です。

Read More

AWS Innovate Container Live Day 開催 2018年9月11日

みなさん。こんにちは。アマゾン ウェブ サービス ジャパン プロダクトマーケティング エバンジェリストの亀田です。 8月28日より開始されている、大規模オンラインカンファレンス、AWS Innovate Japan 2018、楽しんでいただいておりますでしょうか。 ML Live Day、IoT Live Dayに続き9月11日(火)は、Container Live Day です。Containerトラックの登壇者に対して直接質問を投げることができます。12時15分より開催されます。 クラウドコンピューティングにより、ITの生産性が向上し、アプリケーション開発手法の進化を迎えている昨今、多くの企業が自社の競争力を高める上で継続的インテグレーションと継続的デリバリーの実現が不可欠であることを認識しており、コンテナはそれらを強力に推進する技術の一つです。本トラックではコンテナ技術の本番環境利用に焦点をあて、AWS が提供するコンテナサービスとその事例を学んでいきます。 Containerトラックでは、6セッション用意されています。 オープニングセッションとその次のセッションでは、コンテナという技術が注目される背景や、マイクロサービス、オーケストレーションサービスといった用語の整理とAWSが提供しているコンテナ関連サービスのまとめをお届けします。 そして、お客様公開事例のご紹介、 OSSベースのKubernetesのマネージドサービスであるAmazon EKSや、サーバーやクラスターを管理することなくコンテナの実行環境を実現するAWS Fargate、そしてそれらを活用したCI/CD方法についてご紹介します。こちらにセッション概要がありますので、ご興味があれば是非ご覧ください。 https://aws.amazon.com/jp/about-aws/events/aws-innovate/sessions/ – プロダクトマーケティング エバンジェリスト 亀田  

Read More

インパクトのある Amazon QuickSight のダッシュボードを、パラメーター・コントロール・URL アクションを使って構築する

Amazon QuickSight は今年の 5 月に、パラメーター、コントロール、そして URL アクションの機能をサポートしました。このブログ記事では、いくつかのサンプルビジュアルの作成を通じて、これらの機能を利用したインタラクティブなダッシュボードの作り方について説明します。 各機能の概要 パラメーターは、ダッシュボードにおける「変数」をさします。パラメーターを利用することで、フィルタリング、What-if 分析、ドリルスルーといった機能を Amazon QuickSight で実現できるようになります。パラメーターを作成したら、それを変更するためのコントロール UI を設置します。ドロップダウン・スライダーバー・テキストボックス・日付セレクターなどの UI を通じて、ダッシュボードを見る人がパラメーターを自由に変更できます。このパラメーターはダッシュボード内のすべてのビジュアルに対して反映されます。 パラメーターおよびコントロール UI を実際にビジュアルに反映させるためには、フィルター、計算フィールド、URL アクションなど中で、このパラメーターを参照しておく必要がある点に注意してください。そうすればダッシュボードを見た人が、コントロール UI を通じてパラメーターを変更し、ダッシュボード上でインタラクティブな分析を行えるようになります。またコントロール UI を設置しない場合には、ダッシュボードの URL を通じて、パラメーターの値を指定することもできます。こちらの詳細に関しては、Amazon QuickSight のドキュメントをご覧ください。 URL アクションにより、ビジュアル内の要素に対して URL を付与し、そこから新しいWebページに誘導することができるようになります。もちろん URL に対して特定の値を引き渡すこともできます。簡単な例として、データの中に URL を含んだカラムがあったとしましょう。この場合、ビジュアル内のデータポイントをクリックすると、当該カラムに含まれる URL が開くように URL アクションを設定することができます。指定した URL を開くだけでなく、mailto: のような URI を指定することで、メール作成画面を開くアクションを作成できます。より詳細については、Amazon QuickSight のドキュメントをご覧ください。 それではいくつかのユースケースを通じて、これらの機能の使い方をみていきましょう。 ユースケース 1: ダッシュボードに簡単なフィルタコントロールを追加 Amazon QuickSight では、ダッシュボード内の […]

Read More

Alexa Prize のファイナリストと今すぐチャットしてみよう

Alexa Prize は、対話型人工知能分野での学術的な研究開発を支援する目的で毎年開催されるコンテストです。今年、学生たちが取り組むのは、世間で話題になっているトピックについて、自然で楽しい会話を 20 分以上続けられるソーシャルボットの開発です。実際に作り上げるには、知識の獲得、自然言語の理解と生成、コンテキストのモデリング、常識の推論、対話プランの作成など広い範囲の分野で新しい手法やアイデアを実現する必要があります。ボットの開発には、Alexa Skills Kit (ASK) が使用され、そのパフォーマンスについてリアルタイムにフィードバックを受け取ることができます。 先月、コンテストのファイナリストに、Heriot-Watt University (Alana)、Czech Technical University (Alquist)、UC Davis (Gunrock) が選ばれました (詳細については、Twitch stream をご覧ください)。しのぎを削る競争の結果、その分野における科学面での潜在的な貢献度、技術的なアプローチ上の利点、全体的なアイデアの新規性、ビジョンの実現能力に点数が割り振られました。 実際にチャットする そして、ついにファイナルラウンドが始まります。 お手元の Alexa 対応のデバイスに向かって、「Alexa、チャットしよう」と声をかけてみてください。 上述の 3 つのソーシャルボット (ランダムに選択) の 1 つにつながり、好きなだけ会話ができます。ひととおりの会話が終わったら、「Alexa、ストップ」と言ってください。評価するように促されますので、会話したソーシャルボットについて評価してください。開発チームに対するフィードバックを加えることもできます。コンテストの勝者は、2018 年にラスベガスで開催される AWS re:Invent で発表される予定です。 — Jeff PS – もし、ご自身で Alexa Skill を作成できるなら、ぜひ Alexa Skills Kit Tutorials を確認して、Alexa ブログを購読してみてください。  

Read More

Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法

  あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中から注目すべきデータセットを探索したり、取り出したりすることができます。複数のデータセットのそれぞれに必要な情報のサブセットが含まれている場合には、それらを統合させて注目すべき情報を取り出し、Amazon SageMaker ノートブックでそのままシームレスにデータの分析と可視化を行うことができます。 概要 Amazon SageMaker は、機械学習の機能を提供するフルマネージドサービスです。Amazon SageMaker を使用することで、データサイエンティストや開発者は、機械学習モデルを短期間で容易に構築、トレーニングすることができます。また、用意したモデルを実稼動も可能なホステッド環境に直接導入することもできます。また、Jupyter のオーサリング環境が統合されており、データサイエンティストの初期のデータ探索や分析、モデル構築に便利です。 Jupyter ノートブックが Amazon SageMaker ノートブックのインスタンス上で実行されているため、Amazon S3 のデータセットを容易にノートブックに読み込み、処理することができます。ただ、最初に対象とするデータセットのロケーションを指定する必要があります。データレイクの規模が大きい場合、解析対象のフィールドを含んだデータセットを正確に特定することは、難しい作業になります。個々のデータセットのサイズが大きくなればなるほど、ノートブックに読み込ませる作業が現実的なものではなくなります。今日における一般的なデータセットのサイズに対し、ノートブックのディスク容量やメモリは限られているのです。また、よくあるケースとして、必要な情報が複数のデータセットに分散していることもあります。この場合は、データの探索がさらに難しいものとなります。必要なデータセットのロケーションを特定し、統合させてフィルタリングする必要が生じるのです。つまり、非常に規模の大きなデータセットを統合させて、ノートブックに読み込ませようとすると、生産性が損なわれることになります。データセットがさらに大きくなれば、そのような作業はもはや現実には不可能です。このようなデータの結合や探索に要する作業は、データサイエンティストの作業時間の 80% を占めています。機械学習プロジェクトを支障なく遂行するには、このような負担を軽減することが不可欠です。 多くの大企業が、データレイクの管理に AWS Glue を使用しています。AWS Glue はフルマネージド型のデータ抽出、変換、ロード (ETL) サービスです。このサービスを使用すれば、データに対する分類、クリーニング、エンリッチ、信頼性の高い方法でのデータストア間でのデータ移行が行えます。AWS Glue データカタログと称される一元化されたメタデータリポジトリが備えられており、データレイク内のデータをエンリッチおよび分類した上で、検索やクエリが実行できるようになっています。 データカタログ内のメタデータを使用することで、任意のデータセットの名前、ロケーション、コンテンツ、属性での指定が行えます。 Amazon S3 のデータレイクで、非常に大きなデータセットのフィルタリングや集計を行う場合や、他のデータセットと統合される可能性がある場合には、Amazon EMR 上で Apache Spark を使用するのが最適です。Apache Spark はクラスタコンピューティング用のフレームワークで、Python、Java、Scala などの複数の言語での分析をサポートする組み込みモジュールを備えています。企業のデータレイクによくみられる大規模データセットを扱ううえで、Amazon EMR で Spark を動作させることによるスケーリングの効果は絶大です。データセットが AWS Glue データカタログで定義されていれば、データセットへのアクセスがさらに容易になります。また、AWS […]

Read More

AWS Systems Manager の新しい Automation アクションの使い方を紹介

AWS パートナー の Onica によるゲストポストです。Eric Miller (VP of Solutions Development for Onica) が書きました。 AWSのDevOpsコンピテンシーパートナーとして、Onicaはお客様に対し、様々な自動化への挑戦をサポートしてきました。最も重要なツールの一つに AWS Systems Manager があります。AWS Systems Manager はお客様プロジェクトにおけるリソースとアプリケーションの管理をシンプルにし、かつAWSのインフラをセキュアに、信頼性高く、スケーラブルに運用することを容易にしてくれます。Systems Managerは多くのメリットをお客様に提供します。リソースのグループ化、インスタンスの自動メンテナンス、そしてオンプレミスの物理サーバや仮想サーバの管理も。こういった機能によってお客様のビジネス課題の多くを解決することができます。たとえば: 問題検知にかかる時間の短縮 問題に対する対応の自動化(解決までにかかる時間を秒単位にすることも可能) AWSインフラストラクチャの可視性とコントロール性の改善 セキュリティとコンプライアンス対応の自動化 AWS Systems Managerが持つツールのうち、最も有用な機能の一つが AWS Systems Manager Automation です。これは AWS のマネージドサービスで、Automation Jobs を使用して、よく実行される操作やシステムメンテナンスタスクをシンプルにします。Systems Manager の 自動化ドキュメント (Automation documents) で利用可能なアクションは最近まで 15 個でしたが、今回 AWS Systems Manager Automation のチームは 3 つのオフィシャル Automation アクションを公式にサポートしました。これらの新しいアクションは […]

Read More

AWS Innovate IoT Live Day 開催のお知らせ

みなさん。こんにちは。アマゾン ウェブ サービス ジャパン プロダクトマーケティング エバンジェリストの亀田です。 AWS Innovate Japan 2018、楽しんでいただいておりますでしょうか。AWS Innovate Japan 2018 は8月28日から10月10日まで開催されている大規模オンラインカンファレンスです。 そして、明日9月4日は IoT Live Day です。IoT トラックの登壇者に対して直接質問を投げることができます。IoTをこれから始めるかたも、すでに使っていらっしゃる方も、ぜひこれを機に疑問を解消してしまいましょう。12時15分より開催されます。 IoT を、ビジネス課題の解決に本格的に導入を検討されているお客様が増え、工場、ビル、店舗、製品など、あらゆる方面での適用が始まっています。。一方で、IoT を導入する上では、センサーやエッジ、ネットワーク、データ収集、双方向通信、デバイス管理、データ分析・可視化など様々な要素を検討する必要がございます。本トラックでは、IoT で基本となる各機能について、事例などをふまえつつ、AWS が提供する IoT ソリューションについて紹介いたします。本トラックを通して見ていただくことで、広範囲な IoT 技術を学ぶことができます。 IoT はまだ企業にとって新しい技術群を含み、その実験などが必要となるケースも多くあります。実験の実施においては、初期費用不要で、必要な分だけ IT リソースをプロビジョニングできるクラウドは非常に相性がよく、IT リソースを自前で抱えるオンプレミス型 IT では時間のかかった投資への計画及びその正当性の精査、等の時間を短縮することができます。 IoT トラックでは、6セッション用意されています。 オープニングとその次のセッションでは AWS がご提供している IoT ソリューションについてのご紹介をします。 そして、そして Amazon FreeRTOS という電力消費の少ない小型エッジデバイスのプログラミング、デプロイ、保護、接続、管理を簡単にするマイクロコントローラー向けオペレーティングシステム、大量に存在するデバイスの効率的な管理を実現するサービスである AWS IoT Device Management、AWS Greengrass というエッジコンピューティングを実現させるサービス、連続的かつ大量に蓄積されるデータの効率的な解析を実現させる、AWS IoT Analytics […]

Read More