Amazon Web Services ブログ

[AWS White Belt Online Seminar] AWS のよくある都市伝説とその真実 資料及び QA 公開

こんにちは、マーケティングの鬼形です。 先日 (2018/4/10) 開催致しました AWS White Belt Online Seminar「AWS のよくある都市伝説とその真実」の資料を公開いたしました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

Amazon Aurora MySQLやAmazon RDS for MySQLへIAM authenticationを利用してSQL Workbench/Jから接続する

この記事では、Aurora MySQLクラスタに接続するために既に使用しているツールでIAM認証を使用する方法を説明します。この手順は、Amazon RDS for MySQLインスタンスでも同様にご利用頂けます。提供されたスクリプトを使用して、リソースをプロビジョニングしたり、IAM認証用に環境を構成したりすることができます。

スクリプトを使用してIAM認証情報を使用して、mysqlコマンドラインツールまたはSQL Workbench / Jを使用してクラスタに接続します。GitHubリポジトリでは、この投稿で使用されているコードサンプルをご覧いただけます。

Read More

あなたが主役の自動ビデオ編集!

何時間ものビデオ映像の中で特定の人物を見つけたいと思ったことはありませんか? 21 才のお誕生日パーティー用にビデオを準備していて、お誕生日を迎える子供の楽しい思い出を見つけたいのかもしれません。特定の社員が最後の勤務日に何をしたかを見るためにビデオ映像を探し回っているのかもしれませんし、ネイサンズ国際ホットドッグ早食い選手権での自分の活躍のハイライト映像を作りたいのかもしれません。 このブログ記事では、Amazon Rekognition Video と Amazon Elastic Transcoder の機能を組み合わせて、長時間のビデオを所定の人物の全映像を映し出すハイライトビデオに自動で変換する方法を学んでいただけます。 シンプルなデモ このプロセスを説明するため、私は AWS の Day in the Life of an AWS Technical Trainer ビデオを使用します。ビデオを見ると、カメラに向かって話す人、お客様を訓練する人、そしてオフィス内を歩く人が数人が出演しているのがわかります。 このビデオは、このブログで後ほど説明するプロセスで処理されたもので、このプロセスは具体的に選択した人物のビデオを自動で作成します。これらのアウトプットビデオを見て、最終版を確認してください。 John のビデオ Karthik のビデオ MJ のビデオ Edward のビデオ 現に、MJ のビデオは 2 つの個別のシーンが自動的に結合されたため、単一の連続した撮影ショットのように見えます。シーンがどこでつながれているかは、ビデオをじっくり見なければわかりません! プロセス これがハイライトビデオを作成するために使用された全体的なプロセスです。 Amazon Rekognition で顔コレクションを作成し、認識するべき人を教える。 Amazon Rekognition Video を使って、保存されたビデオファイル内の顔を検索する。 顔が認識された箇所の個々のタイムスタンプを収集して、それらを定義された長さのクリップに変換する。 Amazon Elastic Transcoder を使用して新しいビデオを結合する。 各ステップの説明は次のとおりです。 ステップ 1: […]

Read More

AWS Deep Learning AMI に、最適化された TensorFlow 1.7 が追加され、Amazon EC2 C5 および P3 インスタンスでの高速なトレーニングが可能に

Ubuntu および Amazon Linux 用の AWS Deep Learning AMI に、TensorFlow 1.7 に合わせた高度な最適化が提供され、Amazon EC2 インスタンスファミリ全体で高性能なトレーニングを提供できるようになりました。これは 3 月下旬に開始した TensorFlow 1.6 の最適化されたビルドの更新です。 最適化された TensorFlow 1.7 で、トレーニングをより高速に Amazon Machine Images (AMI) に、インテルの高度ベクトル命令 (AVX)、SSE、FMA 命令セットを備えた TensorFlow 1.7 ビルドが追加されました。AMI は、インテルの深層ニューラルネットワーク用数学カーネルライブラリ (Intel MKL-DNN) で完全に構成されており、インテル Xeon Platinum プロセッサ搭載の Amazon EC2 C5 インスタンスで高性能なトレーニングを提供できるようになりました。合成 ImageNet データセットによる ResNet-50 ベンチマークのトレーニングは、c5.18xlarge のインスタンスタイプでの最適化されたビルドを使用する、ストック TensorFlow 1.7 バイナリでのトレーニングよりも 9.8 倍高速でした。 また、AMI […]

Read More

AWS CloudFormationを使用してOracleからAmazon Aurora MySQLに移行する方法(パート1)

特に、OracleからAmazon Aurora PostgreSQL、OracleからAmazon Aurora MySQL、またはMicrosoft SQL サーバーからMySQLへの異種データベースの移行では、データベースの移行はかなり難しいです。ソース・データベースのスキーマ構造、データ・タイプ、およびデータベースのコードは、ターゲット・データベースのスキーマ構造、データ・タイプ、およびデータベース・コードとかなり異なる場合があり、データの移行が開始される前にスキーマおよびコードの変換ステップが必要です。これにより、異種データベースの移行が二段階のプロセスになります。 この2部構成の移行ブログシリーズの第1部では、AWS CloudFormationスタックを構築し、OracleデータベースからAmazon Aurora MySQLデータベースにデータを移行するプロセスを示すのに役立つリソースをデプロイします。パート2では、この記事で作成したリソースを基に、AWS Glueを使用してデータを抽出、変換、ロード(ETL)する方法を示します。 AWSには、異種の2段階移行のための AWS Schema Conversion Tool(AWS SCT)やAWSデータ移行サービス(AWS DMS)などの直感的なツールがあります。これらのツールは、移行オーバーヘッドと複雑さを軽減します。移行プロセスを最適化するためのこれらのツールおよび設定の詳細については、 「OracleデータベースをAmazon Auroraに移行する方法」をご参照ください。 図1:異種データベースの移行手順 この記事では、セルフサービスのデモンストレーションによる簡単な移行を紹介します。AWS SCTおよびAWS DMSコアの概念を理解し、なれるのに役立ちます。現在、Amazon Aurora、Amazon Redshift、または Amazon DynamoDB への移行の場合には、1 インスタンスごとに AWS DMS を 6 ヵ月無料で利用することができます。 移行プロセスを実証するため、AWS CloudFormationスクリプトを使用して、Oracleデータベース(HRDATA)が事前にインストールされたAmazon EC2インスタンス、Aurora MySQLクラスタ、およびAWS DMSレプリケーションインスタンスをデプロイします。移行プロセスに役立てるため、Amazon Virtual Private Cloud (Amazon VPC)、およびそのネットワーキング構成、Amazon S3バケット、そして AWS Identity and Access Management (IAM) のロールとポリシーなどのその他の必要なコンポーネントも使用します。AWS CloudFormationスタックのデプロイには、10〜12分かかります。この例の全体的なウォークスルーは1時間以内で完了できます。 […]

Read More

複数の Amazon Redshift クラスターにわたってシステムテーブルのデータを保持する方法、およびクラスター間診断クエリを実行する方法

Amazon Redshift は、システムの履歴を STL ログテーブルに記録するデータウェアハウスサービスです。STL ログテーブルは、ログ使用状況とディスクの空き容量に応じて、2 〜 5 日間だけログ履歴を保持し、ディスクスペースを管理します。 Amazon Redshift は、監査データ用に一部の STL テーブルを Amazon S3 に自動ロギングする機能を備えています。含まれるログは、主にデータベースセキュリティとクエリの実行に関係するものです。これらの監査ログの使用については、前回の記事 「Analyze Database Audit Logs for Security and Compliance Using Amazon Redshift Spectrum」 で説明しました。 監査ログに含まれていない STL テーブルのデータからシステムデータを保持する場合は、通常、すべてのシステムテーブルに対してレプリカテーブルを作成する必要があります。次に、各レプリカテーブルに対し、システムテーブルからのデータを定期的にレプリカにロードします。STL テーブルのレプリカテーブルを管理することで、STL テーブルの履歴データに対して診断クエリを実行できます。その後、クエリの実行時間、クエリプラン、およびディスクスピルのパターンから詳細な情報を導き出し、より良いクラスターサイズを決定します。ただし、定期的な間隔で STL テーブルのライブデータでレプリカテーブルを更新するには、Cron や AWS Data Pipeline などのスケジューラが必要です。また、これらのテーブルは 1 つのクラスターに固有であり、クラスターが終了した後はアクセスできません。これは、アドホッククエリ実行が決められた期間だけ続く一時的な Amazon Redshift クラスターに、特に当てはまります。 このブログ記事では、複数の Amazon Redshift クラスターのシステムテーブルを Amazon S3 バケットにエクスポートするソリューションを紹介します。このソリューションはサーバーレスで、5 分ごとの間隔でスケジュールを設定できます。ここで使用する AWS CloudFormation […]

Read More

AWS DMS を使用して Oracle ASM からAWSに移行する方法

このブログ記事では、ストレージインフラストラクチャが Oracle ASM のOracleソースエンドポイントでの AWS Database Migration Service (AWS DMS) の Change Data Capture (CDC) の使い方について説明します。

Oracle 自動ストレージ管理 (ASM) データベースフレームワークは、Oracleデータベースファイル用のボリュームマネージャとファイルシステムを提供し、シングルインスタンスの Oracle Database と Oracle Real Application Clusters (Oracle RAC) をサポートしています。ASMにはファイルシステムとデータベース内のボリュームを直接管理するためのツールがあります。これらのツールを使用すると、データベース管理者 (DBA) は標準的なOracle環境で使いなれたSQL文を使用してボリュームやディスクを制御できます。

Read More

AWS Schema Conversion Toolでのスキーマ比較の紹介

AWS Schema Conversion Tool(AWS SCT)は、データベースの移行を予測しやすくします。これは、ソースデータベーススキーマとほとんどのデータベースコードオブジェクトを、ターゲットデータベースと互換性のあるフォーマットに、自動的に変換することで行います。 AWS SCTの新機能を発表し、同種のデータベース移行(つまり、OracleからOracleへの移行など)のためのスキーマ比較と同期が可能になることを嬉しく思います。スキーマ比較機能を使用すると、ソースデータベースからターゲットデータベースへのデータベーススキーマの比較や移行、変更が容易になります。 スキーマ比較は、Oracle、Microsoft SQL Server、PostgreSQL、およびMySQLと連携します。スキーマ比較は、これらのエンジンのすべての変種(オンプレミス、Amazon EC2、Amazon RDS、およびAmazon Aurora)と互換性があります。 スキーマ比較がなぜ必要なんですか? これらのシナリオでは、スキーマ比較が必要です: AWSへの移行中にスキーマ比較機能を使用すると、社内運用データベースとAWSデータベースを同期させた状態に保つことができます。 開発、テスト、パフォーマンステスト、およびプロダクションを含む、すべての環境でデータベーススキーマを同期させることができます スキーマ比較は、メタデータの変更を伝達することで、アプリケーションのバージョンをアップグレードするときに役立ちます。 スキーマ比較は、ローカルスキーマ変更を共有データベースに伝達する際のチーム開発を支援します。 スキーマ比較を使用すると、スキーマの変更をスクリプトとして抽出し、ユーザーが移行スクリプトとロールバックスクリプトを作成できるようになります。また、ソースコントロールシステムの下にスクリプトを保存することもできます。 サポートされているデータベース これらのデータベース変換のために、スキーマ比較を使用できます: OracleからOracle、バージョン12.1.0.2.0、11.1.0.7.0、11.2.0.1.0 SQL ServerからSQL Server、バージョン2016、2014、2012、2008 R2、2008 PostgreSQLからPostgreSQLやPostgreSQLとの互換性があるAurora、バージョン9.6、9.5.9、9.5.4 MySQLからMySQL、バージョン5.6.36、5.7.17、5.5 スキーマ比較機能は、ターゲットデータベースのバージョンがソースデータベースのバージョンと同じかそれ以上の場合にのみ機能します。たとえば、ソースがOracleでバージョンが11.2.0.4の場合、この機能は対象のOracleデータベースがバージョン11.2.0.4か、それ以上の場合にのみ機能します。 SCTでこの機能を使用する方法 次のセクションでこの機能の使用方法を学びます。 スキーマ設定の比較 AWS SCTでは、現在のプロジェクト設定ページでスキーマ比較オプションを見つけることができます。スキーマ比較の設定は、[プロジェクト設定]ページの[スキーマの比較]タブで指定します。 2つのスキーマを比較するには 2つのスキーマを比較するには、次のステップを実行します: 既存のAWS SCTプロジェクトを開くか、プロジェクトを作成してソースエンドポイントとターゲットエンドポイントに接続します。 比較するスキーマを選択します。 コンテキスト(右クリック)メニューを開き、[スキーマ比較]を選択します。 AWS SCTは、オブジェクトのアイコンに黒丸を追加することによって、2つのスキーマ間で異なるオブジェクトを表示します。 ターゲット変更を適用する スキーマ比較の結果は、単一のオブジェクト、単一のカテゴリのオブジェクト、またはスキーマ全体に適用できます。これを行うには、AWS SCTで、結果を適用するカテゴリ、オブジェクト、またはスキーマの横にあるボックスを選択します。ソースデータベースからターゲットデータベースへの変更を適用するには、[ターゲットを適用]を選択します。 データベース上でスクリプト作成が成功したことを示すために、影響を受けるオブジェクトのアイコンが黒くなります。 エラーのあるオブジェクトを示すため、赤いエクスクラメーションマークがオブジェクトアイテムに表示されます。 機能の制限 すべてのスキーマを複製するサポートは、同種の移行でのみ使用できます。データとスキーマの順序付けは、特に同じオブジェクトが複数回変更された場合には、厳密には保証されません。また、スキーマの移行はユーザー、ロールなどを移行しません。 まとめ AWS SCTを使用すると、スキーマの変更をソースデータベースからターゲットデータベースに比較して移行し、データベースの稼働を続けることができます。この記事では、この機能を活用してAWSへのデータ移行を支援する方法について説明しました。 AWS SCTまたはAWS […]

Read More

【開催報告】AWS 上でのデータ活用ワークショップ

こんにちは。AWS ソリューションアーキテクトの上原誠 (@pioho07) です。 3月14日のホワイトデーに、AWS上でのデータ活用ワークショップを開催いたしました。 直前のご案内にもかかわらず80名ほどのお客様にご参加頂きました。   まずはソリューションアーキテクトの八木より、データ活用のための一般的なDataLakeの考え方について触れ、ラムダアーキテクチャの解説を行いその優位性を説明しました。その後でAWS上でこられらを実現するためのAWSの各サービス Amazon S3 や Amazon Elasticsearch Service や Amazon Kinesis などを紹介し、アーキテクチャー図と共に解説を行いました。     次に、私上原からラムダアーキテクチャーを使ったDataLakeを構築するハンズオンを実施しました。まだデータ量は大きくないが、今後増え続けるデータに対してデータ活用を始めていきたい!そんな方がすぐに実践で使えるようなサービスやサービスの組み合わせを意識した内容にいたしました。       また、ハンズオン後に実施したソリューションアーキテクトによる個別相談会にも多くのお客様にご参加頂きました。 アンケートでも励みになるお言葉を頂けました。 無料で受けたセミナーなのにとても充実していてすごいと思った 内容が事業会社のエンジニア向けと感じた 次回は夏ごろに開催予定です。ご応募是非お待ちしております。      

Read More