Amazon Web Services ブログ

AWS DMS でのテーブルマッピング作成の自動化

AWS Database Migration Service (AWS DMS) を使えば、オンプレミスデータベースを AWS に迅速かつ安全に移行できます。同種間だけでなく、異種間の移行もサポートしています。移行の実行中やテスト中でも、ソースデータベースは稼働を続けます。移行は、DMS レプリケーションサーバー、ソース、ターゲットエンドポイント、移行タスクを使って行います。 DMS を使って多くのデータベースを移行したい、そして少数のテーブルだけを選択して JSON ファイルの作成を自動化したいなら、この投稿はお役に立つことと思います。この投稿では、DMS タスクの JSON ファイル作成を自動化するツールについて説明します。 自動化の必要性 DMS は、移行プロジェクトに関連する難しいまたは面倒なタスクを数多く引き継いでくれます。ロギングやエラー処理などの特別な処理を行うとともに、移行するスキーマとテーブルを指定します。 移行タスクには次のものが含まれます。 名前 内容 ソース ターゲットエンドポイント テーブルマッピング この投稿では、特にテーブルマッピングのセクションに焦点を当てています。テーブルマッピングではいくつかのタイプのルールを使用して、データソース、スキーマ、タスク中に発生する変換などを指定します。 テーブルマッピングを指定するには、ガイド付きと JSON の 2 つの異なる方法があります。 ガイド付きの方法では、個々のテーブル名またはワイルドカード文字 (% や ABC%) としてテーブル名を入力できます。移行のために選択したテーブルを含めたり除外したりする必要のあるテーブルが多数ある場合、ガイド付きの方法は時間がかかります。 一方 JSON の自動化オプションは、同じ情報を詳細に入力できます。 この投稿では、Python ツールを使用した JSON ファイル作成の自動化を取り上げています。JSON ファイルは手動で作成できますが、記述されているルールの数によっては扱いにくく、あるいはエラーが発生しやすくなります。 自動化ソリューションの説明 この投稿では Python ベースのツールをご紹介します。これは、入力を CSV ファイルとして受け取り、必要とする除外ルールとアクションルールのコンポーネントを含んだ単一の JSON ファイルを生成します。特定のフォルダーに複数の入力ファイルが存在する場合があります。ツールへ唯一入力できる場所はフォルダーです。 このフォルダー内のすべてのファイルの名前は、include* または […]

Read More

AWS Direct Connect の AWS Transit Gatewayサポートが東京リージョンに対応しました

みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 AWS Direct Connect の AWS Transit Gatewayサポートが東京リージョンに対応しましたのでご紹介いたします。 AWS Direct Connect オンプレミスから AWS への専用ネットワーク接続の構築をシンプルにするクラウドサービスソリューションです。AWS Direct Connect を使用すると、AWS とデータセンター、オフィス、またはコロケーション環境との間にプライベート接続を確立することができます。これにより、多くの場合、ネットワークのコストを削減し、帯域幅のスループットを向上させ、インターネットベースの接続よりも安定したネットワークエクスペリエンスを体験いただくことが可能です。 802.1q VLAN を使用して、この専用接続を複数の仮想インターフェイスに分割することができ、今回のアップデートでは 1/2/5/10 Gbps での接続がサポートされています。  AWS Direct Connect Gateway AWS Direct Connect Gateway は中国を除くAWSのすべてのリージョンにおいて、グローバル IP ルートを受信するパブリック仮想インターフェイスを作成することや、エンドポイントへのアクセスの有効化機能が提供されます。また、複数の AWS リージョンに渡り Virtual Private Cloud (VPC) で接続性を確立することができ、それぞれ複数の BGP セッションを確立する必要がないので、管理作業を減らしネットワークデバイスへの負担も軽減することができます。 ドキュメントの以下の図を参照ください。 Direct Connect ゲートウェイを介して接続する VPC には重複する CIDR ブロックの設定はサポートされていないことに留意してください。 AWS Transit […]

Read More

AWS Well-Architected Toolが日本語をサポートしました(東京リージョンでご利用いただけます)

私たちが、2015年に発表したAWS Well-Architected フレームワークは、クラウドにおけるシステム設計・構築・運用において、設計原則と「運用の優秀性」「セキュリティ」「信頼性」「パフォーマンス効率」「コストの最適化」の5つの柱を使用して、ガイダンスとベストプラクティスを提供するものです。 さらに2018年にはAWS Well-Architected Toolをリリースし、お客様のワークロードがAWSアーキテクチャの最新ベストプラクティスに則っているか、どのようなギャップがあって、どのようなリスクや改善点があるかを自分自身でご確認いただけるようになりました。このツールは昨年のリリース以降、すでに世界中で何万ものワークロードレビューで活用されており、お客様ワークロードの改善に貢献してきました。 AWS Well-Architected Toolが日本語をサポートしました(東京リージョンでご利用いただけます) 本日より、AWS Well-Architected Toolが日本語のサポートし、アジアパシフィック(東京)リージョンでご利用いただけるようになります。みなさんは、AWSマネジメントコンソールにアクセスして、AWS Well-Architected Toolを日本語でご利用いただけます。詳細については、ドキュメントと製品ページもご参照ください。 また、合わせてAWS Well-Architected フレームワークの最新日本語版をこちらからご参照いただけるようになりました。 AWS Well-Architected フレームワーク(ウェブサイト形式で閲覧)  |  ホワイトペーパー(PDF) 日本語対応したAWS Well-Architected Toolを試してみましょう まず、AWS Well-Architected Toolコンソールを開いて、「ワークロードの定義」をクリックして開始します: なおツール内での「ワークロード」という用語は、ビジネス価値を提供する一連のコンポーネント(システム)を識別するために使用します。ワークロードは通常、ビジネスリーダーとテクノロジーリーダーが話し合う場合のレベルになります。 最初にワークロードに名前をつけ、定義することから始めます。次に業界や業種、運用するリージョン、本番環境かなどを選択します。また任意にAWSアカウントIDを入力することも出来ます。続いて「ワークロードの定義」をクリックして次に進みましょう: レビューを開始する準備が出来ました。[レビューを開始]をクリックして次へ進みましょう: 最初の柱は「運用の優秀性」です。ここでは9つの質問があり、選択肢から複数の回答(ベストプラクティス)を選択できます。画面の右側には質問ごとの解説が表示されています。また各質問や各回答の内容について詳しく知りたいときは、各質問や各回答横の「情報」リンクをクリックすると、それぞれについて詳しい情報を参照することも出来ます。: 順番に従って、質問に回答することも出来ますし、保存や中断をすることも可能です。レビューを完了すると、改善すべき計画を確認することが出来ます。: 「改善計画」では、すべての質問に対する AWS ベストプラクティスのアドバイスが提供されます。改善計画は、柱の優先順位に基づいて順序付けられます。柱のデフォルトの順序を使用するか、ユーザーの優先順位に基づいて柱の順序を変更することもできます。: レビュー結果について、PDF形式でのレポートを出力することも可能です:   日本語対応したAWS Well-Architected Toolは、今すぐに利用可能です! ツールは今回サポートを開始したアジアパシフィック(東京)に加えて、すでに提供中の米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、ヨーロッパ (アイルランド)、ヨーロッパ (ロンドン)、アジアパシフィック(シドニー)の各リージョンでもご利用いただけます。   AWS Well-Architectedパートナーのご紹介 自社のみのシステム設計・構築・運用に不安がある場合は、AWS Well-Architected パートナーにご相談いただくことも出来ます。日本では2019年9月26日現在、下記の9社が認定パートナーとなっています。   AWS […]

Read More

AWS Data Wranglerを使って、簡単にETL処理を実現する

2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazon S3(以下、S3)上のCSVからPandasを利用するのが、数行で実施できたり、PySparkからRedshiftに連携できるなど、お客様側はETLの処理の記述内容に集中することができます。 本モジュールはインスタンスに対してpipでインストールできることに加え、Lambda Layerとしての利用やGlue上でeggファイルをアップロードして利用することができます。 本ブログでは、Amazon SageMaker(以下、SageMaker) Notebookを用いて、Athenaにクエリを実行、前処理をし、結果をS3に配置するチュートリアルをご紹介いたします。   チュートリアル 実行するシナリオは下記の通りです。 シナリオ ユースケースとしては、AWSサービスの構築のご経験が少ない方でもノートブック上から機械学習の前処理などでご利用いただけるかと思います。例えば、SageMaker内のビルトインアルゴリズムであるXG Boostを利用する目的で、データベース内のデータを必要な形に変換したり、またそれ以外にも欠損値を平均値で穴埋めするといったことがあるでしょう。 このチュートリアルでは、Athenaでクエリした結果の中から分析対象外データを削除し、その後、項目を別の値に置き換える一連の手順をご紹介します。なお、環境構築自体は“東京リージョン”(ap-northeast-1)で実施します。 手順 0.データのダウンロード サンプルデータのダウンロードを行います。 (サンプルデータのURL内にある2019年6月の“Green Taxi Trip Records(CSV)”を利用します。) 1.データセットの準備 1-1.AWSマネジメントコンソールにログインして、サービス一覧から“S3”を選択します。 1-2.[バケットを作成する]ボタンをクリックし、“バケット名”に任意の名前(※世界で一意)を入力、リージョンが“アジアパシフィック(東京)”になっていることを確認し、[作成]ボタンをクリックします。 1-3.バケットが作成されたら、作成したバケットに手順“0”でダウンロードしたCSVファイルをアップロードします。 1-4.サービス一覧から“Athena”を選択します。 1-5.下記クエリを実行し、Athenaのデータベースとテーブルを作成します。 ・データベースの作成 CREATE DATABASE [YOUR DATABASE NAME]; ・テーブルの作成 CREATE EXTERNAL TABLE green_tripdata( VendorID string, lpep_pickup_datetime string, lpep_dropoff_datetime string, store_and_fwd_flag string, RatecodeID […]

Read More

【開催報告】第8回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの上総 (Twitter:@tkazusa) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年9月19日に開催された 第8回 Amazon SageMaker 事例祭り|体験ハンズオン では、前半にセッションの部として、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。また後半ではハンズオンの部として、SageMakerを用いた機械学習モデル開発のプロセスを、機械学習を利用した異常検知や画像分類を例に、ご来場の皆様と共にハンズオン形式でご体験頂きました。

Read More

[AWS DevDay Tokyo] 懇親会と LT 募集のお知らせ!

おはようございます!こんにちは!こんばんは!ソリューションアーキテクトの鈴木(@studio3104)です。 皆様、AWS DevDay Tokyo にはご参加の申込みをしていただけているでしょうか?本日時点で満席セッションが多くなってきておりますが、ご登録いただけていないセッションでも当日キャンセル待ち出来ますのでまだまだエントリーお待ち致しております!(確実にお入りいただける約束は致しかねますので予めご承知おきの上ご了承ください。) また、前回のご案内時点ではすべてのセッションの公開準備が出来ておりませんでしたが、本日時点ですべてのコンテンツが公開となっております。セッション一覧のご確認、ご登録はこちらから! 本日はセッション以外での追加のご案内となります。 懇親会をやります 二日目(10/4)の18時ごろから神田明神ホール(2F)にて懇親会を準備させていただくこととなりました!懇親会はセッションやワークショップとは異なり、事前にご予約いただくことは出来ません。ご参加ご希望の方は、18時ごろに神田明神ホール(2F)にお集まりください。 ※ 神田明神ホール(2F)はセッションも行われる会場です。 懇親会概要: 会場:  神田明神ホール(2F) 日時: 2019/10/04 18:00ごろ- LT 募集!!! 併せまして、懇親会での LT をしていただける方を募集させていただきます!LT の募集要項やレギュレーションに関しては募集ページからご確認ください。 https://amazonmr.au1.qualtrics.com/jfe/form/SV_cGchA9AzFoBstxP 大事なことなので本エントリでも申し上げますが、LT ですので5分で強制終了です。LT は5分で強制終了が基本ですよね!!!!!! さいごに 繰り返しになりますが、おかげさまで満席セッションが増えてきておりますがまだまだご登録をお待ち致しております。LT へのエントリーも是非ご検討ください! https://amazonmr.au1.qualtrics.com/jfe/form/SV_cGchA9AzFoBstxP それでは、当日皆様にお会い出来ることをお待ち申し上げております!!!

Read More

Coursera の AWS Machine Learning での機械学習スキルの習得

機械学習 (ML) は、テクノロジーで最も急速に成長している分野のひとつで、今日の求人市場において極めて高い人気があります。今日は、Coursera と共同で構築された、ML スキルを習得するために役立つ新しい教育コース、Getting started with AWS Machine Learning をご紹介したいと思います。このコースの内容は、Coursera ウェブサイトで、今すぐ無料でアクセスできます。 世界経済フォーラム [1] は、人工知能 (AI) の発達は今後数年間で 5,800 万のまったく新しい仕事を生み出す可能性があるとしていますが、何百万人もの AI エンジニアが必要であることに反して、AI エンジニアは現在世界中で 30 万人だと推定されています [2]。これは、スキルレベルに関わらず、AI アプリケーションの構築に使用される本質的な ML 概念を学び始めるための、ユニークかつ急を要する機会があることを意味します。今 ML の基礎を学んでおくことは、この発達に後れを取らず、スキルを拡大するだけでなく、キャリアアップするためにも役立ちます。 Amazon のエンジニアを訓練するために使用されるものと同じ ML コースに基づいたこのコースは、AWS Machine Learning の使用を開始する方法を教えます。主なトピックには、Machine Learning on AWS、Computer Vision on AWS、および Natural Language Processing (NLP) on AWS などがあります。各トピックは、様々な ML 概念、AWS のサービス、およびをこの概念を実践するためのエキスパートからの洞察を深く掘り下げる数個のモジュールで構成されています。このコースは、AWS 機械学習認定でより深く学ぶ前に、Machine Learning […]

Read More

AWS SCT および AWS DMS を使用した移行後のデータベースオブジェクトの検証

データベースの移行は複雑なタスクになりかねません。移行には、ソフトウェアプラットフォームの変更、ソースデータの複雑性の把握、データ損失チェック、既存機能の詳細なテスト、アプリケーションパフォーマンスの比較、およびデータの検証といったあらゆる課題が伴います。 AWS では、移行前チェックリストと移行評価を提供するツールとサービスをいくつかご用意しています。AWS Schema Conversion Tool (AWS SCT) は、既存のデータベーススキーマをひとつのデータベースエンジンから別のデータベースエンジンに変換するために使用できます。AWS Database Migration Service (AWS DMS) は、リレーショナルデータベース、データウェアハウス、NoSQL データベース、およびその他のタイプのデータストアの移行を容易にしてくれます。AWS DMS は、AWS クラウドへのデータの移行、またはオンプレミスインスタンス間 (AWS クラウドセットアップ経由)、クラウドとオンプレミスセットアップとの組み合わせの間でのデータの移行に使用できます。 さらに、AWS はデータベース移行の全体を通じてユーザーをガイドする幅広いドキュメントも提供しています。詳細については、「Oracle データベースの PostgreSQL への移行」を参照してください。 AWS SCT は、スキーマオブジェクトを変換するために役立ち、AWS SCT が PostgreSQL に変換した Oracle コードの割合と、手動で変換する必要があるコードの量を示すレポートを構築します。データベースオブジェクトの移行中は常に、ターゲットデータベースでオブジェクトが欠落している、新しいオブジェクトを作成する、またはソースオブジェクト全体を意図的に無視する可能性のリスクがあります。検証は、移行対象のすべてが正常に移行されたことを顧客に証明するプロセスです。 この記事は、データベースオブジェクトの移行とコードの変換の完了後に、ソース Oracle データベースと PostgreSQL ターゲット間でオブジェクトを検証する方法の概要を説明します。 オブジェクトの検証 問題になるのは、何を検証するかということです。 これを理解するためには、Oracle データベースオブジェクトの異なるタイプと、それらに相当する PostgreSQL データベースオブジェクトのタイプを知っておく必要があります。 以下の表は、Oracle (ソース) データベースのオブジェクトと、対応する PostgreSQL (ターゲット) のオブジェクトのタイプを示しています。DB 変換が正常に行われたことを確認するには、これらのオブジェクトを詳細に検証しなければなりません。 Oracle オブジェクト […]

Read More

Block Public Access 設定により、意図しないネットワーク公開から Amazon EMR クラスターを保護

AWS セキュリティグループは、ホワイトリストに登録された IP アドレスのみへのクラスターのアクセスを制御できるネットワークファイアウォールとして機能します。クラスター上のアプリケーションとデータを保護するには、セキュリティグループのルールを適切に管理することが重要です。Amazon EMR では、アプリケーションの要件に基づいて、必要なネットワークポート、プロトコル、および IP アドレスを含む制限的なセキュリティグループルールを作成することを強くお勧めします。 AWS アカウント管理者はさまざまな方法でクラウドネットワークセキュリティを保護できますが、新しい機能では、アカウントユーザーが誤って設定されたセキュリティグループルールでクラスターを起動できなくなりました。誤った設定は、パブリックインターネットからの無制限のトラフィックに広範囲のクラスターポートを開放し、クラスターリソースを外部の脅威にさらす可能性があります。 この投稿では、管理者がリージョン内のすべての EMR クラスターに共通のパブリックアクセスルールを適用するのに役立つ、Block Public Access (BPA) 設定と呼ばれる新しいアカウントレベルの機能について説明します。 Block Public Access 設定の概要 BPA 設定は、リージョン内の EMR クラスターへのパブリックネットワークアクセスを集中管理するのに役立つ、アカウントレベルの設定です。リージョンでこの設定を有効にし、アカウントユーザーがポートを介してパブリック IP アドレス (IPv4 では 0.0.0.0/0、IPv6 では ::/0 にソースを設定) からの無制限のインバウンドトラフィックを許可するクラスターを起動できないようにすることができます。アプリケーションでは、インターネットに対してオープンである特定のポートが必要な場合があります。その場合、クラスターを起動する前にパブリックアクセスを許可する例外として、BPA 設定でこれらのポート (またはポート範囲) を設定します。 アカウントユーザーが BPA 設定を有効にしたリージョンでクラスターを起動すると、EMR はこの設定で定義されたポートルールを確認し、クラスターに関連付けられたセキュリティグループで指定済みのインバウンドトラフィックルールと比較します。これらのセキュリティグループにパブリック IP アドレスへのポートを開くインバウンドルールがあるが、これらのポートを BPA 設定の例外として設定しなかった場合、EMR はクラスターの作成に失敗し、ユーザーに例外を送信します。  AWS マネジメントコンソールから BPA 設定を有効にする BPA 設定を有効にするには、PutBlockPublicAccessConfiguration API を呼び出す権限が必要です。 AWS […]

Read More

今すぐ利用可能 – NVIDIA T4 Tensor Core GPU を備えた EC2 インスタンス (G4)

今年初めに約束した NVIDIA を搭載した G4 インスタンスが利用可能になりました。6 つのサイズ、8 つの AWS リージョンで今すぐ使用できます。 機械学習のトレーニングと推論、ビデオトランスコーディング、ゲームストリーミング、およびリモートグラフィックのワークステーションアプリケーションに使用できます。 インスタンスには、最大 4 つの NVIDIA T4 Tensor Core GPU が備わっており、それぞれ 320 の Turing Tensor Core、2,560 CUDA Core、および 16 GB のメモリが搭載されています。T4 GPU は、機械学習の推論、コンピュータビジョン、ビデオ処理、リアルタイムの音声および自然言語処理に最適です。T4 GPU は、効率的なハードウェア駆動のレイトレーシングのための RT コアも提供します。NVIDIA Quadro Virtual Workstation (Quadro vWS) は、AWS Marketplace 内で入手できます。リアルタイムのレイトレースレンダリングをサポートし、メディアおよびエンターテイメント、アーキテクチャ、および石油とガスのアプリケーションでよく見られる創造的なワークフローを高速化することができます。 G4 インスタンスは、最大 64 個の vCPU を備えた AWS カスタムによる第 2 世代 Intel® Xeon® […]

Read More