Amazon Web Services ブログ

Amazon Comprehend Medical のバッチモード処理の導入

AWS re:Invent 2018 でローンチした Amazon Comprehend Medical は HIPAA に対応した自然言語処理サービスで、機械学習を使用して構造化されていないテキストから関連する医療情報の抽出を簡単に行うことができます。 たとえば、ロシュ・ダイアグノスティックスや Fred Hutchinson Cancer Research Center などの顧客企業は Amazon Comprehend Medical を使って、医師のメモ、臨床試験報告書、患者の健康記録といったさまざまな情報源から病状、投薬、投与量、含量、頻度などの情報を迅速​​かつ正確に抽出しています。また、これらのドキュメント内に存在する保護された医療情報 (PHI) を識別し、データ交換の前に匿名化することもできます。 以前のブログ投稿で、Amazon Comprehend Medical API を使って、単一のドキュメントでエンティティを抽出し、PHI を検出する方法をご紹介しました。本日は、この API が Amazon Simple Storage Service (S3) バケットに保存されたドキュメントのバッチ処理が可能になったことをお知らせします。それでは、デモを始めましょう。 バッチモード API の導入 まず最初にデータを取得して、バッチモードをテストする必要があります。MT Samples は匿名化された本物の医療記録をコレクションしたもので、無料での使用と配布が可能です。いくつかのトランスクリプトを選択し、それらを Amazon Comprehend Medical が期待するシンプルな JSON 形式に変換しました。本番ワークフローでは、アプリケーションコードや などの分析サービスのいずれかを使って、ドキュメントを簡単にこの形式に変換できます。 {“Text”: ” VITAL SIGNS: The […]

Read More

AWS DataSync 最新情報 - S3 ストレージクラスのサポートなど

AWS DataSync を使うと、AWS クラウド内外への大量のデータ移動が簡単になります (詳細については、私の前の投稿「New – AWS DataSync – Automated and Accelerated Data Transfer」をご参照ください)。その投稿で説明したように、DataSync は、移行、アップロードとプロセス、バックアップ/DR といったユースケースに最適です。DataSync はマネージド型サービスで、任意のサイズの 1 回限りの転送や、定期的な転送に使用できます。 追加された最新の機能 DataSync は 2018 年の AWS re:Invent でローンチし、それ以来どんどん機能が追加されています。今日は、いくつかの最新機能の簡単なまとめと、いくつかの新しい機能を取り上げてご紹介します。 S3 ストレージクラスのサポート SMBの サポート リージョンの追加 VPC エンドポイントのサポート 米国で FIPS 検証済みエンドポイントをサポート ファイルとフォルダーのフィルタリング 埋め込み CloudWatch メトリクス 各機能を見ていきましょう。 S3 ストレージクラスのサポート Amazon S3 バケットにデータを転送する場合、オブジェクトに使用するストレージクラスを制御できるようになりました。DataSync で使用する新しい場所を作成する際に、クラスを選択するだけで実行できます。 任意の S3 ストレージクラスから選択可能です。 特定のストレージクラスに格納してあるオブジェクトの上書き、削除、取得には、追加料金が発生する場合があります。詳細については、DataSync で S3 ストレージクラスを使用する際の考慮事項についてご覧ください。 […]

Read More

AWS DMS でのテーブルマッピング作成の自動化

AWS Database Migration Service (AWS DMS) を使えば、オンプレミスデータベースを AWS に迅速かつ安全に移行できます。同種間だけでなく、異種間の移行もサポートしています。移行の実行中やテスト中でも、ソースデータベースは稼働を続けます。移行は、DMS レプリケーションサーバー、ソース、ターゲットエンドポイント、移行タスクを使って行います。 DMS を使って多くのデータベースを移行したい、そして少数のテーブルだけを選択して JSON ファイルの作成を自動化したいなら、この投稿はお役に立つことと思います。この投稿では、DMS タスクの JSON ファイル作成を自動化するツールについて説明します。 自動化の必要性 DMS は、移行プロジェクトに関連する難しいまたは面倒なタスクを数多く引き継いでくれます。ロギングやエラー処理などの特別な処理を行うとともに、移行するスキーマとテーブルを指定します。 移行タスクには次のものが含まれます。 名前 内容 ソース ターゲットエンドポイント テーブルマッピング この投稿では、特にテーブルマッピングのセクションに焦点を当てています。テーブルマッピングではいくつかのタイプのルールを使用して、データソース、スキーマ、タスク中に発生する変換などを指定します。 テーブルマッピングを指定するには、ガイド付きと JSON の 2 つの異なる方法があります。 ガイド付きの方法では、個々のテーブル名またはワイルドカード文字 (% や ABC%) としてテーブル名を入力できます。移行のために選択したテーブルを含めたり除外したりする必要のあるテーブルが多数ある場合、ガイド付きの方法は時間がかかります。 一方 JSON の自動化オプションは、同じ情報を詳細に入力できます。 この投稿では、Python ツールを使用した JSON ファイル作成の自動化を取り上げています。JSON ファイルは手動で作成できますが、記述されているルールの数によっては扱いにくく、あるいはエラーが発生しやすくなります。 自動化ソリューションの説明 この投稿では Python ベースのツールをご紹介します。これは、入力を CSV ファイルとして受け取り、必要とする除外ルールとアクションルールのコンポーネントを含んだ単一の JSON ファイルを生成します。特定のフォルダーに複数の入力ファイルが存在する場合があります。ツールへ唯一入力できる場所はフォルダーです。 このフォルダー内のすべてのファイルの名前は、include* または […]

Read More

AWS Direct Connect の AWS Transit Gatewayサポートが東京リージョンに対応しました

みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 AWS Direct Connect の AWS Transit Gatewayサポートが東京リージョンに対応しましたのでご紹介いたします。 AWS Direct Connect オンプレミスから AWS への専用ネットワーク接続の構築をシンプルにするクラウドサービスソリューションです。AWS Direct Connect を使用すると、AWS とデータセンター、オフィス、またはコロケーション環境との間にプライベート接続を確立することができます。これにより、多くの場合、ネットワークのコストを削減し、帯域幅のスループットを向上させ、インターネットベースの接続よりも安定したネットワークエクスペリエンスを体験いただくことが可能です。 802.1q VLAN を使用して、この専用接続を複数の仮想インターフェイスに分割することができ、今回のアップデートでは 1/2/5/10 Gbps での接続がサポートされています。  AWS Direct Connect Gateway AWS Direct Connect Gateway は中国を除くAWSのすべてのリージョンにおいて、グローバル IP ルートを受信するパブリック仮想インターフェイスを作成することや、エンドポイントへのアクセスの有効化機能が提供されます。また、複数の AWS リージョンに渡り Virtual Private Cloud (VPC) で接続性を確立することができ、それぞれ複数の BGP セッションを確立する必要がないので、管理作業を減らしネットワークデバイスへの負担も軽減することができます。 ドキュメントの以下の図を参照ください。 Direct Connect ゲートウェイを介して接続する VPC には重複する CIDR ブロックの設定はサポートされていないことに留意してください。 AWS Transit […]

Read More

AWS Well-Architected Toolが日本語をサポートしました(東京リージョンでご利用いただけます)

私たちが、2015年に発表したAWS Well-Architected フレームワークは、クラウドにおけるシステム設計・構築・運用において、設計原則と「運用の優秀性」「セキュリティ」「信頼性」「パフォーマンス効率」「コストの最適化」の5つの柱を使用して、ガイダンスとベストプラクティスを提供するものです。 さらに2018年にはAWS Well-Architected Toolをリリースし、お客様のワークロードがAWSアーキテクチャの最新ベストプラクティスに則っているか、どのようなギャップがあって、どのようなリスクや改善点があるかを自分自身でご確認いただけるようになりました。このツールは昨年のリリース以降、すでに世界中で何万ものワークロードレビューで活用されており、お客様ワークロードの改善に貢献してきました。 AWS Well-Architected Toolが日本語をサポートしました(東京リージョンでご利用いただけます) 本日より、AWS Well-Architected Toolが日本語のサポートし、アジアパシフィック(東京)リージョンでご利用いただけるようになります。みなさんは、AWSマネジメントコンソールにアクセスして、AWS Well-Architected Toolを日本語でご利用いただけます。詳細については、ドキュメントと製品ページもご参照ください。 また、合わせてAWS Well-Architected フレームワークの最新日本語版をこちらからご参照いただけるようになりました。 AWS Well-Architected フレームワーク(ウェブサイト形式で閲覧)  |  ホワイトペーパー(PDF) 日本語対応したAWS Well-Architected Toolを試してみましょう まず、AWS Well-Architected Toolコンソールを開いて、「ワークロードの定義」をクリックして開始します: なおツール内での「ワークロード」という用語は、ビジネス価値を提供する一連のコンポーネント(システム)を識別するために使用します。ワークロードは通常、ビジネスリーダーとテクノロジーリーダーが話し合う場合のレベルになります。 最初にワークロードに名前をつけ、定義することから始めます。次に業界や業種、運用するリージョン、本番環境かなどを選択します。また任意にAWSアカウントIDを入力することも出来ます。続いて「ワークロードの定義」をクリックして次に進みましょう: レビューを開始する準備が出来ました。[レビューを開始]をクリックして次へ進みましょう: 最初の柱は「運用の優秀性」です。ここでは9つの質問があり、選択肢から複数の回答(ベストプラクティス)を選択できます。画面の右側には質問ごとの解説が表示されています。また各質問や各回答の内容について詳しく知りたいときは、各質問や各回答横の「情報」リンクをクリックすると、それぞれについて詳しい情報を参照することも出来ます。: 順番に従って、質問に回答することも出来ますし、保存や中断をすることも可能です。レビューを完了すると、改善すべき計画を確認することが出来ます。: 「改善計画」では、すべての質問に対する AWS ベストプラクティスのアドバイスが提供されます。改善計画は、柱の優先順位に基づいて順序付けられます。柱のデフォルトの順序を使用するか、ユーザーの優先順位に基づいて柱の順序を変更することもできます。: レビュー結果について、PDF形式でのレポートを出力することも可能です:   日本語対応したAWS Well-Architected Toolは、今すぐに利用可能です! ツールは今回サポートを開始したアジアパシフィック(東京)に加えて、すでに提供中の米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、ヨーロッパ (アイルランド)、ヨーロッパ (ロンドン)、アジアパシフィック(シドニー)の各リージョンでもご利用いただけます。   AWS Well-Architectedパートナーのご紹介 自社のみのシステム設計・構築・運用に不安がある場合は、AWS Well-Architected パートナーにご相談いただくことも出来ます。日本では2019年9月26日現在、下記の9社が認定パートナーとなっています。   AWS […]

Read More

AWS Data Wranglerを使って、簡単にETL処理を実現する

2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazon S3(以下、S3)上のCSVからPandasを利用するのが、数行で実施できたり、PySparkからRedshiftに連携できるなど、お客様側はETLの処理の記述内容に集中することができます。 本モジュールはインスタンスに対してpipでインストールできることに加え、Lambda Layerとしての利用やGlue上でeggファイルをアップロードして利用することができます。 本ブログでは、Amazon SageMaker(以下、SageMaker) Notebookを用いて、Athenaにクエリを実行、前処理をし、結果をS3に配置するチュートリアルをご紹介いたします。   チュートリアル 実行するシナリオは下記の通りです。 シナリオ ユースケースとしては、AWSサービスの構築のご経験が少ない方でもノートブック上から機械学習の前処理などでご利用いただけるかと思います。例えば、SageMaker内のビルトインアルゴリズムであるXG Boostを利用する目的で、データベース内のデータを必要な形に変換したり、またそれ以外にも欠損値を平均値で穴埋めするといったことがあるでしょう。 このチュートリアルでは、Athenaでクエリした結果の中から分析対象外データを削除し、その後、項目を別の値に置き換える一連の手順をご紹介します。なお、環境構築自体は“東京リージョン”(ap-northeast-1)で実施します。 手順 0.データのダウンロード サンプルデータのダウンロードを行います。 (サンプルデータのURL内にある2019年6月の“Green Taxi Trip Records(CSV)”を利用します。) 1.データセットの準備 1-1.AWSマネジメントコンソールにログインして、サービス一覧から“S3”を選択します。 1-2.[バケットを作成する]ボタンをクリックし、“バケット名”に任意の名前(※世界で一意)を入力、リージョンが“アジアパシフィック(東京)”になっていることを確認し、[作成]ボタンをクリックします。 1-3.バケットが作成されたら、作成したバケットに手順“0”でダウンロードしたCSVファイルをアップロードします。 1-4.サービス一覧から“Athena”を選択します。 1-5.下記クエリを実行し、Athenaのデータベースとテーブルを作成します。 ・データベースの作成 CREATE DATABASE [YOUR DATABASE NAME]; ・テーブルの作成 CREATE EXTERNAL TABLE green_tripdata( VendorID string, lpep_pickup_datetime string, lpep_dropoff_datetime string, store_and_fwd_flag string, RatecodeID […]

Read More

【開催報告】第8回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの上総 (Twitter:@tkazusa) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年9月19日に開催された 第8回 Amazon SageMaker 事例祭り|体験ハンズオン では、前半にセッションの部として、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。また後半ではハンズオンの部として、SageMakerを用いた機械学習モデル開発のプロセスを、機械学習を利用した異常検知や画像分類を例に、ご来場の皆様と共にハンズオン形式でご体験頂きました。

Read More

[AWS DevDay Tokyo] 懇親会と LT 募集のお知らせ!

おはようございます!こんにちは!こんばんは!ソリューションアーキテクトの鈴木(@studio3104)です。 皆様、AWS DevDay Tokyo にはご参加の申込みをしていただけているでしょうか?本日時点で満席セッションが多くなってきておりますが、ご登録いただけていないセッションでも当日キャンセル待ち出来ますのでまだまだエントリーお待ち致しております!(確実にお入りいただける約束は致しかねますので予めご承知おきの上ご了承ください。) また、前回のご案内時点ではすべてのセッションの公開準備が出来ておりませんでしたが、本日時点ですべてのコンテンツが公開となっております。セッション一覧のご確認、ご登録はこちらから! 本日はセッション以外での追加のご案内となります。 懇親会をやります 二日目(10/4)の18時ごろから神田明神ホール(2F)にて懇親会を準備させていただくこととなりました!懇親会はセッションやワークショップとは異なり、事前にご予約いただくことは出来ません。ご参加ご希望の方は、18時ごろに神田明神ホール(2F)にお集まりください。 ※ 神田明神ホール(2F)はセッションも行われる会場です。 懇親会概要: 会場:  神田明神ホール(2F) 日時: 2019/10/04 18:00ごろ- LT 募集!!! 併せまして、懇親会での LT をしていただける方を募集させていただきます!LT の募集要項やレギュレーションに関しては募集ページからご確認ください。 https://amazonmr.au1.qualtrics.com/jfe/form/SV_cGchA9AzFoBstxP 大事なことなので本エントリでも申し上げますが、LT ですので5分で強制終了です。LT は5分で強制終了が基本ですよね!!!!!! さいごに 繰り返しになりますが、おかげさまで満席セッションが増えてきておりますがまだまだご登録をお待ち致しております。LT へのエントリーも是非ご検討ください! https://amazonmr.au1.qualtrics.com/jfe/form/SV_cGchA9AzFoBstxP それでは、当日皆様にお会い出来ることをお待ち申し上げております!!!

Read More

Coursera の AWS Machine Learning での機械学習スキルの習得

機械学習 (ML) は、テクノロジーで最も急速に成長している分野のひとつで、今日の求人市場において極めて高い人気があります。今日は、Coursera と共同で構築された、ML スキルを習得するために役立つ新しい教育コース、Getting started with AWS Machine Learning をご紹介したいと思います。このコースの内容は、Coursera ウェブサイトで、今すぐ無料でアクセスできます。 世界経済フォーラム [1] は、人工知能 (AI) の発達は今後数年間で 5,800 万のまったく新しい仕事を生み出す可能性があるとしていますが、何百万人もの AI エンジニアが必要であることに反して、AI エンジニアは現在世界中で 30 万人だと推定されています [2]。これは、スキルレベルに関わらず、AI アプリケーションの構築に使用される本質的な ML 概念を学び始めるための、ユニークかつ急を要する機会があることを意味します。今 ML の基礎を学んでおくことは、この発達に後れを取らず、スキルを拡大するだけでなく、キャリアアップするためにも役立ちます。 Amazon のエンジニアを訓練するために使用されるものと同じ ML コースに基づいたこのコースは、AWS Machine Learning の使用を開始する方法を教えます。主なトピックには、Machine Learning on AWS、Computer Vision on AWS、および Natural Language Processing (NLP) on AWS などがあります。各トピックは、様々な ML 概念、AWS のサービス、およびをこの概念を実践するためのエキスパートからの洞察を深く掘り下げる数個のモジュールで構成されています。このコースは、AWS 機械学習認定でより深く学ぶ前に、Machine Learning […]

Read More

AWS SCT および AWS DMS を使用した移行後のデータベースオブジェクトの検証

データベースの移行は複雑なタスクになりかねません。移行には、ソフトウェアプラットフォームの変更、ソースデータの複雑性の把握、データ損失チェック、既存機能の詳細なテスト、アプリケーションパフォーマンスの比較、およびデータの検証といったあらゆる課題が伴います。 AWS では、移行前チェックリストと移行評価を提供するツールとサービスをいくつかご用意しています。AWS Schema Conversion Tool (AWS SCT) は、既存のデータベーススキーマをひとつのデータベースエンジンから別のデータベースエンジンに変換するために使用できます。AWS Database Migration Service (AWS DMS) は、リレーショナルデータベース、データウェアハウス、NoSQL データベース、およびその他のタイプのデータストアの移行を容易にしてくれます。AWS DMS は、AWS クラウドへのデータの移行、またはオンプレミスインスタンス間 (AWS クラウドセットアップ経由)、クラウドとオンプレミスセットアップとの組み合わせの間でのデータの移行に使用できます。 さらに、AWS はデータベース移行の全体を通じてユーザーをガイドする幅広いドキュメントも提供しています。詳細については、「Oracle データベースの PostgreSQL への移行」を参照してください。 AWS SCT は、スキーマオブジェクトを変換するために役立ち、AWS SCT が PostgreSQL に変換した Oracle コードの割合と、手動で変換する必要があるコードの量を示すレポートを構築します。データベースオブジェクトの移行中は常に、ターゲットデータベースでオブジェクトが欠落している、新しいオブジェクトを作成する、またはソースオブジェクト全体を意図的に無視する可能性のリスクがあります。検証は、移行対象のすべてが正常に移行されたことを顧客に証明するプロセスです。 この記事は、データベースオブジェクトの移行とコードの変換の完了後に、ソース Oracle データベースと PostgreSQL ターゲット間でオブジェクトを検証する方法の概要を説明します。 オブジェクトの検証 問題になるのは、何を検証するかということです。 これを理解するためには、Oracle データベースオブジェクトの異なるタイプと、それらに相当する PostgreSQL データベースオブジェクトのタイプを知っておく必要があります。 以下の表は、Oracle (ソース) データベースのオブジェクトと、対応する PostgreSQL (ターゲット) のオブジェクトのタイプを示しています。DB 変換が正常に行われたことを確認するには、これらのオブジェクトを詳細に検証しなければなりません。 Oracle オブジェクト […]

Read More