Amazon Web Services ブログ

Category: Artificial Intelligence

Amazon SageMaker Ground Truth を使用してデータラベルを検証および調整し、より高品質のトレーニングデータセットを作成する

機械学習 (ML) アルゴリズムのための非常に正確なトレーニングデータセットを構築することは、反復プロセスです。ラベルがグラウンドトゥルース、または実世界で直接観察できるものを正確に表していることに満足するまで、ラベルを確認し、継続的に調整することが一般的です。ML モデルの品質には正確にラベル付けされたデータが重要であるため、ML の実務者は、データラベルを確認および更新するためのカスタムシステムを構築することがよくありました。ラベルに問題がある場合、ML モデルはグラウンドトゥルースを効果的に学習できず、不正確な予測につながります。 ML の実務者がラベル付きデータの精度を改善した 1 つの方法は、監査ワークフローを使用することです。監査ワークフローにより、レビューアーのグループはラベルの正確性を検証 (ラベル検証と呼ばれるプロセス) したり、必要に応じて調整 (ラベル調整と呼ばれるプロセス) したりすることができます。 Amazon SageMaker Ground Truth は、ラベル検証用の組み込みワークフローと、バウンディングボックスとセマンティックセグメンテーション用のラベル調整機能を備えるようになりました。この新しいワークフローを使用して、既存の Amazon SageMaker Ground Truth ラベル付けジョブを検証または調整ジョブにチェーンするか、既存のラベルを検証または調整ジョブにインポートできます。 この記事では、バウンディングボックスラベルの両方のオプションについて説明します。このチュートリアルでは、ラベル付けジョブの実行に慣れているか、既存のラベルがあることを前提としています。詳細については、「Amazon SageMarker Ground Truth – 高い精度のデータセットを構築し、ラベル付けのコストを最大 70% 削減」を参照してください。 完了した Amazon SageMaker Ground Truth ラベル付けジョブのチェーン 完了したラベル付けジョブをチェーンするには、次の手順を実行します。 Amazon SageMaker Ground Truth コンソール から、[ラベル付けジョブ] を選択します。 目的のジョブを選択します。 [アクション] ドロップダウンメニューから、[チェーン] を選択します。 次のスクリーンショットは、[ラベル付けジョブ] ページを示しています。 詳細については、「ラベル付けジョブのチェーン」を参照してください。 [ジョブの概要] ページには、チェーンされたジョブに使用した設定が表示されます。変更がない場合は、次のセクション […]

Read More

Amazon Textract が HIPAA 適格に

今日、アマゾン ウェブ サービス (AWS) は、スキャンされたドキュメントからテキストとデータを迅速かつ簡単に抽出する機械学習サービスである Amazon Textract が、HIPAA 認定を必要とするヘルスケアワークロードに対応するようになったことを発表しました。このリリースは、よりよい医療成果の提供を支援する Amazon Translate、Amazon Comprehend、Amazon Transcribe、Amazon Polly、Amazon SageMaker と Amazon Rekognition を含む、HIPAA 適格の既存の AWS 人工知能サービスのポートフォリオに基づいています。 医療提供者は、手動のデータ入力または単純な光学文字認識 (OCR) ソフトウェアを介して、医療記録やフォームなどの文書から日常的にテキストとデータを抽出しています。これは時間のかかる不正確なプロセスで、他のアプリケーションで使用する前に広範な後処理を必要とする出力を産み出します。組織が望んでいるのはむしろ、あらゆる形式のドキュメントのフォームとテーブル、およびさまざまなファイルタイプとテンプレートからテキストとデータを正確に識別して抽出する機能です。 Amazon Textract は事実上あらゆるタイプのドキュメントを分析し、非常に正確なテキスト、フォーム、およびテーブルデータを自動的に生成します。Amazon Textract は、保険請求の患者情報やスキャンしたカルテのテーブルの値など、文書のテーブルやフォームからテキストとデータを識別し、カスタマイズまたは人間の介入の必要なしに医療や保険に固有のものを含むさまざまな文書形式を認識します。Amazon Textract を使用すると、数百万のドキュメントページを数時間で正確に処理することが容易になり、ドキュメント処理コストが大幅に削減され、後処理に時間と労力を費やすことなく、テキストとデータからビジネス価値を引き出すことに集中できるようになります。結果は、機械学習の経験を必要とせずに簡単にアクセスして使用できる API を介して配信されます。 今日から、Amazon Textract は HIPAA 適格のサービスになりました。つまり、医療関係のお客様はそれを最大限に活用できます。Cerner、Fred Hutchinson Cancer Research Center、The American Heart Association などの多くの医療関係のお客様は、ML の力を利用して現在のワークロードを自動化し、HIPAA で求められるセキュリティとプライバシーの要件を満たしながら、患者へのケア方法を変革する新しい方法を既に模索しています。 Change Healthcare は、米国の医療システムにおける臨床、財務、および患者エンゲージメントの結果を改善するためのデータおよび分析主導型ソリューションを提供する大手独立系医療テクノロジー企業です。「Change Healthcare では、財務および管理上の意思決定の適時性と品質を改善することで、すべての人が手頃な価格で利用できる医療を提供できると考えています。  これは、データからより多くを理解する機械学習技術の力によって実現できます。しかし、この情報の可能性を解き放つことは、従来の光学式文字認識では分析できなかったテーブルやフォームにデータがサイロ化されているため、困難なことがよくあります」、と […]

Read More

Amazon Lex セッション API チェックポイントを使った複数トピックの会話フローの管理

 日常会話では、複数のトピックの間で行き来することがよくあります。たとえば、家の新しい窓とカーテンの改装について話し合うとき、「カーテンのスタイルはこれで決めて、色について考え直してみない?」というような質問が出てくることがあります。 AWS が Amazon Lex セッション API を開始するときに、 会話が脱線する場合の対応方法を学びました。セッション API アクションを使用して、インテントを切り替え、会話を継続することができます。しかし、毎日の対話で、「では窓の選択を終えてからカーテンについて考えましょう」というような複数の脱線に対応することが必要になる場合があります。 一連の脱線を含む会話フローをどのように設計したらよいでしょうか。 あなたが私のようである場合は、家の改装プロジェクトにおける特定の製品を考える前にでも、複数の質問がある場合があります。 セッションのチェックポイントで、あなたは多くのトピックのうちの 1 つに切り替えるサポートをするために容易に会話を設定できます。家の改装の会話を 2 つのインテント、すなわち OrderWindows と OrderCurtains、としてモデル化することができます。 今ではこのトピックの切り替えが容易にできるようになりました。OrderWindows のフローには、チェックポイントがあることがあります。ユーザーがカーテンを注文したが、窓の選択を最初に完了したい場合、「windowSelection」チェックポイントを使用して会話を OrderWindows に戻すことができました。 セッションチェックポイントの管理 Amazon Lex ランタイム API は、会話のセッションチェックポイントを管理できるようにするオペレーションを提供しています。PutSession および GetSession 呼び出しは、チェックポイントを定義して、取得できるようにします。 ここでは、API を使用して以前、説明した会話フローを管理できる方法を示します。ボットの詳細については、ボットスキーマを見直してください。 会話フローを管理するためには、次のステップに従ってください。 会話の現在の状態を保存します 以前に保存した状態を取得し、会話を継続します 会話の現在の状態を保存します フィルターなしで GetSession API を呼び出し、ボットとユーザーの間の会話の現在の状態を取得します。GetSession API 呼び出しの後に PutSession API 呼び出しが続き、チェックポイント「windowSelection」 を OrderWindows インテントに適用します。PutSession 呼び出しは、以下のコード例で示されています。 PutSession Request: 「OrderWindows」インテントで「windowSelection」チェックポイントを適用します […]

Read More

Amazon Textract を使用して、スキャンしたドキュメントから検索可能な PDF を自動的に生成する

 Amazon Textract は、ほぼすべてのドキュメントからテキストとデータを簡単に抽出できる機械学習サービスです。Textract は、シンプルな光学文字認識 (OCR) という枠を超えて、フォーム内のフィールドのコンテンツや、表に保存された情報も識別します。これにより、Amazon Textract を使用して、手動での工数やカスタムコードを必要とすることなく、実質上どのようなタイプのドキュメントでも瞬時に「読み取り」、テキストとデータを正確に抽出することが可能になります。 ブログ記事「Amazon Textract を使用したドキュメントからのテキストと構造化データの自動抽出」は、Amazon Textract を使用して、機械学習 (ML) の経験なしでスキャンしたドキュメントからテキストとデータを自動的に抽出する方法を示しています。記事で取り上げられているユースケースの 1 つは、検索と検出です。Amazon Textract を使用してドキュメントからテキストと構造化データを抽出し、Amazon ES を使用してスマートインデックスを作成することにより、数百万のドキュメントを検索できます。 この記事では、Amazon Textract を使用してスキャンしたドキュメントからテキストを抽出し、検索可能な PDF ドキュメントを生成する方法を示します。このソリューションを使用すると、関連するドキュメントをダウンロードしたり、オフラインで保存されているドキュメント内を検索したり、テキストを選択してコピーしたりできます。 スキャンしたドキュメントから Amazon Textract を使用して生成された検索可能な PDF ドキュメントの例を見ることができます。スキャンしたドキュメント内の画像のテキストはロックされていますが、検索可能な PDF ドキュメント内のテキストを選択、コピー、検索することができます。 検索可能な PDF を生成するには、Amazon Textract を使用してドキュメントからテキストを抽出し、抽出したテキストを PDF ドキュメントの画像にレイヤーとして追加します。Amazon Textract は、テキスト入力ドキュメントを検出および分析し、ページ、単語、行、フォームデータ (キーと値のペア)、テーブル、選択要素などの検出されたアイテムに関する情報を返します。また、バウンディングボックス情報も提供します。これは、ドキュメントページで認識されたアイテムの位置を軸に沿って粗く表現したものです。検出されたテキストとそのバウンディングボックス情報を使用して、PDF ページにテキストを配置できます。 PDFDocument は、AWS サンプル GitHub リポジトリのサンプルライブラリであり、Amazon Textract を使用して検索可能な PDF ドキュメントを生成するために必要なロジックを提供します。 また、オープンソースの […]

Read More

[AWS Black Belt Online Seminar] AI Service 資料及び QA 公開

先日 (2019/9/24) 開催しました AWS Black Belt Online Seminar「AI Service」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20190924 AWS Black Belt Online Seminar AWS AI Service AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Forecast で使用される祝日情報は日本の祝日を全て網羅していますか? A. 全ての祝日への対応は保証しておりません。Amazon Forecastでは祝日の判定に Jollyday を利用しています。 Q. AWS Textractの利用構成例において「Textract ⇒ Lambda」という流れになっていましたが、TextractからLambdaを呼び出すことができるのでしょうか? A. ご紹介した構成例は、スペースの都合上、一部のサービスとの連携を省略しています。詳細は、各サービスのドキュメントを御覧ください。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 【AWS Innovate Online Conference】 AWS Innovate は、AWS クラウドを活用してビジネス革新を目指しているすべての IT リーダー及び IT プロフェッショナルを対象とした、最新のクラウド情報をお届けするためのオンラインカンファレンスです。この期間で、AWS初心者の方はAWSを始めるための準備を、AWS既存ユーザーの方は情報のアップデートにお役立ていただければと思います。 […]

Read More

Windows アプリケーションで Amazon Polly を使用する

AWS は、開発者がクラウドでアプリケーションを構築できるように幅広いサービスを提供しています。同時に、Windows デスクトップアプリケーションもこうしたサービスを利用できます。本日、Amazon Polly for Windows をリリースいたします。これは、SAPI 準拠の Windows アプリケーションで Amazon Polly の音声を利用できるようにするオープンソースエンジンです。 SAPI とは? SAPI (Speech Application Programming Interface) は、デスクトップアプリケーションが音声合成を実装できるようにする Microsoft Windows API です。アプリケーションが SAPI をサポートしていれば、インストールされている SAPI 音声のいずれかにアクセスして音声を生成することができます。 すぐに使用できる Microsoft Windows には、サポートされている任意の音声アプリケーションで使用できる 1 つの SAPI 男性および女性音声が用意されています。Amazon Polly for Windows を使用すると、使用した分に料金を支払うだけで、25 種類を超える言語で 50 種類を超える追加の音声をインストールすることができます。  詳細については、Amazon Polly のドキュメントを参照し、テキスト読み上げ音声の完全なリストを確認してください。 AWS アカウントの作成 AWS アカウントをまだお持ちでない場合は、こちらからサインアップできます。これにより、無料利用枠で 12 か月間利用できます。最初の 12 か月間、最初の […]

Read More

WebSocket で Amazon Transcribe を使用して、リアルタイムで音声をテキストに文字起こしする

Amazon Transcribe は、開発者が音声文字変換機能をアプリケーションに追加することを容易にする自動音声認識サービス (ASR) です。2018 年 11 月、HTTP/2 を介したストリーミングトランスクリプションを Amazon Transcribe に追加しました。これにより、ライブオーディオストリームをサービスに渡し、その代わりにリアルタイムで文字起こしテキストを受け取ることができるようになりました。最近、WebSocket プロトコルを介したリアルタイムの文字起こしのサポートを開始しました。WebSocket をサポートすることで、特にブラウザーやモバイルベースのアプリケーションを構築したい人にとって、Amazon Transcribe を介した音声文字変換のストリーミングをより幅広いユーザーベースに提供しやすくなります。 このブログ記事では、HTTP/2 で実行されるストリーミング文字起こしサービスは知っていることを前提として、WebSocket を介したリアルタイムサービスの使用方法を示すことに焦点を当てています。ただし、HTTP/2 の使用に関するリファレンスについては、以前のブログ記事と技術ドキュメントをご覧ください。 WebSocket とは? WebSocket は、TCP 上に構築された全二重通信プロトコルです。このプロトコルは、2011 年に RFC 6455 として IETF によって標準化されました。WebSocket は、サーバーとクライアントの両方が同じ接続を介して同時にデータを送信できる長期間有効な接続に適しています。クロスドメインの使用にも実用的です。ご覧ください! HTTP を使用する場合のように、クロスオリジンリソース共有 (CORS) を心配する必要はありません。 WebSocket で Amazon Transcribe ストリーミングを使用する Amazon Transcribe の StartStreamTranscriptionWebSocket API を使用するには、まず IAM ユーザーに Amazon Transcribe Streaming WebSocket の使用を許可する必要があります。AWS マネジメントコンソールにアクセスし、Identity […]

Read More

【開催報告】第8回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの上総 (Twitter:@tkazusa) です。AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年9月19日に開催された 第8回 Amazon SageMaker 事例祭り|体験ハンズオン では、前半にセッションの部として、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。また後半ではハンズオンの部として、SageMakerを用いた機械学習モデル開発のプロセスを、機械学習を利用した異常検知や画像分類を例に、ご来場の皆様と共にハンズオン形式でご体験頂きました。

Read More

Coursera の AWS Machine Learning での機械学習スキルの習得

機械学習 (ML) は、テクノロジーで最も急速に成長している分野のひとつで、今日の求人市場において極めて高い人気があります。今日は、Coursera と共同で構築された、ML スキルを習得するために役立つ新しい教育コース、Getting started with AWS Machine Learning をご紹介したいと思います。このコースの内容は、Coursera ウェブサイトで、今すぐ無料でアクセスできます。 世界経済フォーラム [1] は、人工知能 (AI) の発達は今後数年間で 5,800 万のまったく新しい仕事を生み出す可能性があるとしていますが、何百万人もの AI エンジニアが必要であることに反して、AI エンジニアは現在世界中で 30 万人だと推定されています [2]。これは、スキルレベルに関わらず、AI アプリケーションの構築に使用される本質的な ML 概念を学び始めるための、ユニークかつ急を要する機会があることを意味します。今 ML の基礎を学んでおくことは、この発達に後れを取らず、スキルを拡大するだけでなく、キャリアアップするためにも役立ちます。 Amazon のエンジニアを訓練するために使用されるものと同じ ML コースに基づいたこのコースは、AWS Machine Learning の使用を開始する方法を教えます。主なトピックには、Machine Learning on AWS、Computer Vision on AWS、および Natural Language Processing (NLP) on AWS などがあります。各トピックは、様々な ML 概念、AWS のサービス、およびをこの概念を実践するためのエキスパートからの洞察を深く掘り下げる数個のモジュールで構成されています。このコースは、AWS 機械学習認定でより深く学ぶ前に、Machine Learning […]

Read More

Amazon Elasticsearch Search と Amazon Comprehend を使用してスマートテキスト分析を実現する

AWS クラウドで Amazon Comprehend を使用して、Amazon Elasticsearch Service ドメインの非構造化テキストを分析および視覚化するために、自然言語処理を活用するエンドツーエンドのソリューションを発表できることをお知らせしたいと思います。このソリューションは、AWS CloudFormation テンプレートを使用して数分でデプロイし、Kibana ダッシュボードでデータを視覚化することができます。 Amazon Elasticsearch Service (Amazon ES) は、Elasticsearch の使いやすい API とリアルタイム機能、ならびに本稼働ワークロードに必要な可用性、スケーラビリティ、セキュリティを提供する完全マネージド型のサービスです。 Amazon Comprehend は完全マネージド型の自然言語処理 (NLP) サービスで、ドキュメントのコンテンツから洞察を抽出するテキスト分析を可能にします。お客様は、Amazon ES と Amazon Comprehend を活用して非構造化テキストのインデックス作成と分析を行い、事前設定された Kibana ダッシュボードをデプロイして、ドキュメントから抽出したエンティティ、キーフレーズ、構文、感情を視覚化することができます。 一例として、企業は大量のオンラインでの顧客フィードバックまたは文字起こしされた顧客からのコールを持っている場合があります。このソリューションを使用すると、顧客との接触における感情の時系列を視覚化し、そうした接触のエンティティまたはキーフレーズのワードクラウドを分析し、感情によって特定の製品についての接触を検索したりできます。このブログ記事では、Amazon ES および Amazon Comprehend を使用してテキストデータから洞察を引き出すためにデプロイできる Kibana ダッシュボードの例を見てみましょう。詳細な手順については、ソリューション実装ガイドをご覧ください。 このソリューションでは、AWS CloudFormation を使用して、AWS クラウドでのデプロイを自動化します。ソリューションの詳細については、次のリンクをクリックし、こちらでテンプレートをダウンロードしてください: このテンプレートを使用して、ソリューションおよび関連するすべてのコンポーネントを起動できます。このソリューションをデフォルトのパラメーターでデプロイすると、AWS クラウドに次の環境が構築されます。 デフォルト設定では、Amazon API Gateway、AWS Lambda、Amazon Elasticsearch Service、AWS Identity and Access Management […]

Read More