Amazon Web Services ブログ

Amazon SageMaker Ground Truth と Amazon Comprehend を使用しての NER モデルの開発

固有表現抽出 (NER) とは、テキストデータを選別して固有表現と呼ばれる名詞句を特定し、「人」「組織」「ブランド」などのラベルによってそれぞれを分類する処理のことです。たとえば「私は最近 Amazon プライムに登録した」というテキストにおいては、「Amazon プライム」が固有表現であり「ブランド」として分類可能です。自社内において、精密な表現抽出機能を構築することは手の込んだ作業になり得ます。これには、手動で注釈付けをしたトレーニングドキュメントをいくつも用意することや、モデルトレーニング用に適切なアルゴリズムとパラメータを選択することが求められます。 今回の記事では、カスタム NER モデルを構築するための、Amazon SageMaker Ground Truth と Amazon Comprehend を使用するエンドツーエンドのパイプラインを取り上げていきます。 Amazon SageMaker Ground Truth を使用すると、機械学習システムのトレーニングに必要なデータセットを、効率的かつ正確にラベル付けすることが可能になります。Ground Truth には、ラベル付けをする人間にそのタスクをステップバイステップで示してくれる、ラベル付けワークフローが組み込まれています。さらに、機械学習 (ML) システムのトレーニングに必要とされる注釈付きの NER データセットを効率よく、正確に構築するためのツールも提供されています。 Amazon Comprehend は、機械学習を使用してテキストに関するインサイトやその内部の関係性を抽出できる、自然言語処理 (NLP) サービスです。Amazon Comprehend では、UTF–8 形式であれば任意のテキストファイルを処理できます。ドキュメント内にある、表現、主要なフレーズ、言い回し、感情、および他の一般的な要素を認識することで、インサイトを生成します。カスタムの表現抽出サービスを使用するには、モデルトレーニングのためのデータセットを作成する必要があります。そのためには、注釈がつけられた一連のドキュメントを使用するか、表現とそのタイプ (例: PERSON) を記載したリストに加え対象となる表現を含むドキュメントを用意します。このサービスは、モデルのトレーニングに使用する、アルゴリズムとパラメータにおける最良かつ最も精度の高い組合せを得るための、自動的なテストを実施します。 次の図は、このソリューションのアーキテクチャを示しています。 ここでのエンドツーエンドのプロセスは次のとおりです。 Amazon Simple Storage Service (Amazon S3) に一連のテキストファイルをアップロードします。 Ground Truth 内に、非公開のワークチームと、NER 用のラベル付けジョブを作成します。 非公開ワークチームがすべてのテキストドキュメントに対しラベル付けを行います。 上記が完了すると、Ground Truth は […]

Read More

速報!本日未明に終了したAWS公共部門 サミットのハイライトを紹介します-前編【キーノート編】

AWSジャパン・パブリックセクターより、日本時間の本日未明に終了した「AWS Public Sector Summit Online」 における、政府機関・教育機関・NPO向けのハイライトをご紹介いたします(記載は2020年7月1日時点)。 本年のサミットには、世界各国から多数の政府・行政機関・教育機関・NPOの皆様、ユーザーの皆様よりオンラインでのご参加をいただきました。日本からも、深夜の時間帯にもかかわらず多数の聴講をいただいたことに、感謝を申し上げます。 なお、日本のお客様向けに、今回のサミットで開催された25のブレイクアウト・セッションの中から幾つかをご紹介させていただく投稿も今回併せて準備させていただきました(こちらが【ブレイクアウト・セッション編】)。例年、日本のお客様からは高い関心が寄せられるセキュリティ系のセッションをはじめ、公共機関のDX、マネジメント&イノベーション系のセッションが充実しています。ぜひご参照ください。 キーノートの11個のハイライト: クラウドによるミッション達成とパブリック・セクターDXの促進 日本時間の本日未明(米国現地ワシントンDCでの6月30日)に終了した、AWS パブリックセクター・サミット・オンライン 2020 (以下、「サミット」)では、アマゾンウェブサービス(AWS)のWorld Wide Public Sector部門のバイス・プレジデントであるテレサ・カールソンが、基調講演を行いました(動画全編はこちら)。テレサは、過去数か月間のコロナウィルスがもたらした困難な時期を振り返り ── 未だ多くの国においてこの危機は現在進行形ですが ──、パブリック・セクターのユーザーが多くの教訓を共有すること、そして世界中の人々がミッションを遂行することを支援し続けているAWS のコミットメントについて語りました。 「コロナ危機に臨んで構築中のソリューションは、公共部門のITへのアプローチを根本的に変化させている。危機以前の”古い考え方”に戻ることはない」── とテレサは述べます。 前例のない危機に直面した各国の政府機関は、クラウドの俊敏性・スピード・柔軟性をあらためて実感しました。クラウドの本格活用により、お客様はミッションに集中しながら、この危機を乗り越えつつあります。基調講演では、以下に紹介するとおり、AWS のユーザーである各国の公的機関における取り組みと、AWS がそれらのお客様のミッションをサポートする方法について紹介が行われました。キー・テイクアウェイとして注目いただきたいポイントを、以下にご紹介します: #1:データの新しいフロンティアを受け入れる:AWS の航空・宇宙および衛星ソリューション AWS は、この「惑星」の内外でのお客様のミッションを支援することに、全力を尽くしています。最近新しく立ち上げられた「 AWS 航空・宇宙および衛星ソリューション事業」は、宇宙におけるイノベーションを推進するために創設され、退役した空軍少将クリント・クロサイエを本部門のリードとしてAWSに迎えられたことを、歓迎したいと思います。彼には、宇宙でのミッションにクラウドソリューションを提供すべく専門家のチームを率いてもらいます。 航空・宇宙および衛星ソリューションチームは、AWS Ground Station を使用してデータをダウンリンク・処理・分析・配信する費用対効果の高い方法で世界中のお客様に対するサポートを、既に開始しています。規模の大小を問わず、多くの民間企業や公的機関では、AWS Ground Station を使用して衛星通信業務を迅速に拡張し、宇宙スタートアップもまた、衛星地上インフラストラクチャの構築に必要な主要な設備投資をAWSを利用することで圧倒的に合理化しています。 航空・宇宙および衛星分野のフロントランナーとしては、AWSのお客様の 「Capella Space」社 が AWSへの「オールイン(=すべてのIT環境をAWSへ移行済)」を達成しています。AWS を利用し、Capella は世界最大の商用人工レーダーを搭載した衛星システムを打ち上げています( Synthetic Aperture Radar, SAR)。SARは、雲を貫通し、全天候条件下でデータを収集し、昼夜を問わずデータを把捉できる独自のレーダーです。Capella Space はすでに SAR データセットを AWS に移行しており、分析や機械学習などのサービスを活用して、このデータを迅速かつ低コストで顧客に提供しています。 […]

Read More

Amazon RDS for SQL Server において SSAS / SSRS / SSIS がサポートされました

SQL Server を利用されているお客様の中には、SQL Server に搭載されている BI 機能、SQL Server Analysis Services (SSAS) / SQL Server Reporting Services (SSRS)  / SQL Server Integration Services ( SSIS ) を利用されているお客様も多いと思います。以前はこれらの機能を利用する際は EC2上に SQL Server を構成する必要がありましたが、Amazon RDS for SQL Server でも利用可能になり(※)、マネージド型サービスならではのメリットを享受できます。有用な情報をまとめましたので、ぜひご活用頂ければと思います。 サポートするバージョン / エディション 【SQL Server Analysis Services】 SQL Server 2016 Standard エディションまたは Enterprise エディション (13.00.5426.0.v1 以降)  か SQL Server 2017 […]

Read More
QuickSight hands on

BIサービス Amazon QuickSight のセルフハンズオンキットに「販売管理ダッシュボード編」が追加

Amazon QuickSight は、誰もが簡単に利用でき、サーバレスなので運用管理の負荷も少ないBIサービスです。 これまでQuickSightを体験していただくためにQuickSight Basicハンズオンを定期的に開催してきたのですが、先日これに加えて「販売管理ダッシュボード編」を開催させていただきました。 今回これら2つのハンズオンがダウンロード可能になり、お手元の環境でも2種類のハンズオンを試していただけるようになりましたので、それぞれ概要を紹介します。

Read More

IoT@Loft#11 スマートビルディングにおけるIoT活用の取り組み 

こんにちは、AWSソリューションアーキテクトの市川 です。6月17日に開催された IoT@Loft の第 11 回目であるこの回のテーマは、「スマートビルディングにおける IoT 活用の取り組み」でした。 スマートビルディングの領域では、ビルのセキュリティの確保や居住者への快適性の提供、またエネルギー利用のいっそうの効率化などの要求や、労働力の減少に伴うリモート管理や機械警備の重要性などの社会的なニーズのように、様々な領域で IoT を活用したソリューション開発の取り組みが行われています。 今回、様々な分野でビルディングのスマート化にご尽力されているエンジニアの方々にご登壇頂き、現場の課題とそれに応えるソリューション事例などをご紹介していただきました。 IoT@Loft とは ? IoT 関連ビジネスで開発を担当するデベロッパーのためのイベントです。IoT の分野は、「総合格闘技」と呼ばれるほど、必要な技術分野が非常に多岐に渡ること、ビジネスモデルが複雑なケースが多く、全体を理解することは難しいと言われています。その結果、実証実験 (Proof of Concept : PoC) から商品への導入が進まないケースや、PoC でさえ十分に実現できていないケースも多々あります。 IoT@Loft は、そういった IoT 特有の課題と向き合い、情報共有・意見交換を行う場として、参加者の事業や製品開発を成功に近づけることができれば幸いです。この勉強会では、膨大な IoT 関連の情報の見通しを良くするために、各回ごとにテーマを定め、それに沿った形で登壇者に事例や技術のご紹介を頂きます。テーマは、インダストリー、ソリューション、テクノロジー、開発フェーズなどを軸に決めていきます。 セッションの紹介 3度目のオンライン開催でしたが、今回も多くの方に視聴していただきました。オフラインでは人によっては質問しづらいといったこともありますが、今回も多くの質問をいただいております。この記事では各セッションの概要について紹介した後、QAも紹介します。 LT1 – エネルギーマネジメントにおけるAWSを活用したIoTデータ取得ソリューション 登壇資料:エネルギーマネジメントにおけるAWSを活用したIoTデータ取得ソリューション 事例ブログ:ユーティリティにおけるAWS IoTを用いた分析・可視化(北海道ガス株式会社の事例) こちらのセッションでは、北海道ガス株式会社より2名の方の登壇いただき、IoT初心者の非クラウドネイティブな社員による、PoC段階の検討に関して共有していただきました。 背景や課題として、建物はエネルギーシステム全体としての最適利用・省エネが求められるが、実際には個々のサービス・プロダクトは最適化されていても、それらをまとめて管理するのは、導入するお客様(ビルの管理等をされている方)となっていることでした。大規模な物件であれば、BEMS(Building Energy Management System) を導入しており、専門の人が計測・制御を行うことが多いが、中小規模の物件ではこれらの導入は難しいことがあります。また、北海道という土地柄、年間を通して寒暖の差が大きく、季節に合わせた機器の設定運用が必要というのが特徴としてあります。 今回は、このような中小規模のスタンドアロンなガス熱源設備に対するPoCを行ないました。目的としては、省エネ・設備最適運用支援を目的に、機器データを集めて蓄積・可視化することにフォーカスしています。 PoCを進める上で、1)どの様にデータを変換するか、2)PLCをどうゲートウェイに繋げるか、3)ゲートウェイ〜クラウドがよくわからない、といった課題がありましたが、一つ一つ解決しながら進めることでデータの収集から可視化までを進めることが出来ました。PoCの初期の段階ではSoracomさんのサービスを利用することで、データの蓄積・可視化を素早く行うことが出来たが、将来的に蓄積したデータを利用してBIツールとの連携や、分析を行うことを考えていたので、最終的にはAWS IoT のサービスを利用して、データレイクを構築し、可視化するところまで実現できました。これにより、熱源機器のデータを連携することで、省エネ支援を実現することが確認できました。PoCを進める上で、データ取得ソリューションは作り込まない事により、素早く構築することで現場の課題を早期に見つけることが出来たとのことです。 Q&A Q. SORACOM HarvestやLagoonも使用されていたとのことですが、それらからAWSのサービス、IoT AnalyticsやQuickSightなどに移行、変更した理由について教えていただけますでしょうか。 SORACOMさんのサービスでもデータの蓄積は問題なく出来ますが、後々解析で利用したいという考えがありましたので、IoT Analyticsに移行しました。QuickSightは組み込みの異常検知の機能などあるためそれを使いたいと思い移行しています。 Q. 短期間での投資回収可能とのことでしたが、通信やクラウドを含めた全体のコスト感はどのくらいなのでしょうか?全体の構成の中で、特にどのあたりにコストがかかっているかを教えていただきたいです。 […]

Read More

[AWS Black Belt Online Seminar] AWS サポート技術支援サービス紹介 資料及び QA 公開

先日 (2020/06/16) 開催しました AWS Black Belt Online Seminar「AWS サポート技術支援サービス紹介」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200616 AWS Black Belt Online Seminar AWS サポート技術支援サービス紹介 from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. 他のサービス同様に API がある、という点について、イメージわかなかったのでもう一度教えてほしいです。 A. AWS サポート関連でご利用いただけるAPIとして、サポート API、ヘルス API という 2 種類の API がございます。AWS サポート API を使用すると、サポートケースの作成、AWS サポートエンジニアとのやり取りの追加といったサポートケースの管理や、Trusted Advisor のチェックの実行、チェックの詳細情報とサマリーの取得といった一連のタスクの実行が可能です。また、AWS ヘルス API を使用すると、Personal Health Dashboard に表示される AWS Health 情報にプログラムでアクセスすることが可能となります。これらの […]

Read More

S+Camera と Amazon Rekognition を組み合わせて来客分析を行う

本記事では、IoT@Loft #9 で ソラコム様にご紹介いただいた、S+Camera Basic (以下 S+Camera) と Amazon Rekognition や Amazon Elasticsearch Service などを組み合わせたデモを実現する方法を説明します。このデモでは、店舗の入り口に設置した S+Camera で顔を検出、検出した顔を Amazon S3 にアップロード、Amazon Rekognition を用いて分析することで、顧客の年齢や性別などの分析や、お得意様来店時の通知などを行うことができます。 Amazon Rekognition では、機械学習の専門知識を必要とせずに、実績のある高度にスケーラブルな深層学習テクノロジーを使用して、アプリケーションに画像およびビデオ分析を簡単に追加できるようになります。Amazon Rekognition を使用すると、画像と動画の物体、人物、テキスト、シーン、活動を特定し、不適切なコンテンツを検出できます。また、Amazon Rekognition カスタムラベルを使用することで、ビジネスニーズに合わせた画像の物体やシーンを特定できます。

Read More

Amazon WorkSpaces および Amazon Chimeによる在宅勤務向け無料利用枠オファーの延長

2020年4月1日に発表したAmazon WorkSpaces および Amazon Chime の新規のお客様向けのオファーでは、最大 50 の Amazon WorkSpaces Windows スタンダードバンドルと他の WorkSpaces バンドルとの組み合わせを無料で利用し、COVID-19 発生時に従業員が自宅から作業できる様にするための支援を行いました。 また、Amazon Chime については、お客様がどこからでもコミュニケーションやコラボレーションを行えるように、無料で Amazon Chime Pro 機能へのアクセスを提供しました。これらのオファーはどちらも6月30日まで利用可能でした。オフィス勤務を再開するお客様がいる一方で、多くのお客様ではいまだ在宅勤務を継続しており、この先数か月、数四半期、または永続的に在宅勤務を継続する可能性について言及するお客様もおられます。こういった背景を踏まえ、在宅勤務におけるお客様の従業員の生産性と安全を維持し続けるために、Amazon WorkSpacesおよびAmazon Chimeの無料利用枠のオファーを2020年9月30日まで延長する事になりました。 新規の Amazon WorkSpaces のお客様は、最大50台の Windows スタンダードバンドルを展開できる Amazon WorkSpaces 無料利用枠にサインアップすることで、このオファーを利用できます。現在この無料利用枠を利用されている Amazon WorkSpaces のお客様は、2020年9月30日まで、継続して利用することができます。さらに、この無料利用枠には、Windows パフォーマンスバンドルの WorkSpaces を1台、Windows バリューバンドルの WorkSpaces を1台、Linux スタンダード WorkSpaces を2台利用できます。これらの WorkSpaces は、WorkSpaces 無料利用枠が現在利用可能なすべての AWS リージョンで利用できます。 新規のお客様は、特定の Amazon Chime Pro 機能を利用して、オーディオ、ビデオ、および、チャットを通じたリモートコミュニケーション、リモートコラボレーションを行うこともできます。これにより、お客様は、最大250人の参加者の会議をスケジュール、参加することができ、会議の記録などの、より高度な機能も利用することができます。現在この無料枠を利用されている […]

Read More

File Gateway を使用して SQL Server バックアップを Amazon S3 に簡単に保存する

昨年公開したブログで、AWS Storage Gateway をセットアップして、File Gateway でクラウドベースの SMB 共有を使用して SQL Server バックアップを Amazon S3 に保存する方法を説明しました。 オンプレミスのバックアップコストが増加し、運用オーバーヘッドが増加しているお客様は、SQL Server バックアップを永続的かつ確実に AWS に保存するために、このソリューションを使っています。これにより、費用を節約し、オンプレミスのストレージインフラストラクチャを削減しながら、バックアップ操作を簡素化できます。 File Gateway は、ローカルキャッシュを使用して S3 バケットに保存されたデータへの SMB および NFS アクセスを提供し、データへ低レイテンシーでアクセスできるようにします。AWS は前回のブログ記事以来、 Storage Gateway の多くの機能をリリースし、耐障害性を高め、パフォーマンスを向上させ、機能を強化しました。このような機能には、VMware デプロイの高可用性、SMB 共有の監査ログ記録、パフォーマンスの向上、統合された CloudWatch アラーム、および S3 Intelligent-Tiering のサポートなどがあります。 この記事では、前回のブログを基に、File Gateway の設定、モニタリング、パフォーマンスに関するベストプラクティスについて説明します。また、さまざまな File Gateway 環境設定で実行した SQL Server バックアップテストの結果を示します。さらに、これらの結果から外挿して、独自の SQL Server 環境を計画する方法も示します。このブログを読むと、SQL Server バックアップワークロード用のスケーラブルで耐久性のあるソリューションをより適切に設計できるようになっていることでしょう。 File Gateway […]

Read More

クラウドへの移行: Blazegraph から Amazon Neptune への移行

グラフデータベースアプリケーションのライフスパン中、アプリケーション自体には基本的な要件、つまり、W3C 標準の SPARQL エンドポイントを機能させることのみが備わっている傾向があります。けれども、グラフデータベースが重要なビジネスアプリケーションに組み込まれるようになると、ビジネスと運用の両面からさらに多くのものが求められるようになります。重要なビジネスインフラストラクチャは、単に機能するだけでなく、可用性が高く、安全で、拡張可能で、費用対効果が優れていることが求められます。これらの要件により、オンプレミスまたはセルフホストソリューションから、Amazon Neptune などのフルマネージドグラフデータベースソリューションへの移行が求められます。 Neptune は、ビジネスクリティカルなグラフデータベースアプリケーションの構築と実行を容易にする、高速で信頼性の高い、フルマネージドグラフデータベースサービスです。Neptune は、数十億の関係を格納し、ミリ秒のレイテンシーでグラフをクエリするように最適化された専用の高性能グラフデータベースエンジンです。Neptune は、リードレプリカ、ポイントインタイムリカバリ、Amazon Simple Storage Service (Amazon S3) への継続的なバックアップ、およびアベイラビリティーゾーン間のレプリケーションにより、高可用性を実現するように設計されています。Neptune は、AWS Identity and Access Management (IAM) 認証、HTTPS 暗号化クライアント接続、および保管時の暗号化をサポートしており、安全です。Neptune は、開発とテストを対象とした低コストインスタンスを含む、さまざまなインスタンスタイプも提供しています。これにより、予測可能で低コストのマネージドインフラストラクチャがもたらされます。 現在のオンプレミスまたはセルフホストのグラフデータベースソリューションから Neptune への移行を選択する場合、この移行を実行するための最良の方法は何でしょうか? この記事では、オープンソースの RDF トリプルストア Blazegraph から Neptune に次の手順を実行して移行する方法を説明します。 AWS インフラストラクチャをプロビジョニングします。まず、AWS CloudFormation テンプレートを使用して必要な AWS インフラストラクチャをプロビジョニングします。 Blazegraph からデータをエクスポートします。この記事では、Blazegraph からデータをエクスポートするための 2 つの主要な方法について説明します。それは、SPARQLCONSTRUCT クエリを使用するか、Blazegraph エクスポートユーティリティを使用する方法です。 Neptune にデータをインポートします。Neptune ワークベンチと Neptune バルクローダーを使用して、エクスポートしたデータファイルを Neptune にロードします。 […]

Read More