Amazon Web Services ブログ

Amazon Comprehend – 継続的に学習される自然言語処理

数年前、私はメリーランド大学の図書館 をさまよい、What Computers Can’t Do というタイトルのホコリをかぶった古い本と、その続編 What Computers Still Can’t Do を見つけました。2冊めの本はより分厚く、コンピューター・サイエンスが学ぶべき価値ある領域であることを認識させる内容でした。このブログを書く準備をしている間に、私は最初の1冊の保存されたコピーを見つけ、面白い考えを見つけました。 人間は自然言語で記述された文脈依存する暗黙的な知識を必要とする文章を使い、理解しているので、同じように自然言語を理解し、翻訳できるコンピューターを作る唯一の方法は、チューリングが嫌疑していたように、多分コンピューターが世界について学ぶようにプログラムすることだろう。 これは、とても先見の明のある考えでした。そして、私は Amazon Comprehend についてお話したいと考えています。Amazon Comprehend は現実に世界のことを相当詳しく知っている新しいサービスで、そのことを共有できるのがとても幸せです。 Amazon Comprehend の紹介 Amazon Comprehend はテキストを分析し、最初にアフリカ語からヨルバ語まで、その間にある 98 以上の言語に始まり、見つけたことを教えてくれます。Amazon Comprehend は英語かスペイン語で記述されたテキストからエンティティ(人、場所、ブランド、製品、など)の違い、キーフレーズや感情(ポジティブ、ネガティブ、混合、中立)を識別し、キーフレーズやその他全ての情報を抽出することができます。最後に、Comprehend のトピックモデリングサービスが巨大なドキュメントセットの中から分析やトピックに基づくグルーピングのために複数のトピックを抽出します。

Read More

(開発中)AWS IoT Device Defender: IoTデバイス群を安全に

IoT においてスケールは新しい意味を持ちます。昨年、私は幸運にも平均1平方メートルごとに環境センサーがある巨大な工場を見学しました。そのセンサーは温度、湿度、空気純度を毎秒数回計測し、汚染物質に対する早期警戒を提供します。お客様からは何百万台、何千万台のコンシューマ向けIoTデバイスの展開に関心を持たれていると聞きました。 地理的に分散して展開されている強力で長寿命なデバイスのセキュリティ課題は重要です。しかし、限定的なCPUパワーやメモリしか無く、暗号化やその他のデータ保護手段の実施が制限される事があります。 このセキュリティ課題に対処し、自信を持って大規模にIoTデバイスを展開できるように、IoT Device Defender を開発中です。詳細はリリースまでに変更になる可能性がありますが、AWS IoT Device Defender は以下の利点を提供できるよう設計しています。 継続的な監査 – AWS IoT Device Defender はデバイスに関連するポリシーを監視して、指定された設定が行われているよう助けます。ベストプラクティスからの逸脱を探し、カスタムの監査ルールをサポートしているため、あなたのIoTデバイス展開に特有の状態をチェックすることができます。例えば、他のデバイスからセンサーデータを購読されているような侵害されたデバイスでは無いか確認することができます。監査はスケジュールにもとづいて実施したり、必要に応じて実施したりできます。 リアルタイム検知とアラーム – AWS IoT Device Defender は侵害されたデバイスが行うような通常とは異なる動作を見つけ出し、素早く警告を出します。類似したデバイスの動作を長期間モニタリングし、許可されていない試行アクセスや接続パターンの変化、インバウンド・アウトバウンド両方のトラフィックパターンの変化を探し出すことで実現します。 素早い調査と緩和 – 何か通常とは異なることが起こって警告を受取った際、AWS IoT Device Defender は警告についての状況を始め、問題の調査や緩和を行うのを手助けするツールを提供します。デバイスの情報、デバイスの統計情報、診断ログ、過去のアラートなどを全て簡単に確認できます。デバイスを再起動したり、権限を取り消したり、工場出荷時のデフォルトに戻したり、セキュリティパッチを送ったりなども選択できます。 乞うご期待 より詳細な情報やハンズオン記事を可能な限り早くお届けしたいと考えています。乞うご期待下さい。 — Jeff (翻訳は SA 辻 義一 が担当しました。原文はこちら)

Read More

Amazon Translateのご紹介- リアルタイム言語翻訳

インターネットの登場により、世界はより小さくなりました。大規模な情報の保管が可能になり、まばたきをする間に文化や国をまたいで転送が可能になり、お互いを学び成長する機会を提供してくれます。知識とデータ転送の高速艇の利点を享受するためには、最初に情報の共有とコミュニケーションを妨げる言語の壁を打ち破る必要があります。 マルチリンガルになる以外で、これらの障壁を突破する方法の一つは、言語感間の機械翻訳とそれに関連するテクノロジーの活用です。機械翻訳技術は、ソフトフェアを使ってテキストあるいはスピーチをある言語から他の言語へ翻訳することにフォーカスする計算機言語学の分野から生まれました。機械翻訳のコンセプトは、1949年にアメリカの科学者かつ数学者であるWarren Weaverが、ロックフェラー財団の自然科学部門の同僚からのリクエストによって、彼の言語翻訳アイデアを共有するためのMemorandum on Translationを作成した時点まで遡ります。それ以来、翻訳モデルの有効性とクォリティを向上させるためにニューラルネットを利用した機械言語翻訳の分野は長い道のりを辿りました。ですので、この分野の技術的な進歩によって今日ご紹介するエキサイティングな新しいサービスをご提供できることに驚きが無いかもしれません。 Let’s Welcome: Amazon Translate Amazon Web ServiceファミリーにAmazon Translateが加わることを喜びましょう。Amazon Translateはテキストベースのコンテンツに対して高速な翻訳先進的な機械学習のテクノロジーを利用した高品質なニューラル機械翻訳サービスで、多言語なユーザーエクスペリエンスを提供するアプリケーションの開発を可能にします。このサービスは現在プリビュー期間中で、サポートする言語から英語、英語からサポートする言語へのテキスト翻訳が可能です。 Amazon Translateを利用することにより、ウェブサイトや情報、リソースにアクセスする消費者が自動的な翻訳を使って、好みの言語でアクセスできるようになり、組織やビジネスは製品やサービスを拡張し、他のリージョンへより容易に展開できるようになります。加えて、読めない言語でリソースが提供されていたとしても、マルチプレイヤーチャットでエンゲージしたり、消費者フォーラムから情報を収集したり、教育資料を深読みしたり、ホテルのレビューを取得したりすることが出来ます。

Read More

Amazon Kinesis Video Streams – コンピュータビジョン・アプリケーションのためのサーバーレスな動画データの収集と保存

携帯電話、防犯カメラ、ベビーモニター、ドローン、WEBカメラ、車載カメラ、さらには人工衛星まで、これらすべては高輝度で高品質の動画ストリームを生成できます。 住宅、オフィス、工場、都市、街路、高速道路は現在、膨大な数のカメラを備えています。これらのカメラは、洪水などの自然災害時に被害状況の調査を可能にし、公共の安全性を高め、子供が安全かつ健康であることを知らせ、無限に繰り返す「失敗」動画のための一瞬を補足し(個人的な趣味の話です)、身元の判定に役立つデータを集め、交通の問題を解決するなど、様々な場面で活用されます。 この動画データの洪水を扱うことは、言い表せないほど難しいことです。 入力ストリームには、個別に、または何百万という単位でデータが到着します。 ストリームには価値あるリアルタイムなデータが含まれており、遅延したり、一時停止したり、より適切なタイミングで処理するためにデータを脇に置いておいたりすることはできません。生のデータを取得すると、他の課題が発生します。動画データの保存、暗号化、索引作成などが頭に浮かびますね。価値を引き出すこと、つまりコンテンツに深く潜って、そこにあることを理解し、行動を起こすことは、次の大きなステップです。 新しい Amazon Kinesis Video Streams 2017年11月29日、リアルタイムストリーミングサービスであるAmazon Kinesisファミリーの新しいメンバーとして、Amazon Kinesis Video Streamsをご紹介します。 これによって、独自のインフラストラクチャを構築して動かすことなく、何百万ものカメラデバイスからストリーミング動画(または時系列にエンコードされたデータ)を取り込むことができます。 Amazon Kinesis Video Streamsは、入力ストリームを受け入れ、永続的かつ暗号化された形式で保存し、時間に基づいたインデックスを作成し、コンピュータビジョン・アプリケーションの作成を可能にします。 あなたはAmazon Recognition VideoやMXNet、TensorFlow、OpenCV、または独自のカスタムコード、つまりクールな新しいロボットや、分析、あなたが考え出すコンシューマー・アプリケーションを支えるあらゆるコードを使用して、入力ストリームを処理することができます。

Read More

Amazon Transcribe – スケーラブルで正確なSpeech to Text

11月29日、開発者がアプリケーションにSpeech to Textの機能を簡単に追加できる自動音声認識(ASR)サービスのAmazon TranscribeのPrivate Previewを発表致します。帯域や接続性の改善に伴い、世界中のより多くのデータが、ビデオやオーディオのフォーマットで保管されるようになってきました。人々は以前よりも早くデータを生成し、消費するようになりました。これらのリッチなマルチメディアコンテンツに存在する何らかの意図を価値として取り出すことは、ビジネスに非常に重要になっています。Amazon Transcribeを利用すれば、効果的でスケーラブルなAPIを利用して、手動での書き起こしプロセスに掛かるコストを抑えることが可能です。   APIでジョブを開始すれば、Amazon Simple Storage Service (S3) に保管された多数の一般的なフォーマットの音声ファイル(WAV, MP3, Flac, etc.)を分析でき、各単語毎のタイムスタンプと推測された区切り情報を持つ、詳細かつ正確な書き起こし結果を得られます。Preview期間中は、英語またはスペイン語を書き起こすための非同期Transcription APIをご利用可能です。

Read More

Amazon SageMaker – 機械学習を加速する

機械学習は多くのスタートアップやエンタープライズにとって重要な技術です。数十年に渡る投資と改善にも関わらず、機械学習モデルの開発、学習、そして、メンテナンスはいまだに扱いにくく、アドホックなままになっています。機械学習をアプリケーションに組み込むプロセスはしばしば一貫しない仕組みで数ヶ月間に及ぶエキスパートチームによるチューニングと修正を伴います。企業と開発者は機械学習に対する生産パイプラインに対するのエンド・エンドな製品を望んでいます。   Amazon SageMaker の紹介   Amazon SageMaker はフルマネージドなエンド・エンド機械学習サービスで、データサイエンティストや開発者、機械学習のエキスパートがクイックに機械学習モデルをスケーラブルにビルド・学習・ホストすることを可能とします。このサービスが機械学習に関する全ての試みを急激に加速し、プロダクションアプリケーションに素早く機械学習を追加可能とします。 Amazon SageMaker には3つの主要なコンポーネントが存在します: オーサリング:データに関する調査・クレンジング・前処理に対してセットアップ無しで利用可能な Jupyter notebook IDE をCPUベースのインスタンスやGPUを利用可能なインスタンスで実行することが可能です。 モデルトレーニング:モデルトレーニングは分散モデル構築/学習/評価サービスです。ビルトインされた共通の教師あり/教師なし学習アルゴリズムやフレームワークの利用や Docker コンテナによる独自の学習環境を作ることも可能です。学習では、より高速なモデル構築を可能とするため、数十のインスタンスにスケールすることが可能です。学習データは S3 から読み出され、モデルアーティファクト が S3 に保存されます。モデルアーティファクトはデータと分離されたモデルのパラメータであり、モデルを使って推論を可能とするような実行コードではありません。この分離により、IoT デバイスのような他のプラットフォームに SageMaker で学習したモデルをデプロイすることが容易になります。 モデルホスティング:モデルをホストするサービスで、リアルタイムに推論結果を取得するためにモデルを呼び出す HTTPS エンドポイントを提供します。エンドポイントはトラフィックに対処するためにスケールすることができ、同時に複数モデルで A/B テストすることを可能とします。加えて, ビルトインの SDK を利用してエンドポイントを構築できるだけでなく、カスタム設定で Docker イメージを利用することができます。 これらコンポーネントはそれぞれ分離して利用することができ、分離されていることが、存在するパイプラインのギャップを埋めるために Amazon SageMaker を採用することを本当に簡単にしています。故、エンド・エンドにサービスを使用するときに有効になる、本当に強力な事象がいくつも存在します。

Read More

Amazon Rekognition Video: ディープラーニングベースのビデオ認識

  Amazon Rekognitionを発表したのは昨年のre:Invent 2016期間中でした。手を汚してコードを書き、サービスを活用して画像認識ソリューションを構築するのにとても興奮しました。ご存知かもしれませんが、Amazon Rekognition Imageは、ディープラーニングを利用してスケーラブルな画像認識と分析を提供するクラウドサービスです。Rekognitionを利用して、オブジェクトとシーンの検出、リアルタイム顔認識、セレブリティ認識、節度の認識だけではなく、テキスト認識をアプリケーションやシステム統合して構築することができます。 Amazon Rekognition Imageサービスは、深層ニューラルネットワークモデルを利用して作成されており、Prime Photosで毎日数億の画像分析を可能にしているのと同じテクノロジーに基づいています。これまで、Rekognitionはスケーラビリティ、自動的な分析、サーチ、画像の分類を提供することに重点的にフォーカスしてリリースされてきました。今その全てが変わっています。今回、このサービスの幾つかの追加機能についてお伝えできることを嬉しく思います。

Read More

S3 Select と Glacier Select – オブジェクトのサブセットを取得

Amazon Simple Storage Service (S3) は、各業界のマーケットリーダーが使用する数百万のアプリケーションのデータを保存しています。セキュアで耐久性のある非常に低コストのアーカイブストレージとして、これらの多くのお客様は Amazon Glacier も使用しています。S3 では、望むだけの数のオブジェクトを格納することができますし、個々のオブジェクトは最大5テラバイトとすることができます。オブジェクトストレージのデータは、通常1エンティティ全体としてアクセスされます。そのことは、例えば 5GB のオブジェクトに対してなんらかの要求をすれば、5GB 全てのデータ取得を行うことを意味します。これはオブジェクトストレージとしては自然なことです。 2017年11月29日、このパラダイムに挑戦すべく、S3とGlacierに2つの新機能を発表します。シンプルなSQL文を利用して、それらのオブジェクトから必要なバイトだけを引き出すことを可能としました。この機能により、S3やGlacierのオブジェクトにアクセスするすべてのアプリケーションが強化されます。 S3 Select プレビューとして発表された S3 Select により、アプリケーションはシンプルなSQL文を用いて、オブジェクトからデータの一部分のみを取り出すことができます。アプリケーションが必要とするデータのみを取得するので、大幅なパフォーマンス向上が達成でき、400%ほどの改善が見込めることもあります。

Read More

Amazon Elastic Container Service for Kubernetes

私の同僚 Deepak Singh が、コンテナに関してたくさんお伝えしたいことがあります! – Jeff; AWS 上で Kubernetes を利用している多くのお客様がいます。実際、Cloud Native Computing Foundationによると、Kubernetes のワークロードの63%が AWS 上で動作しています。AWS は Kubernetes を実行するうえで人気の場所ですが、お客様が Kubernetes クラスターを管理するためには、依然として多くの手動設定が必要となります。Kubernetes のマスターをインストールして運用し、Kubernetes のワーカーのクラスターを構成する必要があります。Kubernetes クラスターで高可用性を実現するには、異なる AZ 間で少なくとも三つの Kubernetes マスターを実行する必要があります。各マスターは、それぞれで対話し、障害が発生した場合に備え情報を共有し、負荷分散、フェールオーバーを他のマスターに確実に実行するように構成する必要があります。そして、すべての設定と実行が完了しても、マスターとワーカーのソフトウェアのアップグレードとパッチ適用を行う必要があります。これらは運用の専門家とその努力必要としており、我々はお客様からもっと簡単にしてほしいと言われてきました。 Amazon EKS の紹介 Amazon Elastic Container Service for Kubernetes (Amazon EKS) は、Kubernetes クラスターの専門家でなくてもKubernetesを AWS 上で簡単に使用することができるフルマネージドサービスです。開発者の皆様にこのサービスを気に入ってもらえるいくつかの点があります。まず、Amazon EKS は オープンソースの Kubernetes を基に実行されますので、Kubernetes コミュニティの全ての既存のプラグインとツールを使用できます。Amazon EKS 上で動作するアプリケーションは、オンプレミスのデータセンターやパブリッククラウドで動作しているかにかかわらず、標準の Kubernetes 環境で動作するアプリケーションと完全に互換性があります。つまり、コード変更なしで簡単にあなたの Kubernetes アプリケーションを […]

Read More

AWS Fargate: サービス概要

AWS上でコンテナを運用管理するお客様の手助けになるようAmazon Elastic Container Service(Amazon ECS)をアナウンスしたのは約3年前でした。Amazon ECSを利用することで、クラスター管理やオーケストレーション用ソフトウェアを運用することについて心配する必要がなくなり、大規模に高い可用性を持ってワークロードを稼働させることが可能になりました。 2017/11/29、AWSは AWS Fargateをアナウンスしました。下回りとなるインスタンス群の管理をせずとも、コンテナを基本的な計算単位として利用することができる技術です。Fargateをご利用いただくことで、コンテナを動かすためにクラスター内の仮想マシンのプロビジョニング、設定やスケールを行う必要はもうありません。Fargateは現在Amazon ECSから利用可能ですが、将来的にはAmazon Elastic Container Service for Kubernetes (Amazon EKS)もサポートする予定です。 Fargateでは、アプリケーションの要件に対して最も近い設定を柔軟に行うことができ、請求は秒単位となります。 Amazon ECSとFargate Amazon ECSは、コンテナを大規模に稼働させることを可能にします。また、このサービスは、VPC networking、load balancing、IAM、Amazon CloudWatch LogsやCloudWatch metricsといったAWSプラットフォームとネイティブに連携しています。これらの連携により、ECSタスクはAWSプラットフォームの中でファーストクラスオブジェクトとして扱うことができます。 タスクを起動するためには、適切なインスタンスタイプと数を選び、Auto Scalingを設定し、パフォーマンス向上のためにクラスターのサイジングを管理するといったクラスターの立ち上げが必要ですが、Fargateでは、それらを全て忘れることができ、アプリケーションの定義、権限やスケーリングについてのポリシー設定に専念することができます。

Read More