Amazon Web Services ブログ

本日、Amazon SageMaker 向けの最新ビルトインアルゴリズムとして、Random Cut Forest (RCF) のサポートを開始しました。RCF は監視を伴わない学習アルゴリズムで、データセット内の異常なデータポイントや外れ値を検出します。このブログ記事では異常検出に関する問題について紹介するとともに、Amazon SageMaker RCF アルゴリズムについて説明し、実世界のデータセットを使った Amazon SageMaker RCF の使用法を実演します。 異常検出は極めて重要です たとえば、いくつもの街の区画で長期間にわたり交通量のデータを収集してきたとします。交通量が急増した場合、その背後にあるのが何らかの事故なのか、一般的なラッシュアワーなのかを予測することはできますか?交通量の急増が 1 区画だけで起きているのか、複数の区画で起きているのかは重要ですか? また、1 つのクラスターにあるサーバー間にネットワークのストリームがあるとします。そのインフラストラクチャが目下 DDoS 攻撃を受けている最中なのか、またはネットワークアクティビティの増加が良好な状態であるかを自動的に見極めることはできますか? 異常とは、 よく系統立てられた、またはパターン化されたデータから逸脱する観測結果を意味します。たとえば、異常は時系列データ上の想定外の急増、周期性のある中断、または分類不能なデータポイントを示します。データセットにそうした異常なデータが含まれる場合、「通常」データはシンプルなモデルで記述されることから、機械学習タスクの複雑性を急激に増大させる可能性があります。 Amazon SageMaker Random Cut Forest アルゴリズム Amazon SageMaker Random Cut Forest (RCF) アルゴリズムはデータセット内の異常なデータポイントを検出するための監視を伴わないアルゴリズムです。特に、Amazon SageMaker の RCF アルゴリズムは 1 件の異常スコアと各データポイントを関連付けます。異常スコアの値が低ければ、データポイントが「通常」であることを意味し、スコアの値が高ければ異常があることを意味します。「低い」と「高い」の定義はアプリケーションによって異なりますが、慣例から平均スコアから 3 つの値が逸脱していた場合、異常と見なされます。 Amazon SageMaker の RCF アルゴリズムの処理ではまず、トレーニングデータからランダムなサンプルを取得することから始めます。トレーニングデータが 1 台のマシンに入りきらない可能性がある場合は、レザボアサンプリングと呼ばれる手法で、データストリームから効果的にサンプルを抽出します。その後、ランダムカットフォレストの各構成要素ツリーにサブサンプルが配分されます。各サブサンプルはそれぞれの葉が単独のデータを含む 1 つのバウンディングボックスを表すように分割されるまでランダムにバイナリツリーへと分割されていきます。入力データポイントへ割り当てられた異常スコアは、そのフォレストの平均的な深度に対し、逆比例します。詳細については、SageMaker […]

Amazon SageMaker が最近、事前構築型の TensorFlow と MXNet コンテナを使用したローカルトレーニングのサポートを開始しました。  Amazon SageMaker はフレキシブルな機械学習プラットフォームで、機械学習モデルを本番環境に、より効果的に構築、トレーニング、およびデプロイできるようにします。  Amazon SageMaker トレーニング環境は管理されています。つまり、即時のスピンアップ、アルゴリズムコンテナのロード、Amazon S3 からのデータ取得、コードの実行、Amazon S3 への結果の出力、クラスターの解体などの処理について、ユーザーが考える必要がなくなります。  トレーニングを別々のマルチノード GPU クラスターにオフロードできる機能は大きな利点です。毎回新しいハードウェアをスピンアップすることは、反復性とセキュリティの面で良いことですが、アルゴリズムコードのテストやデバッグの際には無駄に回転させることになります。 Amazon SageMaker の深層学習コンテナを使用することで、普段通りに TensorFlow または MXNet のスクリプトを書けるようになります。しかし、今後は、これらをトレーニングとホスティングの両方の目的で、管理されている本番グレードの環境にプレビルトコンテナとしてデプロイすることになります。  これまで、こうしたコンテナは Amazon SageMaker 固有の環境でのみ使用できました。  最近これらのコンテナがオープンソース化されました。これにより、ユーザーは自身のアルゴリズムをローカルでテストするためにわずか 1 行のコードを書き換えるだけで、自分の作業環境にコンテナを取り込み、Amazon SageMaker Python SDK でカスタムコードビルトを使用できるようになるのです。  つまり、毎回新しいトレーニング用またはホスティング用のクラスターが構築されるのを待つことなく、自分の作業を反復したり、テストしたりできることを意味します。  小さなデータセットのサンプルをローカルで反復し、フルデータセットを分散してトレーニングするためにスケーリングするのが機械学習の一般的な手法です。  多くの場合、プロセス全体を再度書き込むことになるため、バグが生じないのを願うばかりです。  Amazon SageMaker のローカルモードでは、コードを 1 行書き換えるだけで、ローカルと分散されたマネージドトレーニング間をシームレスに切り替えられます。その他の動作はすべて同じです。 Amazon SageMaker Python SDK のローカルモードは、TensorFlow または MXNet エスティメーターの 1 […]

企業が直面している大きな課題に、信頼性の高い抽出と変換、およびロード (ETL) プロセスをいかに確立し維持するかがあります。なぜならこれらは、データから値と正しい情報を取り出すのに重要だからです。従来の ETL ツールは使用するにも複雑で、実装、テスト、およびデプロイに数カ月かかることもあります。ETL ジョブを作成すると、データフォーマットとスキーマが頻繁に変更され、新しいデータソースを常に追加する必要があるため、それらを維持するのは骨が折れる作業となります。 一方で　AWS Glue は、データの発見、分類、クリーニング、充実化、および移行に関連する未分化の重労働の多くを自動化できるため、データ分析により時間を費やすことができます。AWS Glue はデータソースを自動的にクロールし、データフォーマットを識別して、適切なスキーマと変換を提案します。つまり、データフローを手作業でコーディングする必要がないのです。 AWS Glue は、分析用にデータセットを移行および変換する作業を簡素化するよう設計されています。普及している Apache Spark 実行フレームワーク上に構築したサーバーレスの完全管理型サービスです。 2 部構成となっている移行についてのブログシリーズのパート 2 では、AWS CloudFormation スタックの構築を行います。このスタックを使用して、AWS Glue が Amazon Aurora MySQL データベースとの間でデータを抽出、変換、そしてロードする方法を解説します。ソースとして Amazon Aurora MySQL を、そして AWS Glue のターゲットとして Amazon Simple Storage Service (Amazon S3) を使用します。Amazon Athena を使って簡単なクエリとレポートを行うために、Amazon S3 に集中型データレイクを構築する方法についても説明します。Amazon Redshift をデータウェアハウス戦略の構築のために、データターゲットとして使用することもできます。この記事では、AWS Glue を開始し、必要に応じてカスタマイズするためのフレームワークを説明します。 AWS Glue には、3 つのコアコンポーネントがあります。 […]

アプリケーション レイヤ プロトコル ネゴシエーション(Application Layer Negotiation:ALPN)は、TLSの拡張機能として、TLSサーバに接続しているクライアントがProtocolNameListという追加パラメータを渡すことを可能とします。ProtocolNameListは、クライアントが通信に使用したいアプリケーションプロトコルの優先順位付きリストです。 AWS IoT Coreでは、ALPN TLS extensionを使用して、ポート443でTLSクライアント認証を使用してMQTT経由でデバイスを接続できるようになりました。なぜこれが便利なのかについては、このブログ記事を参照してください。

AWS Deep Learning AMIs for Ubuntu および Amazon Linux に、Amazon EC2 インスタンスでのより高いパフォーマンスのために最適化された Chainer 4 と Microsoft Cognitive Toolkit (CNTK) 2.5.1 が付属します。AMI はまた、5 つの追加リージョンでも利用できるようになり、対応の AWS リージョンが 16 か所に拡大します。 Chainer 4 で深層学習を加速する この AMI にはアマゾンの コンピューティング最適化 C インスタンスをサポートするインテルアーキテクチャのコンボリューションや ReLU (rectified linear units) ルーチンといった深層学習処理を加速するために構成された Intel’s Deep Learning Extension Package (iDeep) 搭載の Chainer 4 が付属します。 たとえば、開発者は CPU 専用の EC2 […]

こんにちは、マーケティングの鬼形です。 先日 (2018/4/17) 開催しました AWS White Belt Online Seminar「クラウドジャーニー (AWSへの移行プロセスと移行ツール)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

こんにちは、スタートアップ担当SAマネージャーの篠原英治(@shinodogg)です。 AWSをご利用中のStartup企業で働くエンジニアのコミュニティであるAWS Startup Tech Communityで、先日12回目のMeetupをAmazon目黒オフィスで開催しました。今回も実践的な発表が多く、カジュアルな雰囲気の中でも深い内容になりました。 今回、写真はSORACOMのエンジニア山下さんに撮っていただきました！ – カウルを支える技術の作り方: Housmart 高松智明さん 中古マンションの購入を検討している方であれば一度は見たことがカウル。HousmartのCTOとして技術選定を行ってきた高松さん。 機械学習技術やその為のGPUインスタンスの活用など、参考になるお話をありがとうございました！ – Under the Hood of SORACOM: ソラコム 松本悠輔さん 会場の挙手アンケートで知らない人がいない存在のソラコムのソリューションアーキテクトの松本さんからSORACOMの裏側のお話をしていただきました。 SORACOMがいかにシンプルさと拡張性を高く保っているかが垣間見えるようなステキなお話でしたし、Q＆Aの時間ではサポートエンジニアの山下さんからもご回答いただきました。写真撮影に質問の回答に、と多大なご協力をいただきましてありがとうございました！ – aperzaを支える技術: アペルザ 山崎篤史さん 製造業にまつわる膨大なデータを整理していく上でのクローラーやデータストアなどについてアペルザで取り組んでいることを構成図を交えてご紹介してくれました。 – Kubernetes 入門者が 3 か月で本番導入するためにやったこと: freee 坂井学さん 本番環境でDockerを使うのもはじめての状態から、Kubernetesを導入までもっていったfreeeのSRE坂井さんからは、新しい技術を導入する上でのメンタル面も含めた実践的なお話をしていただきました。 – AWS Summit Tokyo 2018の楽しみ方: AWS 塚田朗弘 来るAWS Summit TokyoではAWS JapanのStartupチーム総出で様々なアクティビティを予定していますが、AWSのStartup担当SAの塚田からStartup Architecture of the year 2018 も含めたFinTech, Data Lake, Containerといった領域に関する注目のセッションをご紹介させていただきました。 – Networking Amazon […]

Amazon QuickSight を使って視覚化を構築し、ビジネスに関する詳細な情報に素早くアクセスできる方法をまだ知らないなら、ぜひこれを読んでみてください。この記事では、サンプルデータセットを使用して、よくあるシナリオをいくつか紹介しながら、データを接続して高度な分析を行い、ウェブブラウザやモバイルデバイスから結果にアクセスする方法についての概要を解説します。 次の視覚化は、下のリンクで公開されているデータセットから作成されています。その前に、サポートするデータソース、ファイル形式、および典型的な QuickSight ワークフローを見ながら、視覚化をいろいろ構築してみましょう。 Amazon QuickSight はどのデータソースをサポートしていますか? この記事の公開時には、次のデータメソッドを使用できます。 次のような AWS データソースに接続します。 Amazon RDS Amazon Aurora Amazon Redshift Amazon Athena Amazon S3 Excel スプレッドシートまたはフラットファイル (CSV、TSV、CLF、および ELF) をアップロードする Teradata、SQL Server、MySQL、PostgreSQL などのオンプレミスデータベースに接続する Salesforce や Snowflake などの SaaS アプリケーションからデータをインポートする Spark や Presto のようなビッグデータ処理エンジンを使用する このリストは現在も増え続けています。詳細については、「サポートされているデータソース」を参照してください。 瞬時に答える SPICE は Amazon QuickSight の超高速並列インメモリ計算エンジンで、アドホックなデータの視覚化用に特別に設計されています。SPICE は、高可用性のために設計されたシステムにデータを保存します。このシステムでは、削除するまで保存されます。直接データベースクエリを使用するのではなく、SPICE にデータをインポートして、データベースデータセットのパフォーマンスを向上します。データセットに必要な SPICE の容量を計算するには、「SPICE 容量の管理」を参照してください。 一般的な Amazon […]

Amazon Polly は、文章をリアルな音声に変換できるサービスです。話すことができるアプリケーションを構築可能な、まったく新しいカテゴリの音声対応製品です。Amazon Polly API は、AWS HIPAA 準拠サービスです。 何十種類もの生き生きとした音声を多数の言語に変換でき、最適な音声を選択して、音声対応アプリケーションを構築できます。例として、英国最大の診断およびヘルスケアソリューション提供企業 Inhealthcare 社 の事例があります。同社は Amazon Polly を使用して、英国の全人口向けに遠隔ホームモニタリングをサポートする、デジタルインフラストラクチャを構築しました。この事例では、サービスを大規模に展開するために自動電話システムが最適なコミュニケーションチャネルとして使われています。なぜならば、インターネットにアクセスできなかったり、スマートフォンを持っていなくても、ほぼすべての人がサービスを使用できるからです。また多くの高齢者の方々にとって、従来の電話機は使い勝手がよく、安心して使えます。Inhealthcare 社が患者様のケアを提供するために、どのように Amazon Polly を使用しているのかについて、詳しくはブログ投稿を参照してください。 HIPAA 準拠は、Amazon Polly を利用できる、すべての AWS リージョンに適用されます。PHI を保存、処理、転送するように AWS HIPAA 準拠サービスを設定する方法に関する情報およびベストプラクティスについては、アマゾン ウェブ サービスの HIPAA セキュリティおよびコンプライアンスのためのアーキテクチャ設計ホワイトペーパーを参照してください。 AWS Business Associate Addendum (BAA) をご使用の場合は、Amazon Polly で医療情報 (PHI) が含まれているテキストから音声を作成することができます。AWS BAA を使用していない場合や AWS HIPAA で規制されているワークロードの実行に関するその他のご質問があれば、お問い合わせください。 今回のブログ投稿者について Binny Peh は AWS Machine Learning […]

本日、 Amazon の新規汎用最上位ドメイン (gTLD) 、 .BOT の公開をお知らせします。.BOTドメイン をお使いいただくと、ボットにIDやポータルを提供することができます。フィットネスボット、 slack ボット、 e コマースボットなど、 .BOT のドメインを通じて全機能に簡単にアクセス可能です。「ボット」という言葉は .COM TLD 内で2016年、4番目に登録数の多いドメインキーワードであり、ひと月に6000以上の登録がありました。.BOT ドメインではお客様のボットへのインターネット ID の付与、そして SEO パフォーマンスの向上をご提供します。 本記事の執筆時点では .BOT ドメインの価格は $75 〜、 Amazon Lex 、Botkit Studio 、 Dialogflow 、 Gupshup 、 Microsoft Bot Framework 、 Pandorabots のようなサポートツールを使って検証し公開する必要があります。今後さらに多くのツールのサポートを予定していますが、お気に入りのボットフレームワークがサポート対象外の場合はお気軽にご連絡ください。contactbot@amazon.com ここからは、whereml.bot のポッドを例にドメインの登録とプロビジョニングの流れを紹介します。その後でホストゾーンとして Amazon Route 53 にドメインを設定する手順を見ていきましょう。では始めましょう。 .BOT ドメインの登録 まず https://amazonregistry.com/bot で新規ドメインを入力し、magnifying classをクリックして入力したドメインが利用可能かどうかを確認します。利用可能であれば、登録ウィザードに進みます。 次に、ボットの認証方法を選ぶ画面になります。私は全てのボットを […]