Amazon Web Services ブログ

これは、PolicyBazaar.com の最高技術責任者兼チーフプロダクトオフィサーである、Ashish Gupta 氏のゲストブログ記事です。彼ら自身の言葉によれば、「PolicyBazaar.com はインドで最大の保険マーケットプレイスであり、顧客は購入前に複数の保険商品を比較することができます。」 2008 年の創業以来、Policybazaar.com は、インドが保険を購入する方法を再定義した新しい FinTech エコシステムを開拓してきました。私たちの 10 年間の長い旅の間、課題は私たちの絶え間ない進化と進歩の内在的な部分でした。  私たちのビジネスが成長するための核心は、消費者の問題を迅速かつ効率的に解決することです。私たちには哲学があります — つぼみのうちに摘み取る！2017 年、事業規模が拡大しました。平均取引件数が、以前の月当たり 12 万件から月当たり 25 万件に増加したのです。これは、私たちが以前よりもより多くの消費者を管理し、以前よりも多くの消費者の問題を解決したことを意味しました。2017 年、約 1 億件の顧客からの電話問い合わせを管理しました。 明らかに、この成長に追いつくために革新する必要があります。従来のツールを使って顧客の期待に応えることは不可能です。 したがって、新しい最先端の技術革新を採用することが最重要です。TTS (text-to-speech) ソリューションである、Amazon Polly が、日常の課題を解決するのに最適なツールでした。Amazon Polly の採用により、顧客サービスを次のレベルに引き上げ、より大きな成果性と高い生産性を実現しました。現在、Amazon Polly は次の方法で使用しています。 音声ブロードキャスト 重大な音声アラート 受信通話 Amazon Polly は、多目的用途に適した事前定義の応答の共有から、「ドキュメントが保留中です」や「アップロードに問題がありました」などの顧客の問い合わせにシフトすることを可能にして、プロセスと効率に差をつけました。Amazon Polly では、システムがお客様を識別し、個人ベースで質問を解決する音声通話を生成します。 つまり、特定の問題に重点を置いて関連性のあるメッセージを送信できるようになったのです。一例があります。「住所の証明を提出していただきありがとうございます。ただし、お客様が提出された所得の証明は間違っています。3 ヶ月の銀行口座明細書、または 3 ヶ月分の給料明細を送っていただけますか？」Amazon Polly への移行により、シームレスなカスタマーエクスペリエンスが増加し、より実践的なコミュニケーションが促進されます。 Amazon Polly と社内 IVR 通話サービスである PBee Connect を統合して以来、特に対処の通話がある場合に、顧客関与の大幅な改善が見られました。 私たちの場合、4 […]

EC2 スポットフリートは実に画期的です。EC2 インスタンスタイプからアベイラビリティーゾーンに至るスポットインスタンスのフリートを、容量を見つけたり料金を監視するためのカスタムコードなしに開始できるようになります。アプリケーションに意味のある単位で対象の容量 (フリートのサイズ) を設定し、スポットフリートを作成して、自分の代わりにフリートの管理を任せることができます。私たちのお客様はあらゆる種類のスポットフリートを作成しています。たとえば、ある金融サービスのお客様は 10 個の異なる EC2 インスタンスタイプで、モンテカルロのシミュレーションを実行しています。このお客様は日常的に大量の vCPU のリクエストを作成し、可能な限り安価に大容量のアクセスを提供するという作業をスポットフリートに任せています。 EC2 フリート 本日、私たちは EC2 フリートを使ったスポットフリートで、自分たちが開拓した「一度設定するだけであとはお任せ」のモデルを拡張し、一般でも利用できるようになりました。これはユーザーにフリートを作成する新しいビルディングブロックで、EC2 オンデマンド、リザーブド、スポットの各インスタンスの組み合わせを 1 度の API コールで構成したものです。皆さんの必要なもの、容量、インスタンスまわりのことを聞かせてください。私たちがまとめて面倒見ます。私たちは足場組み的なコードを書く必要なく、必要に応じてインスタンスを開始、管理、監視、およびスケールします。 ユーザーはインスタンス、vCPU、またはアプリケーション指向の単位を条件にフリートの容量を指定し、また、スポットインスタンスで処理すべき容量の程度を指定できます。アプリケーション指向の単位を使用することで、ユーザーはアプリケーションのニーズを直接マップする方法で、各 EC2 インスタンスタイプの関連する性能を指定できます。3 つの容量指定オプション (インスタンス、vCPU、アプリケーション指向単位) はいずれも重量値として知られています。 この機能を使ってフリートにインスタンスを容易に管理させる方法が多数見つかるはずです。また、チームの近い将来のロードマップもきっと皆さんのお役に立つと思います (これについてはすぐに詳しくお話しします)。 EC2 フリートの使用 ステートレスのウェブサービス、ビッグデータクラスターを実行しているのであれ、継続的な統合パイプラインを実行しているのであれ、この機能を活用できる方法は多数あります。今日は、ゲノムのプロセスに EC2 フリートをどのように使用できるかについて説明しますが、これはリスクの分析、ログのプロセス、イメージのレンダリングといったワークロードと似ています。最近の DNA シークエンサーは毎日数テラバイトの未加工データを生成する可能性があり、これを適宜意味のある情報へプロセスするには、大量の処理能力が必要になります。ここでは従属的な分析タスクを並行的に走らせることで、大量のデータを超高速で処理してくれるワーカーノード「グリッド」のデプロイ方法をご紹介します。 ゲノム解析プロジェクトでは、数百、ときには数千のサーバー上で新しいパイプラインを実験し、試すために、EC2 の提供する伸縮性を使用できます。EC2 を利用すれば、必要なときすぐに必要な量のコアにアクセスでき、お支払いいただくのは使用した分のみです。今日からは RunInstances API または Auto Scaling グループをグリッドのオンデマンドおよびリザーブドインスタンスポーションに使用する必要があります。最高のコストパフォーマンスを得るために、もしパワフルなセカンダリ分析にスポットインスタンスを追加するのであれば、異なるインスタンスタイプをもつスポットフリートか複数の Spot Auto Scaling グループを追加する必要もあります。最後に、複数の API と Auto Scaling グループでスケーリングの決定を自動化するには、グリッドの進捗とバックログに定期的にアクセスする Lambda […]

AWS SCT がLinux、UNIX、Windows (LUW) 用の IBM Db2 からAWS上でサポートされているオープンソースデータベースにオブジェクトを変換できるようになりました。これには Amazon RDS for PostgreSQL と RDS for MySQL、Amazon Aurora (MySQL and PostgreSQL compatible) を含みます。同時に、AWS DMS のソースとしての IBM Db2 for LUW の一般リリースも発表します。この発表は、AWS DMS を使用して Db2 for LUW から AWS DMS でサポートされているすべてのターゲットに移行できることを意味します。これらの機能は、Db2 for LUW からクラウドへの移行に役立ちます。

本日、Amazon SageMaker 向けの最新ビルトインアルゴリズムとして、Random Cut Forest (RCF) のサポートを開始しました。RCF は監視を伴わない学習アルゴリズムで、データセット内の異常なデータポイントや外れ値を検出します。このブログ記事では異常検出に関する問題について紹介するとともに、Amazon SageMaker RCF アルゴリズムについて説明し、実世界のデータセットを使った Amazon SageMaker RCF の使用法を実演します。 異常検出は極めて重要です たとえば、いくつもの街の区画で長期間にわたり交通量のデータを収集してきたとします。交通量が急増した場合、その背後にあるのが何らかの事故なのか、一般的なラッシュアワーなのかを予測することはできますか?交通量の急増が 1 区画だけで起きているのか、複数の区画で起きているのかは重要ですか? また、1 つのクラスターにあるサーバー間にネットワークのストリームがあるとします。そのインフラストラクチャが目下 DDoS 攻撃を受けている最中なのか、またはネットワークアクティビティの増加が良好な状態であるかを自動的に見極めることはできますか? 異常とは、 よく系統立てられた、またはパターン化されたデータから逸脱する観測結果を意味します。たとえば、異常は時系列データ上の想定外の急増、周期性のある中断、または分類不能なデータポイントを示します。データセットにそうした異常なデータが含まれる場合、「通常」データはシンプルなモデルで記述されることから、機械学習タスクの複雑性を急激に増大させる可能性があります。 Amazon SageMaker Random Cut Forest アルゴリズム Amazon SageMaker Random Cut Forest (RCF) アルゴリズムはデータセット内の異常なデータポイントを検出するための監視を伴わないアルゴリズムです。特に、Amazon SageMaker の RCF アルゴリズムは 1 件の異常スコアと各データポイントを関連付けます。異常スコアの値が低ければ、データポイントが「通常」であることを意味し、スコアの値が高ければ異常があることを意味します。「低い」と「高い」の定義はアプリケーションによって異なりますが、慣例から平均スコアから 3 つの値が逸脱していた場合、異常と見なされます。 Amazon SageMaker の RCF アルゴリズムの処理ではまず、トレーニングデータからランダムなサンプルを取得することから始めます。トレーニングデータが 1 台のマシンに入りきらない可能性がある場合は、レザボアサンプリングと呼ばれる手法で、データストリームから効果的にサンプルを抽出します。その後、ランダムカットフォレストの各構成要素ツリーにサブサンプルが配分されます。各サブサンプルはそれぞれの葉が単独のデータを含む 1 つのバウンディングボックスを表すように分割されるまでランダムにバイナリツリーへと分割されていきます。入力データポイントへ割り当てられた異常スコアは、そのフォレストの平均的な深度に対し、逆比例します。詳細については、SageMaker […]

Amazon SageMaker が最近、事前構築型の TensorFlow と MXNet コンテナを使用したローカルトレーニングのサポートを開始しました。  Amazon SageMaker はフレキシブルな機械学習プラットフォームで、機械学習モデルを本番環境に、より効果的に構築、トレーニング、およびデプロイできるようにします。  Amazon SageMaker トレーニング環境は管理されています。つまり、即時のスピンアップ、アルゴリズムコンテナのロード、Amazon S3 からのデータ取得、コードの実行、Amazon S3 への結果の出力、クラスターの解体などの処理について、ユーザーが考える必要がなくなります。  トレーニングを別々のマルチノード GPU クラスターにオフロードできる機能は大きな利点です。毎回新しいハードウェアをスピンアップすることは、反復性とセキュリティの面で良いことですが、アルゴリズムコードのテストやデバッグの際には無駄に回転させることになります。 Amazon SageMaker の深層学習コンテナを使用することで、普段通りに TensorFlow または MXNet のスクリプトを書けるようになります。しかし、今後は、これらをトレーニングとホスティングの両方の目的で、管理されている本番グレードの環境にプレビルトコンテナとしてデプロイすることになります。  これまで、こうしたコンテナは Amazon SageMaker 固有の環境でのみ使用できました。  最近これらのコンテナがオープンソース化されました。これにより、ユーザーは自身のアルゴリズムをローカルでテストするためにわずか 1 行のコードを書き換えるだけで、自分の作業環境にコンテナを取り込み、Amazon SageMaker Python SDK でカスタムコードビルトを使用できるようになるのです。  つまり、毎回新しいトレーニング用またはホスティング用のクラスターが構築されるのを待つことなく、自分の作業を反復したり、テストしたりできることを意味します。  小さなデータセットのサンプルをローカルで反復し、フルデータセットを分散してトレーニングするためにスケーリングするのが機械学習の一般的な手法です。  多くの場合、プロセス全体を再度書き込むことになるため、バグが生じないのを願うばかりです。  Amazon SageMaker のローカルモードでは、コードを 1 行書き換えるだけで、ローカルと分散されたマネージドトレーニング間をシームレスに切り替えられます。その他の動作はすべて同じです。 Amazon SageMaker Python SDK のローカルモードは、TensorFlow または MXNet エスティメーターの 1 […]

企業が直面している大きな課題に、信頼性の高い抽出と変換、およびロード (ETL) プロセスをいかに確立し維持するかがあります。なぜならこれらは、データから値と正しい情報を取り出すのに重要だからです。従来の ETL ツールは使用するにも複雑で、実装、テスト、およびデプロイに数カ月かかることもあります。ETL ジョブを作成すると、データフォーマットとスキーマが頻繁に変更され、新しいデータソースを常に追加する必要があるため、それらを維持するのは骨が折れる作業となります。 一方で　AWS Glue は、データの発見、分類、クリーニング、充実化、および移行に関連する未分化の重労働の多くを自動化できるため、データ分析により時間を費やすことができます。AWS Glue はデータソースを自動的にクロールし、データフォーマットを識別して、適切なスキーマと変換を提案します。つまり、データフローを手作業でコーディングする必要がないのです。 AWS Glue は、分析用にデータセットを移行および変換する作業を簡素化するよう設計されています。普及している Apache Spark 実行フレームワーク上に構築したサーバーレスの完全管理型サービスです。 2 部構成となっている移行についてのブログシリーズのパート 2 では、AWS CloudFormation スタックの構築を行います。このスタックを使用して、AWS Glue が Amazon Aurora MySQL データベースとの間でデータを抽出、変換、そしてロードする方法を解説します。ソースとして Amazon Aurora MySQL を、そして AWS Glue のターゲットとして Amazon Simple Storage Service (Amazon S3) を使用します。Amazon Athena を使って簡単なクエリとレポートを行うために、Amazon S3 に集中型データレイクを構築する方法についても説明します。Amazon Redshift をデータウェアハウス戦略の構築のために、データターゲットとして使用することもできます。この記事では、AWS Glue を開始し、必要に応じてカスタマイズするためのフレームワークを説明します。 AWS Glue には、3 つのコアコンポーネントがあります。 […]

アプリケーション レイヤ プロトコル ネゴシエーション(Application Layer Negotiation:ALPN)は、TLSの拡張機能として、TLSサーバに接続しているクライアントがProtocolNameListという追加パラメータを渡すことを可能とします。ProtocolNameListは、クライアントが通信に使用したいアプリケーションプロトコルの優先順位付きリストです。 AWS IoT Coreでは、ALPN TLS extensionを使用して、ポート443でTLSクライアント認証を使用してMQTT経由でデバイスを接続できるようになりました。なぜこれが便利なのかについては、このブログ記事を参照してください。

AWS Deep Learning AMIs for Ubuntu および Amazon Linux に、Amazon EC2 インスタンスでのより高いパフォーマンスのために最適化された Chainer 4 と Microsoft Cognitive Toolkit (CNTK) 2.5.1 が付属します。AMI はまた、5 つの追加リージョンでも利用できるようになり、対応の AWS リージョンが 16 か所に拡大します。 Chainer 4 で深層学習を加速する この AMI にはアマゾンの コンピューティング最適化 C インスタンスをサポートするインテルアーキテクチャのコンボリューションや ReLU (rectified linear units) ルーチンといった深層学習処理を加速するために構成された Intel’s Deep Learning Extension Package (iDeep) 搭載の Chainer 4 が付属します。 たとえば、開発者は CPU 専用の EC2 […]

こんにちは、マーケティングの鬼形です。 先日 (2018/4/17) 開催しました AWS White Belt Online Seminar「クラウドジャーニー (AWSへの移行プロセスと移行ツール)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

こんにちは、スタートアップ担当SAマネージャーの篠原英治(@shinodogg)です。 AWSをご利用中のStartup企業で働くエンジニアのコミュニティであるAWS Startup Tech Communityで、先日12回目のMeetupをAmazon目黒オフィスで開催しました。今回も実践的な発表が多く、カジュアルな雰囲気の中でも深い内容になりました。 今回、写真はSORACOMのエンジニア山下さんに撮っていただきました！ – カウルを支える技術の作り方: Housmart 高松智明さん 中古マンションの購入を検討している方であれば一度は見たことがカウル。HousmartのCTOとして技術選定を行ってきた高松さん。 機械学習技術やその為のGPUインスタンスの活用など、参考になるお話をありがとうございました！ – Under the Hood of SORACOM: ソラコム 松本悠輔さん 会場の挙手アンケートで知らない人がいない存在のソラコムのソリューションアーキテクトの松本さんからSORACOMの裏側のお話をしていただきました。 SORACOMがいかにシンプルさと拡張性を高く保っているかが垣間見えるようなステキなお話でしたし、Q＆Aの時間ではサポートエンジニアの山下さんからもご回答いただきました。写真撮影に質問の回答に、と多大なご協力をいただきましてありがとうございました！ – aperzaを支える技術: アペルザ 山崎篤史さん 製造業にまつわる膨大なデータを整理していく上でのクローラーやデータストアなどについてアペルザで取り組んでいることを構成図を交えてご紹介してくれました。 – Kubernetes 入門者が 3 か月で本番導入するためにやったこと: freee 坂井学さん 本番環境でDockerを使うのもはじめての状態から、Kubernetesを導入までもっていったfreeeのSRE坂井さんからは、新しい技術を導入する上でのメンタル面も含めた実践的なお話をしていただきました。 – AWS Summit Tokyo 2018の楽しみ方: AWS 塚田朗弘 来るAWS Summit TokyoではAWS JapanのStartupチーム総出で様々なアクティビティを予定していますが、AWSのStartup担当SAの塚田からStartup Architecture of the year 2018 も含めたFinTech, Data Lake, Containerといった領域に関する注目のセッションをご紹介させていただきました。 – Networking Amazon […]