Amazon Web Services ブログ

  あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中から注目すべきデータセットを探索したり、取り出したりすることができます。複数のデータセットのそれぞれに必要な情報のサブセットが含まれている場合には、それらを統合させて注目すべき情報を取り出し、Amazon SageMaker ノートブックでそのままシームレスにデータの分析と可視化を行うことができます。 概要 Amazon SageMaker は、機械学習の機能を提供するフルマネージドサービスです。Amazon SageMaker を使用することで、データサイエンティストや開発者は、機械学習モデルを短期間で容易に構築、トレーニングすることができます。また、用意したモデルを実稼動も可能なホステッド環境に直接導入することもできます。また、Jupyter のオーサリング環境が統合されており、データサイエンティストの初期のデータ探索や分析、モデル構築に便利です。 Jupyter ノートブックが Amazon SageMaker ノートブックのインスタンス上で実行されているため、Amazon S3 のデータセットを容易にノートブックに読み込み、処理することができます。ただ、最初に対象とするデータセットのロケーションを指定する必要があります。データレイクの規模が大きい場合、解析対象のフィールドを含んだデータセットを正確に特定することは、難しい作業になります。個々のデータセットのサイズが大きくなればなるほど、ノートブックに読み込ませる作業が現実的なものではなくなります。今日における一般的なデータセットのサイズに対し、ノートブックのディスク容量やメモリは限られているのです。また、よくあるケースとして、必要な情報が複数のデータセットに分散していることもあります。この場合は、データの探索がさらに難しいものとなります。必要なデータセットのロケーションを特定し、統合させてフィルタリングする必要が生じるのです。つまり、非常に規模の大きなデータセットを統合させて、ノートブックに読み込ませようとすると、生産性が損なわれることになります。データセットがさらに大きくなれば、そのような作業はもはや現実には不可能です。このようなデータの結合や探索に要する作業は、データサイエンティストの作業時間の 80% を占めています。機械学習プロジェクトを支障なく遂行するには、このような負担を軽減することが不可欠です。 多くの大企業が、データレイクの管理に AWS Glue を使用しています。AWS Glue はフルマネージド型のデータ抽出、変換、ロード (ETL) サービスです。このサービスを使用すれば、データに対する分類、クリーニング、エンリッチ、信頼性の高い方法でのデータストア間でのデータ移行が行えます。AWS Glue データカタログと称される一元化されたメタデータリポジトリが備えられており、データレイク内のデータをエンリッチおよび分類した上で、検索やクエリが実行できるようになっています。 データカタログ内のメタデータを使用することで、任意のデータセットの名前、ロケーション、コンテンツ、属性での指定が行えます。 Amazon S3 のデータレイクで、非常に大きなデータセットのフィルタリングや集計を行う場合や、他のデータセットと統合される可能性がある場合には、Amazon EMR 上で Apache Spark を使用するのが最適です。Apache Spark はクラスタコンピューティング用のフレームワークで、Python、Java、Scala などの複数の言語での分析をサポートする組み込みモジュールを備えています。企業のデータレイクによくみられる大規模データセットを扱ううえで、Amazon EMR で Spark を動作させることによるスケーリングの効果は絶大です。データセットが AWS Glue データカタログで定義されていれば、データセットへのアクセスがさらに容易になります。また、AWS […]

AWS パートナー の Onica によるゲストポストです。Eric Miller (VP of Solutions Development for Onica) が書きました。 AWSのDevOpsコンピテンシーパートナーとして、Onicaはお客様に対し、様々な自動化への挑戦をサポートしてきました。最も重要なツールの一つに AWS Systems Manager があります。AWS Systems Manager はお客様プロジェクトにおけるリソースとアプリケーションの管理をシンプルにし、かつAWSのインフラをセキュアに、信頼性高く、スケーラブルに運用することを容易にしてくれます。Systems Managerは多くのメリットをお客様に提供します。リソースのグループ化、インスタンスの自動メンテナンス、そしてオンプレミスの物理サーバや仮想サーバの管理も。こういった機能によってお客様のビジネス課題の多くを解決することができます。たとえば: 問題検知にかかる時間の短縮 問題に対する対応の自動化（解決までにかかる時間を秒単位にすることも可能） AWSインフラストラクチャの可視性とコントロール性の改善 セキュリティとコンプライアンス対応の自動化 AWS Systems Managerが持つツールのうち、最も有用な機能の一つが AWS Systems Manager Automation です。これは AWS のマネージドサービスで、Automation Jobs を使用して、よく実行される操作やシステムメンテナンスタスクをシンプルにします。Systems Manager の 自動化ドキュメント (Automation documents) で利用可能なアクションは最近まで 15 個でしたが、今回 AWS Systems Manager Automation のチームは 3 つのオフィシャル Automation アクションを公式にサポートしました。これらの新しいアクションは […]

みなさん。こんにちは。アマゾン ウェブ サービス ジャパン プロダクトマーケティング エバンジェリストの亀田です。 AWS Innovate Japan 2018、楽しんでいただいておりますでしょうか。AWS Innovate Japan 2018 は8月28日から10月10日まで開催されている大規模オンラインカンファレンスです。 そして、明日9月4日は IoT Live Day です。IoT トラックの登壇者に対して直接質問を投げることができます。IoTをこれから始めるかたも、すでに使っていらっしゃる方も、ぜひこれを機に疑問を解消してしまいましょう。12時15分より開催されます。 IoT を、ビジネス課題の解決に本格的に導入を検討されているお客様が増え、工場、ビル、店舗、製品など、あらゆる方面での適用が始まっています。。一方で、IoT を導入する上では、センサーやエッジ、ネットワーク、データ収集、双方向通信、デバイス管理、データ分析・可視化など様々な要素を検討する必要がございます。本トラックでは、IoT で基本となる各機能について、事例などをふまえつつ、AWS が提供する IoT ソリューションについて紹介いたします。本トラックを通して見ていただくことで、広範囲な IoT 技術を学ぶことができます。 IoT はまだ企業にとって新しい技術群を含み、その実験などが必要となるケースも多くあります。実験の実施においては、初期費用不要で、必要な分だけ IT リソースをプロビジョニングできるクラウドは非常に相性がよく、IT リソースを自前で抱えるオンプレミス型 IT では時間のかかった投資への計画及びその正当性の精査、等の時間を短縮することができます。 IoT トラックでは、6セッション用意されています。 オープニングとその次のセッションでは AWS がご提供している IoT ソリューションについてのご紹介をします。 そして、そして Amazon FreeRTOS という電力消費の少ない小型エッジデバイスのプログラミング、デプロイ、保護、接続、管理を簡単にするマイクロコントローラー向けオペレーティングシステム、大量に存在するデバイスの効率的な管理を実現するサービスである AWS IoT Device Management、AWS Greengrass というエッジコンピューティングを実現させるサービス、連続的かつ大量に蓄積されるデータの効率的な解析を実現させる、AWS IoT Analytics […]

音声やテキストは使わずに、見つけたいものを表示することでビジュアル検索を行う。古いことわざにもあるように、「絵は千語の価値がある」と言います。 たいていは、実際の例や画像を示す方が、検索エンジンが効率的に探し出せる言葉で説明するよりも簡単です。専門的な用語を使って説明するだけの知識や理解が十分でないユーザーもいるからです。他にも、画像か動画データを使って検索を使いたいが、ビジュアル検索だと、取り込みが早すぎてラベルやメタデータを正確に割り当てられない、という場合があります。 ビジュアル検索を使って、ハードウェアストアで交換部品を探す、という小売業での例を見てみましょう。専門知識がないと難しい用語を使って部品を識別するのではなく、深層学習を利用できるビデオカメラの AWS DeepLens に部品をただ見せるだけです。するとデバイスは、視覚的に類似している部品の一覧と、それらが置いてある店舗内の場所を提示するのです。似たようなアイテムを購入したい場合、顧客が自宅に AWS DeepLens デバイスを持っていれば、家にあるアイテムをデバイスに見せるだけで済みます。ビジュアル検索の利点は、アイテムを示すだけで済むところでしょう。バーコード、QR コード、製品名、製品メタデータなど、他のデータは一切必要ありません。

 Amazon SageMaker はエンドツーエンドのプラットフォームで、データサイエンティストや開発者が使用して、大規模に機械学習 (ML) モデルの構築、トレーニング、チューニング、デプロイを行っています。Amazon SageMaker を使用すると、コンソールのワンクリックで、またはシンプルな API コールで、モデルのトレーニングを開始できます。トレーニングが完了して、モデルをデプロイする用意が整うと、Amazon SageMaker コンソールのワンクリックで起動が可能です。Amazon SageMaker のホスティングサービスを使用してモデルを本番環境にデプロイした後は、永続的な HTTPS エンドポイントが得られ、ここで機械学習モデルを利用し、InvokeEndpoint API アクションを介して推論を提供できます。 Amazon SageMaker InvokeEndpoint API アクションは、新しい HTTP ヘッダー、CustomAttributes のサポートを開始しています。この新しいヘッダーを利用すると、Amazon SageMaker エンドポイントでホストされているモデルに渡された推論のリクエストに関して、追加情報を提供できます。また、Amazon SageMaker エンドポイントでホストされているモデルが返した推論のリクエストに対するレスポンスで、追加情報を含めることもできます。たとえば、CustomAttributes ヘッダーを利用すると、リクエストの追跡に利用可能なアプリケーション固有の識別子であるトレース ID や、サービスエンドポイントが処理するようプログラムされたその他のメタデータを提供できます。 CustomAttributes ヘッダーで提供する情報は、逐語的に送られた不透明な値です。InvokeEndpoint の呼び出しは、AWS Signature Version 4 を使用して認証されます。カスタム属性は 1024 字を超えることはできません。また、表示可能な US-ASCII 文字で構成される必要があります。この US-ASCII 文字 については、セクション 3.3.6.Field Value Components of the Hypertext Transfer Protocol […]

データベース管理者は、ハードウェアのプロビジョニング、オペレーティングシステムやデータベースのインストールとパッチ適用、バックアップの管理に多くの時間を費やしています。この整理されていない重労働によって仕事を続けることはできますが、投資収益率の高いより高いレベルの取り組みに費やす時間が奪われることがよくあります。長年、Amazon Relational Database Service (RDS) はこうした厄介な仕事の面倒をみて、クラウドでの MariaDB、Microsoft SQL Server、MySQL、Oracle、 PostgreSQL の使用を簡単にしてきました。AWS の顧客は、RDS の高可用性、スケーラビリティ、耐久性、管理のシンプルさをとても気に入っています。 今週の初めに、RDS のメリットをオンプレミスの仮想化環境、ハイブリッド環境、そして VMware Cloud on AWS へ導入できるように進めていることを発表しました。わずか数回のクリックにより数分で、新しいオンプレミスデータベースのインスタンスをプロビジョニングし、オンプレミスやクラウドベースのストレージにバックアップを作成し、オンプレミスまたは AWS クラウドで実行される読み取りレプリカを確立することができます。vSphere の Amazon RDS が OS やデータベースのパッチを処理し、シングルクリックでオンプレミスのデータベースを AWS へ移行できます。 Amazon RDS on VMware の内側 開発チームから詳しく話を聞いて、Amazon RDS on VMware の詳細について学びました。以下は、私が学んだことの簡単なまとめです。 アーキテクチャ – vSphere の環境は、インターネットまたは AWS Direct Connect による接続で実行されている VPN トンネルによって AWS に接続されている実質的にプライベートでローカルな AWS アベイラビリティゾーン (AZ) […]

膨大なサイバーセキュリティに関する努力にもかかわらず、フィッシング攻撃は依然として増加しています。フィッシングとは、加害者が評判の良い企業であるように偽り、個人を騙してパスワードやクレジットカード番号などの個人情報を公表させようとする詐欺の一形態です。最も一般的なソーシャルネットでの不正行為です。  最近の Verizon データ漏えい/侵害調査報告書によると、現在のすべての違反の 93％ はフィッシングメールから始まっています。 フィッシング攻撃を阻止する従来のソリューションは、ブラックリスト、IP レピュテーション、迷惑メールフィルタをクラウドにデプロイして、既知のフィッシングサイトを停止します。この報告書によると、報告されているフィッシングキャンペーンは 17％ に過ぎないため、未報告または新しいフィッシングサイト (ゼロデイフィッシングとも呼ばれる) からの攻撃は停止されません。そして、攻撃が検出されても、攻撃が検証されてブラックリストデータベースに登録されるまでに数分から数時間かかることがあります。 ニューヨークに本拠を置くスタートアップの Pixm は、コンピュータビジョンを使用して、ますます増大するフィッシングの問題に新たなアプローチを取ります。Pixm の深層学習コンピュータビジョンベースのエンドポイントセキュリティソリューションは、デスクトップまたはラップトップのブラウザ内で、クリックした時点でリアルタイムでフィッシング攻撃を検出します。 「マルウェアに重点が置かれていますが、すべてはフィッシングメールから始まります。ところが、まだフィッシングのセキュリティにそれほど重点が置かれているわけではありません」と、Pixm の共同創設者兼最高製品責任者である Arun K. Buduri 氏は説明します。「フィッシング攻撃を阻止するためのソリューションとしてはブラックリストと IP レピュテーションが好まれていますが、どちらも反応的であり事後的です。」 Pixm が 2016 年の米国での選挙でブロックした攻撃のヒートマップでは、攻撃の 70% 近くが米国の中小企業や大学でホストされていました。 Pixm のソリューションは、デスクトップにウイルス対策ソフトウェアをインストールするのと同じ方法で、エンドポイントのデバイスにデプロイされます。顧客がブラウザでフィッシングリンクを開くと、Pixm のソフトウェアがページを視覚的に分析し、コンピュータビジョンによるオブジェクト検出と空間分析を実行してフィッシング攻撃かどうかを判断し、1 秒以内に終了させます。たとえば、加害者が大手銀行の顧客をターゲットとし、正式な銀行のウェブサイトと同じように見えるフィッシングサイトを作成することがよくあります。 Pixem は、Apache MXNet 深層学習フレームワークで作成した深層学習コンピュータビジョンモデルを使用して、ウェブサイトのスクリーンショットを継続的に分析します。たとえば、Pixm はオブジェクト検出を使用してモデルをブランドのロゴでトレーニングし、銀行のログインページのロゴが本物かどうかを検出します。 Pixm は、Caffe、Caffe2、TensorFlow、Keras などの多数の深層学習フレームワークを評価しましたが、Amazon EC2 コンピューティングインスタンスを使用して複数のオペレーティングシステムと高性能のモデル推論をサポートしていることから、最終的に MXNet を選択しました。また、MXNet は、Amazon EC2 P3 インスタンスで利用できるグラフィック処理ユニット (GPU) を使用して、大量の画像データを素早く大規模でトレーニングすることも可能にしています。 「4 か月間で、顧客のために 800 […]

Amazon DynamoDB について初めてお話したのは 2012 年の早い時期で、内容は次のようなものでした。 大きく考えてほしい。大きく夢を見て、知らないあいだにユーザー数を 0 から何千、何億までスケーリング可能なデータ集約型アプリケーションを思い描いて (それからビルドして) 欲しい。良い結果を願っていますが、そのためにはじゃまになるデータベースは要りません。皆さんはご自分のアプリケーションとユーザーベースに集中して、その運用はわれわれにお任せください。 あれから 6 年経って、DynamoDB は毎日何兆ものリクエストを処理する、100,000 以上の AWS カスタマーに最適な NoSQL データベースとなっています。 私はときどき振り返って、最近のローンチをまとめるのが好きです。かつてない速さでイノベーションを起こし続けているため、皆さんが何か重要なものを見逃してしまうことが絶対ないようにしたいという思いもありますし、個別のリリースをより大きなコンテキストに置いて考えたいということもあります。 エンタープライズ向け DynamoDB における最近の新機能の多くは、エンタープライズ顧客のニーズに応えるものでした。以下に例を挙げます。 グローバルテーブル – 昨年 11 月に発表された機能で、グローバルテーブルは 2 つ以上の AWS リージョンに存在し、リージョンをまたいですばやく自動的にレプリケーションします。 暗号化 – 2 月に発表された機能で、オーバーヘッドなしで保存中にテーブルを暗号化できます。 ポイントインタイムリカバリ – 3 月に発表された機能で、連続バックアップがテーブルを 1 秒刻みで以前の状態に復元する機能をサポートし、最大 35 日前まで戻ることができます。 DynamoDB サービスレベルアグリーメント – 6 月に発表された SLA では、DynamoDB テーブルで期待されるアベイラビリティを定めています。 アダプティブキャパシティー – 新機能ではありませんが、最近の人気ブログ記事で […]

Amazon FreeRTOS はアプライアンス、フィットネストラッカー、業務用センサー、スマートユーティリティメーター、セキュリティシステム、その他などの電源接続型デバイスのマイクロコントローラ用オペレーティングシステムです。小型の低電力デバイス向けにデザインされた Amazon FreeRTOS は、AWS IoT Core などのクラウドサービスと通信するためのライブラリ、また、AWS Greengrass を実行するためのよりパワフルなエッジデバイス (さらに詳しくは、Announcing Amazon FreeRTOS – Enabling Billions of Devices to Securely Benefit from the Cloud) で FreeRTOS のカーネルを拡張します。 ふんだんにローカルメモリーとストレージを用意でき、オンデマンドでコードをロードして実行できる、よりパワフルな汎用コンピュータとは異なり、マイクロコントローラは工場で読み込まれたファームウェアで駆動し、デバイスの寿命を通じてバグフィックスや新機能などで更新されます。一部のデバイスでは現場で、実行中に更新を受け入れるものもありますが、サービスから切断し、取り外して手作業で更新しなければならないものもあります。これは大きな障害で、不便な上、費用もかかります。時間がかかることは言うまでもないでしょう。 いつものことながら、私たちはお客様のためにより良いソリューションを提供したいと考えています。 無線による更新 現在、私たちは現場のデバイスに更新を提供するために使用できる無線の交信メカニズムを追加することで、Amazon FreeRTOS がさらに便利になるよう取り組んでいます。この機能のもっとも重要な特性について以下にまとめました。 セキュリティ – 更新情報は統合コード署名者による署名が可能で、TLS 保護接続全体でターゲットデバイスにストリーミングし、その後、不正や無許可、詐欺的な更新から守るために対象デバイス上で確認することができます。 耐障害性 – デバイスが使いものにならなくなるいわゆる「ブリックド」 (レンガ化した) デバイスの状態を引き起こす可能性のある、問題を含む更新からデバイスを守るために、更新プロセスは回復力があり、一部の更新を処理して反映させ、デバイスを操作可能な状態にできる必要があります。 スケーラビリティ – 取り扱いデバイス群はときに、何千台、何百万台にもなる可能性があり、更新目的で複数のグループに分けることができます。そうした管理は AWS IoT Device Management が行います。 節約 – マイクロコントローラの RAM […]

.NET Framework用のカスタムCodeBuildビルド環境の作成方法について説明している、この素晴らしいブログを書いたMicrosoftプラットフォーム担当シニア・ソリューション・アーキテクト、Greg Eppelに感謝します。 — AWS CodeBuildは、ソースコードをコンパイルし、テストを実行し、展開可能なソフトウェアパッケージを生成する、フルマネージドなビルドサービスです。 CodeBuildは、Android、Go、Java、Node.js、PHP、Python、Ruby、Dockerなどのプログラミング言語とランタイムのためのビルド環境を提供します。 CodeBuildは、Microsoft Windows Serverプラットフォーム用のビルドもサポートしています。これには、Windows上の.NET Core用にあらかじめパッケージ化されたビルド環境も含まれます。アプリケーションで.NET Frameworkが使用されている場合は、独自のDockerイメージを使用して、Microsoftの.NET Frameworkクラスライブラリを含むカスタムビルド環境を作成する必要があります。この手順が必要な理由については、よくある質問を参照してください。この記事では、.NET Frameworkアプリケーション用のカスタムビルド環境を作成し、この環境を使用するようにCodeBuildを設定する手順を説明します。