Amazon Web Services ブログ

AWS IoT Device Management フリートインデックスを使用してデバイスの集約情報を取得する

AWS IoT Device Management のフリートインデックスは、機器の集約情報を取得するために、GetStatistics、 GetPercentiles、GetCardinality の3つのAPIを提供開始しました。これらのAPIを使用すると、次のような質問にすばやく回答できます。AWSIoTに接続しているデバイスの割合はどのくらいですか?デバイスのバッテリーレベルの最大値、最小値、平均値はいくつですか?OSバージョンは現在何種類ありますか? この投稿では、データセンターの温度監視シミュレーションについて説明し、フリートインデックス APIを使用してデバイスの集約情報を取得する方法を理解します。データセンターには、サーバーの温度を監視する多くのセンサーがあります。GetStatistics によって最小/最大/平均温度を取得する方法を学習します。GetPercentiles を使って温度の90パーセンタイルを取得します。また、GetCardinality を使って異常な温度のサーバーラックの数を取得します。

Read More

Kinesis と DynamoDB をイベントソースにする際の AWS Lambda の新しいスケーリング管理

AWS Lambda は、Amazon Kinesis Data Streams と Amazon DynamoDB ストリームのイベントソースで利用可能な、新しいスケーリングパラメータを導入しました。Parallelization Factor は、各シャードにおける Lambda 関数呼び出しの同時実行数を増やす設定を可能にします。このパラメータは、デフォルトでは 1 です。これによって、処理されるレコードの順序を保証しながら、シャード数を過大にスケールすることなく、より高速なストリーム処理が可能になります。

Read More

SAP on AWSと組み合わせたデータレイクの構築

データはユビキタスであり、企業内で指数関数的に生成されています。ただし、このデータの大半はダークデータです。ガートナー用語集では、ダークデータを、組織が日常のビジネス活動において収集、処理、保存する情報資産として定義しています。しかし、それらは一般に他の目的に使用できません。他の目的には、分析、ビジネス関係、直接収益化などがあります。 Thermo Fisherなど、私たちのお客様の中には、既に企業全体で生成されたデータを利用して、AWS上でスケーラブルかつセキュアなデータプラットフォームを構築しています。それらのデータには、医療機器や様々なソフトウェアアプリケーションが含まれます。このデータプラットフォームは、医学研究者や科学者が患者の治療を研究し、協力し、改善するのに役立っています。詳細は、Thermo Fisherのケーススタディを参照してください。 SAP on AWSのケーススタディで明らかなように、数千のお客様がビジネスクリティカルなSAPワークロードをAWS上で実行し、ビジネスにおける多大なメリットを享受しています。SAPワークロードをAWSに移行するビジネスケースは明瞭に説明されていますが、多くのお客様は、データと分析のプラットフォームを活用した変革に関する強力なビジネスケースを構築することも検討しています。私たちは、SAPデータと非SAPアプリケーションデータを一緒に活用する方法を検討していることをお客様から直接聞いています。お客様は、AWS上でデータと分析のプラットフォームを構築するために、インターネット接続可能なデバイスで生成されたリアルタイムストリーミングデータを必要としています。 この記事では、SAPアプリケーションでサポートされる様々なデータ抽出パターンについて説明します。また、AWSサービスとその他のサードパーティソリューションを使用してSAPからAWS上のデータレイクにデータを抽出するためのリファレンスアーキテクチャについても説明します。

Read More

Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索

現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベースは存在しない (Seldom can one database fit the needs of multiple distinct use cases.)」ということです。よって開発者は多数の目的別に構築された(purpose-built)データベースを利用しながら、非常に多くの分散されたアプリケーションを構築しています。そういう意味では、今日の開発者はアプリケーションが最適になるように、ワークロードに最適なツールを選択できるように、複雑なアプリケーションをより小さい塊(ピース)に分割しています。しかし、データストアとアプリケーションの数が増えてくると、複数のデータソースをまたぐ分析処理というのはより難しくなってきています。 本日、Amazon Athena でサポートするフェデレーテッド・クエリについて発表することを嬉しく思います。 Amazon Athena のフェデレーテッド・クエリ フェデレーテッド・クエリは、データアナリスト、エンジニア、データサイエンティストに対して、リレーショナルデータベース、非リレーショナルデータベース、オブジェクトデータ、カスタムデータソースに保存されているデータをまたがるSQLを実行することが可能な Amazon Athenaの新機能です。Athena のフェデレーテッド・クエリによって、お客様は単一のSQLクエリの発行でオンプレミスやクラウド上で稼働する複数のデータソースに対してデータ分析することが可能です。Athena は、AWS Lambda で実行するデータソースコネクタ(Data Source Connectors)を利用してフェデレーテッド・クエリを実行します。AWSは、Amazon DynamoDB, Apache HBase, Amazon DocumentDB, Amazon Redshift, Amazon CloudWatch Logs, Amazon CloudWatch Metrics, […]

Read More

re:Invent 2019に向けて 2019年11月後半アップデートのまとめ 第四弾

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019に向けて11月15日以降発表されたアップデートを、第一弾、第二弾、第三弾とお届けしてきました。今回は第四弾、11月26日(米国時間基準)分をお届けします。1日分ですが非常に多くのアップデートがありました。2018年はまとめが第三弾で終わったのですが、今年はまだ続きます。 reinvent2019 11月26日 Amazon RDS for SQL ServerからAmazon CloudWatchへログがPublishできるようになりました サポートされるログには、エージェントログとエラーログの両方が含まれます。これらのログをCloudWatchにパブリッシュすると、データベースのエラーとアクティビティに対する継続的な可視性を維持することができます。たとえば、CloudWatchアラームを設定して、エラーログに記録される頻繁な再起動について通知することができます。同様に、SQLエージェントジョブに関連するSQL Serverエージェントログに記録されたエラーまたは警告に対してアラームを作成することができます。 AWS IoT Greengrass 1.10が、Dockerコンテナのサポートとデータストリームの管理をリリースしました DockerコンテナをAWS IoT Greengrassデバイスにシームレスにデプロイして実行できるようになり、開発環境、エッジロケーション、クラウド全体でアプリケーションの移植性が実現します。Docker / Open Container Initiative(OCI)コンテナイメージを構築でき、DockerイメージはAmazon Elastic Container Registry(Amazon ECR)、Docker Hub、プライベートDocker TrustedなどのDocker Container Registriesに保存できますレジストリ(DTR)。この更新により、AWS IoT Greengrassを使用して、アプリケーションをAWS Lambda関数、Dockerコンテナ、またはその両方としてデプロイすることができるようになりました。また、IoTデバイスからデータストリームを収集、処理、エクスポートし、デバイス上のデータのライフサイクルを管理して開発時間を最小限に抑えることができます。データストリームを処理し、ローカルデータ保存ポリシーを管理し、デバイスデータをAmazon KinesisやAWS IoT AnalyticsなどのAWSクラウドサービスに送信する標準メカニズムが提供されます。 Application Auto ScalingがAppStream 2.0のターゲットトラッキングをサポートしました アプリケーションのAuto Scalingターゲットトラッキングを使用して、Amazon AppStream 2.0フリートをスケーリングできるようになりました。ターゲットトラッキングを使用すると、アプリケーションを動的にスケーリングして、ターゲットメトリックを自動的に維持できます。フリートのターゲットキャパシティ使用率メト​​リックを指定するだけで、ターゲットトラッキングはフリートキャパシティを自動的に増減して、ターゲットキャパシティ使用率を維持できます。従来のステップスケーリングまたはスケジュール済みスケーリングポリシーも引き続きご利用いただけます。 AWS ChatbotがSlackからのコマンドの実行をベータサポートしました Slackチャンネルから診断情報を取得し、Lambda関数を呼び出すなどを実装することで、イベントに迅速に対応できます。デスクトップまたはモバイルデバイス上のSlackから使用できる、AWSコマンドラインインターフェイス構文を使用したコマンドをサポートしています。コマンドの実行に加えて、SlackのCloudWatchアラーム通知で[ログを表示]ボタンをクリックするだけで、Amazon CloudWatchログを取得することもできます。また、AWS Chatbotは、AWS LambdaおよびAmazon […]

Read More

[AWS Black Belt Online Seminar] Amazon Managed Streaming for Apache Kafka (Amazon MSK) 資料及び QA 公開

先日 (2019/11/20) 開催しました AWS Black Belt Online Seminar「 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。   20191120 AWS Black Belt Online Seminar Amazon Managed Streaming for Apache Kafka (Amazon MSK) from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. MSK の Kafka クラスタを構成する broker インスタンスにログインしたり、システムログを確認する方法はありますか? A. Broker インスタンスはフルマネージドで提供しており、SSH ログインするといったことはできません。Amazon Managed Streaming for […]

Read More

AWS IoT Device Management のセキュアトンネリングの導入、IoTデバイスのトラブルシューティングを行う新しい安全な方法

AWS IoT Device Managementには、企業があらゆる業界向けのIoTアプリケーションを構築できる幅広いツールがあります。ただし、デバイスへのリモートアクセスに関しては、通常、顧客がMQTTトピックを介して制御メッセージを送信するか、デバイスのシャドウを更新してからデバイスエージェントにそれらのメッセージに対してアクションを実行させる必要があります。これは、ハードウェア開発チームがこれらの特定の制御機能をデバイスのファームウェアに明示的に組み込む必要があることを意味します。 これらの事前構成されたフロー以外でのデバイス管理は、デバイスがファイアウォールの内側にある場合に特に注意が必要です。通常のデスクトップコンピューターでは、リモート管理アプリケーションをインストールするか、VNCなどのツールを使用するだけでよいため、これは些細な問題です。一方で、これまで、この種の機能をIoTデバイスに実装することは困難でした。

Read More

AWS Transfer for SFTP でビッグデータと分析のエンゲージメントをサポート

Leap Beyond は、ビッグデータに特化した、多国籍の専門コンサルティング会社です。当社の目標は、中規模から大規模までのエンタープライズが、データを使用してビジネスや利益に大きな影響を与える変化をもたらすことができるように支援することです。私は業務執行社員という役職柄、当社のエンジニアがクライアントとどのように連携して安全かつ効率的にデータを移動、変換しているかということに特別な責任と関心を持っています。 Leap Beyond のようなデータを主に扱うコンサルティング会社にとってよくあるシナリオは、クライアントがオンプレミスまたはクラウド環境から AWS クラウドへの機密データの移行を検討中であるというものです。クライアントがデータを AWS にコピーしたい理由はいくつもあります。こうしたクライアントがオンサイトでこの作業に取り組むのは困難な場合があります。必要なツールや処理能力が自社の環境内で利用できなかったり、自社のデータストアへのアクセス権が環境外のサービスにはなかったりするためです。このようなクライアントは多くの場合、未加工の情報ではなく、加工済みデータを提供したいと考えているでしょう。機密データを貴社 (コンサルティング会社) の管理下にある Amazon Simple Storage Service (Amazon S3) バケットにダンプできるようにすることを最も単純な目標として掲げるこうしたシナリオはすべて実現可能です。貴社は、処理、分析、および ML に多数のサービスを利用しながら、必要なときにコンピューティングリソースをスピンアップできます。AWS Transfer for SFTP を使用することで、顧客は貴社の S3 バケットにデータを安全にアップロードするための追加オプションを利用できるようになりました。本稿ではここから、このオプションを活用する方法について説明していきます。 Amazon S3 を使用した AWS Transfer for SFTP セキュリティ保護可能なデータストアである Amazon S3 は非常に堅牢です。保管中のストレージのコストやデータの送受信にかかるコストは低く、ゼロに近づいています。保管時にサーバー側で透過的な暗号化を提供する便利な方法や、クライアント側の暗号化を行う極めて便利な方法があります。アクセス制御や監査をきめ細かく行うことができ、誤操作でもしない限り、アクセスを厳しく制限できます。不注意にバケットをインターネットに公開したままにしておくという古き悪しき時代は、遠い過去へと過ぎ去りました。今では、パブリックアクセス用に S3 バケットを公開するには意図的な操作が必要です。Amazon S3 ブロックパブリックアクセスの使用についての詳細をご確認ください。または、短い AWS ブログ記事 Learn how to use two important Amazon S3 security-features: Block Public […]

Read More

Amazon Redshift で空間的なデータを活用

本日、Amazon Redshift が新しいネイティブなデータ型である GEOMETRY のサポートを開始したことを発表いたしました。この新しいデータ型では、二次元の地理的データに関する取り込み、保存、クエリが行えるようになり、さらに、これらのデータを空間関数で処理できるようになります。地理的データ (地理参照されたデータともいいます) では、地球上に位置する場所に関係性のあるデータを取り扱います。座標、海抜、住所、都市名、郵便番号、行政および社会経済学的な境界線などは、すべて地理的データの一例です。 GEOMETRY 型の導入により、テーブルの列に記録した緯度や軽度といった座標データが簡単に操作できるようになります。これらのデータは、空間関数を使うことで、他の地理的データへの変換や組合せが可能です。これは抽象型のデータです。つまり直接インスタンス化はできず、ポリモーフィックです。このデータが実際にサポートする (そして、テーブルの列で使用される) のは、ポイント、ラインストリング、ポリゴン、マルチポイント、マルチラインストリング、マルチポリゴン、および地理的コレクションなどになります。今回追加の新機能では、テーブル内に GEOMETRY 型のデータ列が作成できることに加えて、従来の COPY を使って、行で区切られたテキストファイルから地理的データを取り込むこともできます。このファイルは、地理的データの表現のために標準的に使用される形式である、16 進数の Extended Well-Known Binary (EWKB) 形式での記述を想定しています。 この新しいデータ型の働きをお見せするために、ドイツのベルリンで活動するパーソナルツアーコーディネーターを想定し、その顧客からは、訪問してみたい観光名所のリストが手渡されているというシナリオを考えてみます。コーディネーターとしての任務は、いくつかの観光名所にちょうど良く囲まれていて、適切な料金の宿泊先を見つけることです。地理的データは、こういったシナリオに解決策を与えるためには最適です。まずは、宿泊先の地域が限定できるように、各観光名所に対応した一連のポイントを組合せ、1 つ、ないしは複数のポリゴンを形成します。こうしておくと、これらのポリゴンと対応するデータを、いくつかの宿泊先と対応するデータと組合せて、結果に示すことができるようになります。こういった空間情報へのクエリを、Redshift では 1 秒以内に実行することが可能ではありますが、実際のところ CPU にとっては、かなりコストがかかる処理でもあります。 シナリオのサンプルデータ このシナリオでの動作をお見せする前に、まずは、ベルリン市内に関する各種の地理的データを入手する必要があります。始めに、旅行サイトにある「見ておくべき場所トップ X」のページを使いながら、いくつかの観光名所について、その住所と緯度/経度の座標などを取得します。宿泊先に関しては、ウェブページ http://insideairbnb.com/get-the-data.html にある Airbnb のデータを、Creative Commons 1.0 Universal “Public Domain Dedication” のライセンスの下で利用させてもらいました。これに、Creative Commons Attribution 3.0 Germany (CC BY 3.0 DE) のライセンスにより、ベルリンの郵便番号を加えていきます。このデータは、Amt für Statistik Berlin-Brandenburg さんから提供されたものです。 […]

Read More

Amazon Rekognition カスタムラベルの発表

本日、アマゾン ウェブ サービス (AWS) は、Amazon Rekognition カスタムラベルを発表しました。これは Amazon Rekognition の新機能で、お客様が独自の特別な機械学習 (ML) ベースの画像分析機能を構築し、特別なユースケースに統合する固有のオブジェクトやシーンにを検出します。たとえば、画像から機械部品を検出するために Amazon Rekognition を使用するお客様は、小さなセットのラベル付きの画像でモデルをトレーニングして、MLの専門知識なしでも「ターボチャージャー」や「トルクコンバーター」を検出できるようになります。モデルを最初からトレーニングすることには、特別な機械学習の専門知識と何百万の高品位のラベル付き画像が必要ですが、その代わりにお客様は Amazon Rekognition を使用してカスタムラベルを使用して、独自の画像分析ニーズのために最先端のパフォーマンスを達成することができるようになりました。 Amazon Rekognition カスタムラベルをより良く理解するために、このサービスの新機能をしようする方法の例を順番に見ていきましょう。 自動車修理工場は Amazon Rekognition ラベル検出 (オブジェクトとシーン) を使用して、在庫の機械部品を分析し、ソートすることができます。これらのすべての画像について、 Amazon Rekognition は正常に「機械部品」を返します。 Amazon Rekognition カスタムラベルを使用して、お客様は独自のカスタムモデルをトレーニングして、ターボチャージャーやトルクコンバーターなどの特定の機械部品を識別できます。最初に、お客様は識別したいそれぞれの特定の機械部品のために、わずか 10 個程度のサンプル画像を収集します。 このサービスコンソールを使用して、お客様はこれらの画像をアップロードして、ラベル付けすることができます。 この段階では、機械学習の専門知識は必要ありません。お客様はコンソール内のプロセスの各ステップを通じて導かれます。 データセットが準備でき、完全にラベル付けされると、お客様は Amazon Rekognition カスタムラベルをワンクリックだけで動作させることができます。Amazon Rekognition は各ユースケースに対して、自動的に最も効率的な機械学習技術を選択します。 トレーニングを完了すると、お客様は仮想化にアクセスして、各モデルのパフォーマンスを確認して、それらのモデルをさらに向上する方法に対する助言を得ることができます。 当社の例の自動車修理工場では、大規模な画像処理のための完全マネージド型の使用が簡単な API ビルドを使用して、画像の分析を開始して、名前で特定の機械部品を検出したり、在庫管理を自動化することができるようになりました。 Amazon Rekognition オブジェクトとシーンの検出では「機械部品」を返す一方で、いくつかのラベル付きの画像でトレーニングされた Amazon Rekognition カスタムラベルは、「ターボチャージャー」、「トルクコンバーター」、および「クランクシャフト」を返します。 NFL や […]

Read More