Amazon Web Services ブログ

AWSはコンシューマ製品や製造設備などのエッジデバイスにAWSのサービスを拡張し、インテリジェントに行動できるようにするべく必要な技術をお客様に提供するために、エッジコンピューティングの提供を継続的に進化させています。これにより、お客様は不要なコストやレイテンシーを回避し、エッジデバイスを安全かつ効率的に管理できるようになります。 AWS IoT Greengrassを利用して、AWSクラウドテクノロジーをエッジデバイスに拡張することにより、生成されたデータに対しローカルでアクションを起こしつつ、クラウドでリアルタイムのデータ分析、データの保存と可視化、機械学習モデルの精度の高いトレーニングを行うことが出来ます。AWSはエッジからクラウドまでのテクノロジーソリューションを提供するだけでなく、世界中のさまざまなデバイスプロバイダーと連携し、お客様の特定のユースケースに合わせて適切なハードウェアを選択できるようにしています。 NVIDIA DeepStream SDKは、インテリジェントなビデオ分析アプリやサービスを構築することを促進ためのフレームワークです。NVIDIA Jetson製品を使用することで、お客様はエッジで動作するデバイスにサーバークラスの計算性能を拡張することができます。Jetsonプラットフォーム上のTensorRT及び、CUDAと組み合わせてDeepStreamを使用することで、お客様は高スループットで低レイテンシのソリューションを構築し、展開することができます。 この記事では、NVIDIA DeepStream on JetsonモジュールとAWS IoTサービスを統合することで、AWSの技術とインフラストラクチャを使ってビジネス要件を満たす革新的なソリューションを構築する方法を紹介します。 ソリューション概要 この記事の目的は、NVIDIA DeepStream ApplicationsがAWS IoT CoreとAWS IoT GreengrassにMQTTメッセージを発行できるようにする方法の概要を提供することです。次の図は、この投稿でデモしたソリューションのアーキテクチャを示しています。 以下のセクションでは、DeepStream SDKのメッセージブローカーAPIをインストール及び設定し、AWS IoT CoreにMQTTメッセージを発行するまでの手順を順に説明します。(JetsonデバイスでAWS IoT Greengrassに対応させたい場合は、最後のセクション「AWS IoT Greengrassとの互換性」を参照してください)。 手順1：AWS DeepStreamアダプタのダウンロード 手順2(オプション)：共有ライブラリを手動でビルド 手順3：AWSのIoT認証情報でDeepStreamアプリをプロビジョニング 手順4：Jetsonデバイスへ証明書の転送 手順5：DeepStreamアプリを実行 ソリューションの手順を説明した後、AWS IoT RulesでIoTメッセージを処理する方法と、AWS DeepStreamアダプタをAWS IoT Greengrassに接続する方法を説明します。 前提条件 Administrator権限を持つAWSアカウント インターネットに接続できる、DeepStream SDKがインストールされたJetsonデバイス NVIDIAのドキュメントに記載されているようにGstreamerをインストールされている このソリューションの手順の便宜上、DeepStream SDKがインストールされているパスの環境変数を作成する方法を示します。<DeepStream SDK PATH>をJetsonデバイス上のDeepStream SDKのパスに置き換えてください。 $ export DEEPSTREAM_SDK_PATH=<DeepStream SDK […]

 Kubernetes を採用してアプリケーションをグローバルにデプロイし、機械学習モデルを大規模にトレーニングし、データセンターやクラウド全体において新技術の導入方法を標準化しているお客様が急速に増えてきているのを、AWS は目の当たりにしています。Kubernetes では、手作業による処理を置き換える自動ツールの構築、インフラストラクチャのあらゆる部分での運用パイプラインの実装、アプリケーションの実行方法をきめ細かく制御できるよう開発チームの支援が可能です。 従来であれば、Kubernetes アプリケーションは人間が読める静的 YAML データファイルで定義され、これを作成し管理するのは開発者の仕事でした。新しいアプリケーションの構築には、大量のボイラープレート設定を記述したり、他のプロジェクトからコードをコピーしたり、手作業で細かい調整やカスタマイズの適用を行ったりする必要があります。アプリケーションが進化し、チームが大きくにつれて、これらの YAML ファイルの管理は難しくなります。ベストプラクティスの共有または更新には、手作業による変更と複雑な移行が含まれます。 YAML はクラスターの望ましい状態を記述するための優れた形式ではありますが、ロジックや再利用可能な抽象化を表現するためのプリミティブはありません。Kubernetes のエコシステムには、これらの課題にさまざまな方法で対処する複数のツール (kustomize、jsonnet、jkcfg、kubecfg、kubegen、Pulumi など) があります。 これは、お客様が CloudFormation テンプレートを使用してアプリケーションを定義する際に直面する問題とまったく同じで、AWS CDK で解決できる問題でもありました。つまり、AWS CDK の同じ設計概念を適用して、すべての Kubernetes ユーザーを支援できるだろうと AWS は考えたのです。 そこで 2018 年に AWS クラウド開発キット (AWS CDK) を導入し、上記のような理由で YAML に代わるものを求めていた AWS CloudFormation のお客様をサポートしてきました。AWS CDK は、TypeScript、Python、Java、.NET などの使い慣れたプログラミング言語を使用して、クラウドインフラストラクチャを定義するためのオープンソースフレームワークです。AWS CDK を使って既存のツールとワークフローでインフラストラクチャを作成およびプロビジョニングできるようにすることで開発プロセスを簡素化できると、お客様には大変気に入っていただいています。AWS CDK はコンポーザブルなため、設定やボイラープレートの詳細を簡単に抽象化できる点も好評です。さらに、Kubernetes 空間に同じ概念と技術を適用できないかと、多くのお客様から尋ねられました。 Kubernetes 向け CDK の導入 今日は、CDK for […]

 典型的な分析パイプラインでは、データレイクにデータをインポートした後に通常実行する最初のタスクの 1 つは、データプロファイリングと高レベルのデータ品質分析です。これにより、データセットのコンテンツをチェックします。このようにして、テーブル名、列名とそのタイプなどの情報を含む基本的なメタデータを充実させることができます。 データプロファイリングの結果は、データセットに予期した情報が含まれているかどうか、およびそれらを分析パイプラインのダウンストリームでどのように使用するかを決定するのに役立ちます。さらに、これらの結果は、オプションのデータセマンティクス分析ステージへの入力情報の 1 つとして使用できます。 最新のデータレイクには膨大な量のさまざまなタイプのデータがあり、構造化されていない手動のデータプロファイリングとデータセマンティクスの分析は非現実的で時間がかかります。この記事では、AWS Glue データカタログメタデータの拡張として、データプロファイリングリポジトリの自動作成プロセスを実装する方法と、レポートシステムについて説明します。レポートシステムは、分析パイプラインの設計プロセスを支援するもので、信頼性の高いツールを提供することでさらに分析を行えるようにします。 この記事では、AWS Glue データカタログのアプリケーションデータプロファイラーについて詳しく説明し、実装例をステップバイステップで示します。 概要とアーキテクチャ 次の図は、このソリューションのアーキテクチャを示しています。 AWS Glue データカタログのデータプロファイラーは、Apache Spark Scala アプリケーションです。これにより、Amazon Deequ ライブラリのプロファイリング機能を使用して、データカタログ内のデータベースで定義されたすべてのテーブルをプロファイリングし、その結果をデータカタログと Amazon S3 バケットにパーティション化された Parquet 形式で保存します。Amazon Athena や Amazon QuickSight などの他の分析サービスを使用して、データをクエリして視覚化できます。 Amazon Deequ データライブラリの詳細については、「Deequ を使用した大規模なテストデータ品質」、または GitHub リポジトリのソースコードをご覧ください。 メタデータは、「データに関するデータ」と定義できます。テーブルのメタデータには、テーブル名とその他の属性、列の名前とタイプ、データを含むファイルの物理的な場所などの情報が含まれています。データカタログは AWS のメタデータリポジトリであり、Athena、Amazon EMR、Amazon Redshift などの他の AWS のサービスで使用できます。 データベース内のテーブルのメタデータを作成または更新した後 (テーブルへの新しいデータの追加など)、AWS Glue クローラを使用して、または手動でアプリケーションを実行して各テーブルをプロファイルできます。結果は、テーブルのメタデータの新しいバージョンとしてデータカタログに保存されます。保存された結果は、AWS Lake Formation コンソールからインタラクティブに表示したり、AWS Glue […]

 AWS は、コンテナ化されたアプリケーションを実行するための最良の選択肢を提供しています。Amazon Elastic Container Service (ECS) のリリースにより、AWS と深く統合されたフルマネージドの Docker 体験で、コンテナを大規模にデプロイできるようになりました。また、マネージド Kubernetes を提供する Amazon Elastic Kubernetes Service (EKS)、AWS Fargate のリリースにより、インフラストラクチャを管理せずにコンテナの実行ができるようになりました。私たちはお客様のためにこれからも革新を続けていきます。 Red Hat OpenShift を使用して AWS でコンテナを実行するお客様も多く、OpenShift をデプロイするにあたり AWS マネージドサービスで得られるセキュリティ、スケーラビリティ、信頼性を利用したいという声が頻繁に寄せられています。2008 年以降、Red Hat と AWS のコラボレーションにより AWS で簡単に Red Hat Enterprise Linux を実行できるようになりました。私たちはさらにコラボレーションを拡大し、今年の後半には新たにマネージド Red Hat OpenShift サービスをリリースする予定です。この新サービスでは、クラスターの作成と運用、AWS のサービスとのより深い統合、オンデマンド (1 時間単位) の請求、AWS を介した単一の請求書、AWS へのサポート問い合わせが、セルフサービスで利用可能です。この新しいマネージド Red Hat OpenShift サービスにより、AWS […]

 皆さんがどうだったのかは知る由もありませんが、私にとっての直近の 2 か月は、COVID-19 の蔓延によって、混乱状態にありました。 3 月上旬、デンマーク、フィンランド、スウェーデンに 1 週間の北欧旅行に出かけていた私のもとに、可能な場合には私と私の同僚が在宅勤務を行うようにとの連絡が Amazon からありました。私は旅行を終えてシアトルに戻り、この変化する時代に適応するために最善を尽くしました。 その後数週間で、予定されていた旅行のいくつかがキャンセルされたほか、同僚やお客様との対面の会議がすべて Amazon Chime ビデオ通話に置き換えられました。また、私たちは、AWS の最新情報をホームオフィスから記録することにしました。 個人的な側面では、私が楽しんでいたエンターテインメント、教育、スポーツイベントの多くがキャンセルされ、またはオンラインに移行されるのを目にしてきました。おそらく皆さんがしたのと同じように、私も、対面でのやり取りを要しない、家族や友人とつながるための新しい方法をすぐに見つけました。 私は、これらの突然の大規模な変化がお客様にどのような影響を与えているのかに関心を抱きました。同僚の Monica Benjamin 氏は、いくつかの異なる分野や業界の AWS のお客様に問い合わせ、私にこの投稿の原資料を提供してくれました。以下に私たちが学んだことを示します… Edmodo – 教育 教育テクノロジー企業である Edmodo は、幼稚園児から高校生までの生徒と教師向けのツールを提供しています。教師、生徒、および保護者がコミュニケーションとコラボレーションを行うための安全なスペースを提供するために、1 億 2,500 万人以上のメンバーが Edmodo を利用しています。パンデミックが欧州全体に拡大し始めるとともに、Edmodo のトラフィックは指数関数的な増加を開始しました。AWS は、世界中で教育が継続されるようにすべく、この新しい需要に応えるために迅速にスケーリングできるようにしました。Per Thomsen 氏 (エンジニアリング担当副社長) は次のように述べています。 3 月上旬には、ネットワークにつながる全世界での学習者数が数週間で急増し、トラフィックが大幅に増加しました。これにより、サイトのキャパシティーを 15 倍増加させる必要がありました。AWS と Amazon EC2 のインスタンスを使用することで、Edmodo は迅速にスケーリングし、この新しい需要を満たすことができ、遠隔教育のニーズに対応する中断のないサービスを教師と生徒に引き続き提供することができました。常に AWS が使える状態にあるので、伸縮自在で堅牢なコンピューティングキャパシティーを迅速にスケーリングできます。 BlueJeans – クラウドベースのビデオ会議 世界的な動画プロバイダーの […]

数万人もにおよぶ AWS のお客様が、機械学習 (ML) アプリケーションの構築を AWS に依存しています。AWS を使用して、Airbnb や Pinterest などのお客様は検索の推奨事項を最適化しています。また、Lyft や Toyota Research Institute は自動運転車プログラムを開発し、Capital One や Intuit は AI を利用した顧客アシスタントを構築およびデプロイしています。 AWS は、新興企業だけでなく大企業にも、さらに、初心者から ML 専門開発者に至るまで、あらゆるタイプのお客様に適した ML サービスと AI サービスを幅広くかつ深いポートフォリオで提供しています。このポートフォリオの基本的なコンポーネントには AWS のコンピューティング、ネットワーキング、ストレージサービスが含まれており、これらを使って、あらゆる規模の ML アプリケーションに強力かつコスト効率の高いインフラストラクチャを提供しています。 NVIDIA GPU を利用した、高性能で低コスト、さらに拡張性の高い深層学習向けコンピューティングインフラストラクチャ モデルのトレーニング時間は、そのモデルの反復性や迅速な精度の向上性に直接影響します。NVIDIA® GPU をベースにした高性能でコスト効率の高い Amazon EC2 インスタンスへのアクセスを提供することで、AWS は業界をリードしています。 Amazon EC2 P3 インスタンスを介して、NVIDIA V100 Tensor コア GPUを提供した最初のクラウドが AWSでした。さらに、Amazon EC2 P3dn.24xlarge […]

このブログ記事は、ロッテマートのビッグデータアナリストを務める Sungoh Park によるゲストの記事です。彼の説明によれば、「ロッテ株式会社の一部門であるロッテマートは、さまざまな食料品、衣料品、玩具、電子機器、およびその他の商品を販売する韓国の大手小売業者です」 今日の消費者は、多くの選択肢から日用品を購入できます。ハイパーマーケット、e コマース、コンビニエンスストア、スーパーマーケットなどの複数のチャネルで買い物をすることができます。韓国のハイパーマーケットであるロッテマートは、Amazon Personalize を使用してエンゲージメントを高め、新製品の購入率を高め、最終的に顧客忠誠心をさらに築き上げるために、頻繁にパーソナライズされた推奨事項を顧客に提供します。この記事では、Amazon Personalize を使用する前にロッテマートが直面した問題と、それらの問題がどのように製品の推奨事項を改善し、新製品の購入を増やしたかについて説明します。 ロッテマートは、韓国、インドネシア、ベトナムに位置する 189 店舗の 60 万人以上の買い物客にさまざまな食料品、衣料品、玩具、電子機器、その他の商品を販売しており、2019 年の売り上げは 51 億 USD にいたります。 ロッテマートは、独自のモバイルクーポンシステムである M クーポンを使用して、店内で節約を促すことにより顧客に買い物を薦めています。ハイパーマーケットの顧客は 1 回の訪問あたり平均 50〜200 USD を費やすため、顧客の訪問頻度がロッテマートのビジネスパフォーマンスに直接影響を及ぼします。 従来、M クーポンは顧客の購入履歴に基づいて推奨を行っていました。たとえば、顧客が以前その製品を購入したことがある場合、特定のブランドのインスタントラーメンを推奨します。クーポンをタイムリーに発行すると顧客がその品目を再購入するため、購入履歴に依存するルールベースの推奨事項は有意味です。これは繰り返し購入を促進し、顧客忠誠心を維持するのに役立ちましたが、新製品の需要を高めたり、進化する顧客のニーズに適応してパーソナライズされたユーザーエクスペリエンスを作成したりすることはありませんでした。新製品が毎日追加されるため、ハイパーマーケットは製品の需要を迅速に生み出さなければなりません。ただし、最適な顧客体験を提供するために、ハイパーマーケットでは顧客にすべての新製品を薦めることはできません。そのような戦術を使用すると、無関係な推奨事項が表示されるため顧客をすぐに圧倒する可能性があります。ロッテマートは、店舗のトラフィックを増やし、新製品の購入決定に影響を与える長期的な戦略を理解する必要がありました。ロッテマートは、M クーポンのユーザーに高度なキュレーションとパーソナライズされた製品の推奨を提供するソリューションとして Amazon Personalize を使用し、顧客忠誠心と新製品の需要を増やしました。 統計的アプローチを使用して大規模な推奨を生成する 従来、ロッテマートは、顧客プロファイルの販売履歴とユーザー設定を使用して、クーポンを介して対象製品を推奨していました。このプロセスは、再購入期間の間隔やお気に入りのブランドなどのターゲット条件が正しく設定されていたときに機能しましたが、各買い物客に個別化された推奨を宣伝するには不十分であったため、以前購入した製品に対してのみ機能しました。買い物客に新製品を勧めるとき、クーポンの使用率は、割引に対するユーザーの興味を示す指標となります。この場合、実際の購入率は非常に低い結果となりました。 さらに、新しいオファーに統計的ターゲットマーケティングエンジンを構築して維持するには時間がかかります。また、価値の高いビッグデータエンジニアリングリソースを浪費します。このプロセスでは、各製品の購入サイクルを手動で計算し、クーポンによる影響度を推定するために、関連製品との関連分析を実行する必要がありました。 時間をかけて行ったすべての努力と投資にもかかわらず、新製品の導入においての期待を満たすパフォーマンスを得ることはできませんでした。ロッテマートの場合、重要な指標は、表示されたクーポンの数、クーポンの使用状況、繰り返し購入とパーソナライズされたクーポンを使用した購入の購入率でした。比率が増えたということは、顧客の隠れたニーズを示している可能性があります。そのため、ロッテマートは Amazon Personalize の探索を始めました。 次の図は、ロッテマートの過去の統計的推奨事項によるアーキテクチャを示しています。 カスタマイズされた推奨事項による顧客体験の向上 ロッテマートは、従来の方法では需要を促進することが困難であった新製品を Amazon Personalize を使用することで、コスト効率よく推奨することができました。販促クーポンの反応率であるクーポンヒット率が上昇し、月次売上に大きく貢献し始めました。 即座で価値が実現されることもありました。以前のアプローチと比較して、Amazon Personalize は面倒で複雑な手動データ分析の必要性を排除し、開発時間を 50% 短縮しました。ロッテマートは事前定義されたインタラクション、ユーザー、および品目のデータセットを提供するだけで済むため、時間を短縮できました。エンジニアリングチームは、従来のアプローチと比較して半分の時間でテスト結果を生成できました。 ただし、時間の短縮は、Amazon Personalize が適切なソリューションであると判断するために必要な成功指標の一部にすぎません。彼らは、顧客に最適な顧客体験を保証しながら、新しい製品をより頻繁に利用し購入する必要がありました。Amazon […]

Imaya Kumar Jagannathan、Justin Gu、Marc Chéné、および Michael Hausenblas 今週の初めに、AWS は CloudWatch Container Insights での Prometheus メトリクスモニタリングの公開ベータ版サポートを発表しました。この記事では、ユーザーがプロビジョニングする AWS クラスター上の Amazon Elastic Kubernetes Service (EKS) および Kubernetes で、コンテナ化されたワークロードに新しい Amazon CloudWatch 機能を使用する方法をご紹介します。 Prometheus は Cloud Native Compute Foundation (CNCF) の卒業プロジェクトで、アクティブで大きなプラクティショナーコミュニティを持つ人気のオープンソースモニタリングツールです。Amazon CloudWatch Container Insights は、コンテナ化されたアプリケーションからの Prometheus メトリクスの検出と収集を自動化します。CloudWatch Container Insights は、カスタム CloudWatch メトリクスを自動的に収集し、フィルタリングして、AWS App Mesh、NGINX、Java/JMX、Memcached、および HAProxy などのワークロード用のダッシュボードで視覚化された集約メトリクスを作成します。デフォルトで、事前に選択されたサービスが 60 秒ごとにスクレイピングおよび事前集約され、クラスターおよびポッドの名前などのメタデータで自動的にリッチ化されます。 AWS では、OpenMetrics […]

標準リザーブドインスタンスまたは EC2 Instance Savings Plans の使用を計画している Amazon Elastic Compute Cloud (EC2) のお客様のための値下げについてお伝えできることを嬉しく思います。価格の変更はすでに発効しているため、ニュース RI または新しい EC2 Instance Savings Plans を購入する人は誰でも、値下げ後の価格を利用できます。 当社のエンジニアリングへの投資が、当社の規模および定評のあるキャパシティー管理能力と相まって、コスト削減の機会を特定し、その効果をお客様に享受いただくことを可能にしました。 ご利用いただける値下げは、選択したリージョン、採用する期間 (1 年または 3 年)、そして、最終的には、契約でコミットするインスタンスファミリーに基づきます。以前に支払っていた金額の 1% から最大 18% までの金額の値下げが適用されます。以下では、M5、C5、および R5 のインスタンスタイプ全体の節約のスナップショットを示しましたが、C5n、C5d、M5a、M5n、M5ad、M5dn、R5a、R5n、R5d、R5ad、R5dn、T3、T3a、Z1d、および A1 のインスタンスタイプについても料金が引き下げられています。 期間が 1 年間の場合に適用される値下げ 期間が 3 年間の場合に適用される値下げ リージョン M5 C5 R5 M5 C5 R5 欧州 (ストックホルム) 10% 8% 0% 13% 11% 5% 中東 […]

Amazon Fraud Detector は偽のアカウントの作成やオンライン決済詐欺など、不正行為の可能性があるオンライン活動を簡単に特定できるようにするフルマネージドサービスです。汎用機械学習 (ML) パッケージとは異なり、Amazon Fraud Detector は不正を検出するように特別に設計されています。Amazon Fraud Detector は、最新の ML サイエンスのデータおよび Amazon.com と AWS の 20 年以上にわたる不正検出の経験を組み合わせて、ビジネスでの不正行為を検出するためにカスタマイズした ML モデルを構築するものです。 この投稿は、オンライン不正インサイトモデルの堅牢な概念実証 (POC) を開発および実行するのに役立ちます。そのため、ビジネスにおける Amazon Fraud Detector の有用性を評価できます。オンライン不正インサイトモデルは、新しいアカウントでの不正、オンライン取引詐欺、偽のレビューなど、さまざまな種類の不正行為を解決するための教師あり ML モデルです。データの可用性にもよりますが、通常は 1〜2 週間だけで Amazon Fraud Detector POC を完了することができます。 不正のライフサイクル 不正はあらゆる形や規模で発生しますが、一般的にどれもが同じ 3 つのステップのライフサイクルに従います。 不正ユーザーがプラットフォームに加わる 不正ユーザーが不正を行う (多くの場合、同じアカウントで複数回) 最終的に、不正を発見し、不正ユーザーをブロックする 次の図は、このライフサイクルを視覚化したものです。 まず、不正ユーザーがアカウントを登録します。この図ではタイムゼロ (T0) と表示しています。その後不正イベントが、タイム T1、T2、T3 で発生し、システムによって検出されなくなります。チャージバックの形で数時間、数日、または数週間となる可能性のある後の特定の時点 (TN) で、不正を発見し、不正ユーザーをブロックします。 不正の発見が遅れると、コストが発生します。財務コストには、販売する商品のコスト、人手による確認から生まれるコスト、チャージバック料金に関連するものがあります。さらに、会社の評判または規制に関するリスクも可能性としてあります。完全なシナリオでは、不正を予測し、損害が発生する前にそれを阻止します。その […]