Amazon Web Services ブログ

re:Invent 2018 で開始された AWS DeepRacer は、開発者が強化学習 (RL) を実践するのに役立ちます。  それ以来、世界中の AWS Summits で開催された 21 の AWS DeepRacer リーグイベントで、何千人もの人々が仮想的に AWS DeepRacer コンソールを通じてモデルを開発し、競い合いました。サミット以外にも、AWS Lofts でのいくつかのイベント、開発者のミートアップ、パートナーセッション、企業イベントなどがありました。 AWS DeepRacer で学び、実験する開発者の熱意は非常に高いものがあります。多くの人は、さらに探求し、ニューラルネットワークアーキテクチャやトレーニングプリセットを改良したり、複数のトラックで並行してトレーニングしたりする能力を高めたいと考えています。 AWS DeepRacer は、Amazon SageMaker、AWS RoboMaker、Amazon Kinesis Video Streams、Amazon CloudWatch、Amazon S3 など、他のいくつかの AWS のサービスを利用しています。こうした各コンポーネントをよりきめ細かく制御してシミュレーション環境とモデリング環境を拡張するために、この記事にはこうした環境のプロビジョニングと管理に役立つノートブック環境が含まれており、AWS DeepRacer でのエクスペリエンスのあらゆる側面を改良できます。詳細については、この記事の GitHub リポジトリを参照してください。 この記事では、環境の設定方法を探り、AWS DeepRacer コードベースの主なコンポーネントを掘り下げ、ニューラルネットワークやトレーニングプリセットの変更、アクションスペースのカスタマイズ、複数のトラックでの並行トレーニングについて詳しく説明します。最後には、Amazon SageMaker を使用して AWS DeepRacer モデルトレーニングを変更する方法を理解できているはずです。 開発者は、AWS DeepRacer コンソールの背後にあるツールを利用することで、AWS DeepRacer トレーニングとモデルのあらゆる側面をカスタマイズおよび変更し、モデルを直接レースにダウンロードして、NeurIPS […]

あらゆるサイズの組織において、データがビジネスの方法を大変革しています。会社はますます、サードパーティのデータを、社内のデータを補完し、顧客に価値を提供できるようにするために使用するようになっています。サードパーティのデータは、様々なユースケースで使用されています。その中には、顧客のためのアプリケーションの構築、事業の運営とマーケティング活動を改善するためのワークロードの分析、機械学習（ML）のテクニックに基づく予測モデルの構築が含まれます。 しかし、データが会社の事業の中心になったにもかかわらず、データプロバイダーがサブスクライバーにデータを提供する方法は何年も変わっていません。データプロバイダーの側からすると、提供物としてのデータと、エンタイトルメントの管理機構を構築するために、代わり映えのしないヘビーリフティングに時間と労力を費やして、顧客にサービスを提供してきたわけです。多くのデータプロバイダーは、従来式の販売方法と配信チャネルに依存しており、多くの場合、自社のデータに関心を持っている多くの見込み客にアクセスすることはできないでいます。そのため、データ製品をニーズに適合させることは遅れています。 AWS Data Exchange の世界に入ってください。 AWS Data Exchange を使用すると、クラウド内のデータを簡単に交換できます。顧客は数分で、金融サービス、ヘルスケア、ライフサイエンス、消費者および小売などの業界の 80 を超える認定データプロバイダーからの数百のデータ製品を見つけて購読できます。購読の後、顧客はデータセットをダウンロードすること、またはAmazon S3 にコピーして、AWS の様々な分析と機械学習サービスを使用しての分析することができます。AWS Data Exchange を使えば、データプロバイダーは、セキュアで透明、そして信頼できるチャネルを通して幾百万の AWS の顧客に接触する機会が得られます。AWS Data Exchange はまた、データの配信、ライセンス、または課金のインフラストラクチャを構築する必要をなくすので、既存の顧客サブスクリプションをより効率的に、そしてより低コストで提供できるようにする点でも助けになります。 多くのデータプロバイダーは、定期的に更新されるデータ製品を公開しています。たとえば、株式価格のデータプロバイダーは毎日の終値を公開したいと思うでしょうし、天気予報のデータプロバイダーは、予報を毎週更新したいと思うでしょう。この記事では、AWS Data Exchange で製品の公開と更新を動的に行う方法について、手順を追って説明します。まず、新しい製品を公開して、サブスクライバーが利用できるようにします。これは AWS Data Exchange コンソールを使用して数分間で行えます。それから、Lambda 関数を使用して、基本となるデータセットに新しいリビジョンを公開することにより、製品を自動的に更新するワークフローも知ることができます。 前提条件 開始する前に、次の前提条件を満たしてください。 AWS Data Exchange の登録プロバイダーとなる必要があります。資格があり、登録プロバイダーだけが、AWS Data Exchange でデータ製品を公開できます。資格があるプロバイダーは、米国または EU の成員国に本拠を置く有効な法人の下で AWS Marketplace の利用条件に合意し、有効な銀行および課税当局の身分証明書を提出し、AWS Data Exchange のビジネスオペレーションチームによって資格を認定される必要があります。詳細については、Providing Data Products on AWS Data Exchange（AWS […]

本日、Amazon Personalize がバッチレコメンドをサポートするようになったことをお知らせいたします。 AWS re:Invent 2018 にて開催された Personalize は機械学習の経験をほとんど必要とせずに、アプリケーション用に個人にカスタマイズしたレコメンドを作成できる完全マネージド型サービスです。 Personalize ではオプションで顧客の人口統計情報 (年齢、場所など) だけでなく、アクティビティデータ (ページ閲覧数、サインアップ、購入など) を独自に表示します。次に、記事、製品、ビデオ、音楽など、レコメンドする項目のインベントリを提供します。以前のブログ記事で説明したように、Amazon Simple Storage Service (S3) に保存された履歴データと、JavaScript トラッカーまたはサーバー側からリアルタイムで送信されたストリーミングデータの両方を使用できます。 さらに Personalize はデータの処理と検証、重要なものの特定、正しいアルゴリズムの選択、データに合わせてカスタマイズし API を介してアクセス可能なパーソナライゼーションモデルのトレーニングと最適化を行います。これによってお客様のビジネスアプリケーションを簡単に呼び出すことができます。 ただし、一部のお客様からは、バッチのレコメンドがユースケースにより適しているとの声が寄せられています。たとえば、非常に多数のユーザーまたは項目に対するレコメンド事項を一度に計算し、それらを保存して、電子メールや通知送信などのバッチ指向のワークフローに時間をかけてフィードする機能が必要な場合があります。そのような方法を使うこともできますが、リアルタイムのレコメンドエンドポイントを使用すると、バッチ処理がより便利になり、費用対効果が高まります。 簡単なデモを見てみましょう。 バッチレコメンド事項の紹介 簡単にするために、この投稿でトレーニングされた映画のおすすめソリューションを MovieLens データセットで再利用します。ここでは、このソリューションに基づいてリアルタイムキャンペーンをデプロイする代わりに、バッチレコメンドジョブを作成します。 まず、映画をおすすめしたいユーザーを定義しましょう。S3 バケットに保存する JSON ファイルにユーザー ID を表示しただけです。 {“userId”: “123”} {“userId”: “456”} {“userId”: “789”} {“userId”: “321”} {“userId”: “654”} {“userId”: “987”} 次に、そのバケットにバケットポリシーを適用して、Personalize がバケット内のオブジェクトを読み書きできるようにします。ここでは AWS コンソールを使用していますが、PutBucketAcl API […]

Amazon S3 のデータの保存により、スケール、信頼性、コスト効率の観点で多くの恩恵が得られます。 その上、Amazon EMR を利用して、Apache Spark、Hive、および Presto のようなオープンソースツールを使用してデータを処理し、分析することができます。 これらのツールと同じように強力ですが、増分データ処理、レコードレベルの挿入、更新、および削除を行うために必要なユースケースを処理するには引き続き課題があることが考えられます。 お客様と話して、個々のレコードに対する増分変更を処理することが必要なユースケースがあることがわかりました。たとえば、次のような場合です。 データプライバシー規制に準拠する。この場合、ユーザーは忘れられる権利を行使するか、データを使用する方法に関する同意を変更するかを選択することができます。 ストリーミングデータを操作する。この場合、特定のデータの挿入とイベントの更新を取り扱う必要があります。 エンタープライズデータウェアハウスまたは運用データストアからデータベースの変更ログを追跡し取り込むために、変更データ取り込み (CDC) アーキテクチャを使用する。 後で到着するデータを復元するか、特定の時点でのデータを分析する。 本日から、EMR release 5.28.0 には Apache Hudi (incubating) が含まれるため、レコードレベルの挿入、更新、削除操作を実行するためにカスタムソリューションを構築する必要がなくなります。Hudi 開発 は 2016 年に Uber に入社し、取り込みおよびETL パイプライン全体の非効率性に対処しました。 最近数カ月、EMR チームは Apache Hudi コミュニティと密接に協力して、Hudi をSpark 2.4.4 (HUDI-12) に更新し、Spark Avro (HUDI-91) をサポートし、AWS Glue Data Catalog (HUDI-306) のサポートを追加するパッチのみならず、複数のバグ修正を提供しました。 Hudi を使用して、S3 でレコードレベルの挿入、更新、削除を実行して、データプライバシー法を順守し、リアルタイムストリームを消費してデータキャプチャを変更し、遅れて到着するデータを復元し、ベンダーに依存しないオープンな形式で履歴とロールバックを追跡できます。データセットとテーブルを作成し、Hudi は基礎のデータ形式を管理します。 Hudi は Apache Parquet および Apache […]

Amazon Redshift は、最も人気があり、最速のクラウドデータウェアハウスです。管理者が Amazon Redshift クラスターを作成、設定、管理するためのコンソールが含まれています。新しい Amazon Redshift コンソールは、ユーザーインターフェイスを刷新し、クラスターとクラスターで実行されるワークロードの管理を改善するためのいくつかの機能を追加します。 新しい Amazon Redshift コンソールには、次の利点があります。 統合されたダッシュボードからのクラスターの正常性とパフォーマンスの可視性。 複数の画面とフローを合理化し、いくつかの日常業務のクリック数を減らすことにより、クラスターの管理を簡素化。 ユーザークエリを監視し、クラスタパフォーマンスメトリクスと相関させる機能を追加することにより、クエリのパフォーマンスの平均診断時間に関する問題を改善。 この記事では、新しいコンソールを使用して最初のクラスターを作成し、AWS アカウントでクラスターを管理および監視する方法について説明します。 前提条件 新しい Amazon Redshift コンソールを使用して最高のエクスペリエンスを得るには、次の前提条件を満たしていることを確認してください。 AmazonRedshiftFullAccess を使用している場合、アクセス許可を変更する必要はありません。AmazonRedshiftFullAccess は、AWS アカウントのすべての Amazon Redshift リソースへのフルアクセスを許可します。 カスタムポリシーを使用している場合、AmazonRedshiftFullAccess をアタッチするか、次のコードを IAM ユーザーのポリシーに追加します。 { “Version”:”2012-10-17″, “Statement”:[ { “Action”:[ “cloudwatch:ListMetrics”, “cloudwatch:GetMetricWidgetImage”, “cloudwatch:GetMetricData”, “tag:GetResources”, “tag:UntagResources”, “tag:GetTagValues”, “tag:GetTagKeys”, “tag:TagResources”, “iam:ListRoles” ], “Effect”:”Allow”, “Resource”:”*” } ] } また、クラスターを最新のメンテナンスパッチにアップグレードする必要があります。 […]

機械学習 (ML) は、エンタープライズが保持するデータや自動決定などの真の可能性を解放させ、ビジネスプロセスを変革することで顧客に提供する価値を急激に高めます。ML を活用していただくために、Amazon SageMaker では、ML モデルを素早く構築、トレーニング、デプロイするための手段をご提供しています。 最近までは、Amazon SageMaker をご使用いただく場合に、Amazon SageMaker により最適化されたアルゴリズムか、独自のアルゴリズムとモデルを導入していただくかの、2 通りから選択していただけるようになっていました。この ML のアルゴリズムとモデルに関する選択の幅が、AWS Marketplace for Machine Learning により広がります。お客様は、数百もある無料もしくは有料のアルゴリズムやモデルパッケージから選択でき、それらは次のように広範囲なカテゴリーをカバーしています。 オーディオ コンピュータビジョン 画像 自然言語処理 音声認識 構造化データ テキスト ビデオ 今回の記事では、AWS Marketplace for Machine Learning から入手する Face Anonymizer モデルパッケージをデプロイし、推論を実行させる方法をご紹介します。 概要 AWS Marketplace にあるモデルパッケージはトレーニング済みの機械学習モデルであり、バッチジョブとしてもリアルタイム推論としても使用していただけます。これらモデルパッケージはトレーニング済みであるために、お客様は次にあげるようなタスクに悩まされる必要はありません。 トレーニング用データの収集 モデルをトレーニングするためのアルゴリズムの記述 ハイパーパラメータ最適化の作業 モデルのトレーニングとリリースのための準備作業 これらの手順が必要なくなれば、アルゴリズムの記述、データセット抽出、技術的な作業、そしてモデルのトレーニングとチューニングにお客様が投じていた多くの時間と予算を節減できるわけです。 AWS Marketplace から入手できるアルゴリズムとモデルパッケージは、Amazon SageMaker とシームレスに統合されています。これらとのやり取りは、AWS マネジメントコンソール、低レベルの Amazon SageMaker API、Amazon […]

re:Inventまで２週間を切りました。今年のre:Inventでは40を超える数多くのIoTセッション・ワークショップ・チョークトークが予定されています。この記事ではこれらの多くのセッションの中からいくつか紹介するとともに、セッション以外の楽しみ方についても紹介したいと思います。 SpotLight Session Transform tomorrow’s industries with AWS IoT(IOT305-L) AWS IoTを使用すると、組織は比類のないスケーラビリティ、エンドツーエンドのセキュリティ、および他のAWSサービスとの密な統合により、デバイスデータを安全に接続、管理、分析できます。 このセッションでは、AWS IoTのVPが、AWS IoTの新機能と、顧客が今日の洞察を解き放ち、明日の産業を変革する方法を共有します。 Transforming automotive manufacturing with Volkswagen(IOT339) デジタルプロダクションプラットフォーム（DPP）は、機械学習、分析、コンピューティングサービスなど、AWS IoTの広範かつ詳細なサービスカタログを使用して構築されたクラウドプラットフォームです。 このセッションでは、VolkswagenとAWSがDPPを使用して、プラント/デバイスの接続、データ管理とガバナンス、既存の産業およびエンタープライズシステムとの統合を含む共有サービスの共通セットを提供することにより、接続を加速し、生産プラントを最適化する方法を学びます。 また、パブリッククラウドとオンプレミスのAWS IoT展開にまたがる包括的なプラットフォームを通じてこれを達成する方法も学びます。 Digital transformation and IoT monetization(IOT207-R) AWS IoTは世界中の業界に大規模に展開されていますが、ビジネス上の結果はどうでしょうか？ このセッションでは、一部のお客様がAWS上に構築されたIoTソリューションを収益化する方法について詳しく説明します。 また、予知保全、資産管理、自己最適化製品、自動的な在庫管理など、さまざまなユースケースにわたる製造業のデジタル変革の例を見ていきます。 Building smarter devices for a better life(IOT209-R) コネクテッドホームは、消費者の生活を改善する統合された自律的なエクスペリエンスのためにデバイスとサービスを結び付けます。 このセッションでは、家庭内の日常的なデバイスをインテリジェントなものに変える方法を学びます。 AWS IoTサービスの豊富なセットを使用して、これらのデバイスを大規模にリモートで監視、制御、およびセキュリティで保護する方法を学びます。 また、AWS IoTを使用して、これらのスマートデバイスからロック解除されたデータを分析し、適切なビジネス上の意思決定を行い、より良い製品を構築し、消費者体験を向上させる方法についても説明します。 Post-launch planning for IoT deployments(IOT210-R) IoTの真の力はデバイスを統合することです。 収集されたデータからの洞察をうけ、運用効率を実現し、カスタマーエクスペリエンスを向上させ、ビジネスの成果を向上させます。 このセッションでは、エッジからクラウドまでのさまざまなAWS IoTサービスを使用して、単一のデバイスから大規模な展開に移行しながら、IoT展開を管理および継続させる方法を知ることができます。 […]

本記事は AWS のシニアソリューションアーキテクトの Sirirat Kongdeeによる寄稿記事です。 Amazon CloudWatch を利用することで、Amazon Elastic Container Service（Amazon ECS）のリソースを監視することができます。Amazon CloudWatchは、CPU やメモリの割り当てについてや、クラスター、サービスレベルでのリソース使用率のメトリクスを提供するサービスです。以前は、サービスとタスクについてカスタムモニタリングを有効にする必要がありましたが、CloudWatch Container Insightsを使用することで、すべての Amazon ECS リソースの監視、トラブルシューティング、アラームの設定を行うことができるようになりました。これはフルマネージド型のサービスであり、Amazon ECSのメトリクスとログを収集、集約、要約することが可能となります。

こんにちは、AWSソリューションアーキテクトの小林です。再来週はAWS re:Invent 2019が開催されます。毎日様々なアップデートが発表されますので、クイックに振り返っていただくためのウェブセミナーを開催いたします。こちらのリンクからお申し込みいただけますので、ぜひご参加ください。例年同様、会期中に発表されたものを（可能な限り）すべてピックアップします。さらに直前に発表されたものの中で重要なトピックもご紹介していきますので、お楽しみに。

AWS re:Invent 2019 が間近にせまってきました！ 参加するセッションの優先順位をつけないといけませんね。そこで AWS re:Invent 2019 での AWS Identity セッション、ワークショップ、チョークトークのリストをご用意しました。re:Invent にまだ登録していない場合は、社内承認のためのテンプレートがありますのでこちらもご利用ください。 AWS アイデンティ リーダシップ キーノート SEC207-L — Leadership session: AWS identity (Breakout session) リーダーシップセッション: AWS アイデンティティ (ブレイクアウトセッション) デジタルアイデンティティは、クラウドで最も急速に成長し、最も急速に変化している領域の1つです。ゼロトラストネットワーク、GDPRの懸念、および新しい IoT の機会がニュースでよく報道されています。このセッションではこの重要な業界の変化について触れ、お客様とその顧客の両方のアイデンティティにアプローチする AWS の方法について学びます。 新機能の発表や、オープンスタンダードと業界グループへの取り組みについて議論し、アイデンティティ、アクセス制御、リソース管理をより簡単にする方法を説明します。 自社環境向けの AWS アイデンティティ マネジメント FSI310 — The journey to least privilege: IAM for Financial Services (Chalk talk) 最小権限への旅：金融サービスのための IAM （チョークトーク） AWS […]