Amazon Web Services ブログ

AWS Systems Manager の新しいオートメーション機能

本日、AWS Systems Manager 内で追加された自動化機能を発表します。Systems Manager をまだ使用していない方のために説明すると、本サービスは統合されたユーザーインターフェイスを提供するため、複数の AWS サービスから運用データを表示し、AWS リソース全体の運用タスクを自動化できます。 この新しいリリースで、さらに強力になりました。AWS Systems Manager に追加機能を追加しました。これにより、チーム内または組織内の他のユーザーと自動化を構築、実行、共有できるため、インフラストラクチャの管理を繰り返すのがより簡単になり、エラーが発生しにくくなります。 ナビゲーションメニューの AWS Systems Manager コンソール内には、オートメーションという項目があり、このメニュー項目をクリックするとオートメーションを実行ボタンが表示されます。 これをクリックすると、実行するドキュメントを尋ねられます。AWS では、選択可能なドキュメントのライブラリを提供しますが、今日は独自のドキュメントを作成するため、ドキュメントを作成ボタンをクリックします。 これにより、新しい画面が表示され、Python または PowerShell スクリプトを実行するドキュメント (オートメーションプレイブックとも呼ぶ) を作成できます。 コンソールには、ドキュメントを編集するための 2 つのオプションがあります。YAML エディタまたはガイド付きの段階的なユーザーインターフェイスを提供する「ビルダー」ツールで、各ワークフローステップのドキュメントを含めることができます。 それでは、簡単なオートメーションを構築して実行してみましょう。ビルダーツールを使用してドキュメントを作成する場合、最初に必要なのはドキュメント名です。 次に、説明を入力する必要があります。以下に示すように、Markdown を使用して説明の書式を設定できます。説明は、ドキュメントの機能を説明する絶好の機会です。ほとんどのユーザーは、これらのドキュメントをチームの他のユーザーと共有し、日常の問題を解決するためのドキュメントライブラリを構築したいと思っています。 オプションで、ドキュメントのパラメータを指定するように求められます。これらのパラメータは、後で作成するすべてのスクリプトで使用できます。この例では、3 つのパラメータ imageId、tagValue、instanceType を作成しました。このドキュメントを実行するときに、設定したデフォルトを上書きするこれらのパラメータの値を提供する機会があります。 誰かが私のドキュメントを実行すると、実行されるスクリプトは AWS サービスと対話します。ドキュメントは、Assume ロールを提供するオプションとともに、ほとんどのアクションに対するユーザー権限を使用して実行されます。ただし、スクリプトを実行する操作を含むドキュメントの場合、スクリプトが AWS API を呼び出すときにロールが必要です。 ビルダーツールで、Assume ロールをグローバルに設定できます。ただし、ドキュメントに assumeRole というパラメータを追加したいので、それを実行している人であれば誰でも別のパラメータを提供できます。 次に、Assume ロールプロパティのテキストボックスで {{assumeRole}} 構文を使用して、このパラメータをグローバルに assumeRole に結び付けます (パラメータ名 […]

Read More

Amazon SageMaker RL Notebook を使用した AWS DeepRacer のカスタム深層強化学習およびマルチトラックトレーニング

re:Invent 2018 で開始された AWS DeepRacer は、開発者が強化学習 (RL) を実践するのに役立ちます。  それ以来、世界中の AWS Summits で開催された 21 の AWS DeepRacer リーグイベントで、何千人もの人々が仮想的に AWS DeepRacer コンソールを通じてモデルを開発し、競い合いました。サミット以外にも、AWS Lofts でのいくつかのイベント、開発者のミートアップ、パートナーセッション、企業イベントなどがありました。 AWS DeepRacer で学び、実験する開発者の熱意は非常に高いものがあります。多くの人は、さらに探求し、ニューラルネットワークアーキテクチャやトレーニングプリセットを改良したり、複数のトラックで並行してトレーニングしたりする能力を高めたいと考えています。 AWS DeepRacer は、Amazon SageMaker、AWS RoboMaker、Amazon Kinesis Video Streams、Amazon CloudWatch、Amazon S3 など、他のいくつかの AWS のサービスを利用しています。こうした各コンポーネントをよりきめ細かく制御してシミュレーション環境とモデリング環境を拡張するために、この記事にはこうした環境のプロビジョニングと管理に役立つノートブック環境が含まれており、AWS DeepRacer でのエクスペリエンスのあらゆる側面を改良できます。詳細については、この記事の GitHub リポジトリを参照してください。 この記事では、環境の設定方法を探り、AWS DeepRacer コードベースの主なコンポーネントを掘り下げ、ニューラルネットワークやトレーニングプリセットの変更、アクションスペースのカスタマイズ、複数のトラックでの並行トレーニングについて詳しく説明します。最後には、Amazon SageMaker を使用して AWS DeepRacer モデルトレーニングを変更する方法を理解できているはずです。 開発者は、AWS DeepRacer コンソールの背後にあるツールを利用することで、AWS DeepRacer トレーニングとモデルのあらゆる側面をカスタマイズおよび変更し、モデルを直接レースにダウンロードして、NeurIPS […]

Read More

AWS Data Exchange を使用してデータ製品を動的に公開し、更新する

あらゆるサイズの組織において、データがビジネスの方法を大変革しています。会社はますます、サードパーティのデータを、社内のデータを補完し、顧客に価値を提供できるようにするために使用するようになっています。サードパーティのデータは、様々なユースケースで使用されています。その中には、顧客のためのアプリケーションの構築、事業の運営とマーケティング活動を改善するためのワークロードの分析、機械学習(ML)のテクニックに基づく予測モデルの構築が含まれます。 しかし、データが会社の事業の中心になったにもかかわらず、データプロバイダーがサブスクライバーにデータを提供する方法は何年も変わっていません。データプロバイダーの側からすると、提供物としてのデータと、エンタイトルメントの管理機構を構築するために、代わり映えのしないヘビーリフティングに時間と労力を費やして、顧客にサービスを提供してきたわけです。多くのデータプロバイダーは、従来式の販売方法と配信チャネルに依存しており、多くの場合、自社のデータに関心を持っている多くの見込み客にアクセスすることはできないでいます。そのため、データ製品をニーズに適合させることは遅れています。 AWS Data Exchange の世界に入ってください。 AWS Data Exchange を使用すると、クラウド内のデータを簡単に交換できます。顧客は数分で、金融サービス、ヘルスケア、ライフサイエンス、消費者および小売などの業界の 80 を超える認定データプロバイダーからの数百のデータ製品を見つけて購読できます。購読の後、顧客はデータセットをダウンロードすること、またはAmazon S3 にコピーして、AWS の様々な分析と機械学習サービスを使用しての分析することができます。AWS Data Exchange を使えば、データプロバイダーは、セキュアで透明、そして信頼できるチャネルを通して幾百万の AWS の顧客に接触する機会が得られます。AWS Data Exchange はまた、データの配信、ライセンス、または課金のインフラストラクチャを構築する必要をなくすので、既存の顧客サブスクリプションをより効率的に、そしてより低コストで提供できるようにする点でも助けになります。 多くのデータプロバイダーは、定期的に更新されるデータ製品を公開しています。たとえば、株式価格のデータプロバイダーは毎日の終値を公開したいと思うでしょうし、天気予報のデータプロバイダーは、予報を毎週更新したいと思うでしょう。この記事では、AWS Data Exchange で製品の公開と更新を動的に行う方法について、手順を追って説明します。まず、新しい製品を公開して、サブスクライバーが利用できるようにします。これは AWS Data Exchange コンソールを使用して数分間で行えます。それから、Lambda 関数を使用して、基本となるデータセットに新しいリビジョンを公開することにより、製品を自動的に更新するワークフローも知ることができます。 前提条件 開始する前に、次の前提条件を満たしてください。 AWS Data Exchange の登録プロバイダーとなる必要があります。資格があり、登録プロバイダーだけが、AWS Data Exchange でデータ製品を公開できます。資格があるプロバイダーは、米国または EU の成員国に本拠を置く有効な法人の下で AWS Marketplace の利用条件に合意し、有効な銀行および課税当局の身分証明書を提出し、AWS Data Exchange のビジネスオペレーションチームによって資格を認定される必要があります。詳細については、Providing Data Products on AWS Data Exchange(AWS […]

Read More

現在利用可能: Amazon Personalize のバッチレコメンド

本日、Amazon Personalize がバッチレコメンドをサポートするようになったことをお知らせいたします。 AWS re:Invent 2018 にて開催された Personalize は機械学習の経験をほとんど必要とせずに、アプリケーション用に個人にカスタマイズしたレコメンドを作成できる完全マネージド型サービスです。 Personalize ではオプションで顧客の人口統計情報 (年齢、場所など) だけでなく、アクティビティデータ (ページ閲覧数、サインアップ、購入など) を独自に表示します。次に、記事、製品、ビデオ、音楽など、レコメンドする項目のインベントリを提供します。以前のブログ記事で説明したように、Amazon Simple Storage Service (S3) に保存された履歴データと、JavaScript トラッカーまたはサーバー側からリアルタイムで送信されたストリーミングデータの両方を使用できます。 さらに Personalize はデータの処理と検証、重要なものの特定、正しいアルゴリズムの選択、データに合わせてカスタマイズし API を介してアクセス可能なパーソナライゼーションモデルのトレーニングと最適化を行います。これによってお客様のビジネスアプリケーションを簡単に呼び出すことができます。 ただし、一部のお客様からは、バッチのレコメンドがユースケースにより適しているとの声が寄せられています。たとえば、非常に多数のユーザーまたは項目に対するレコメンド事項を一度に計算し、それらを保存して、電子メールや通知送信などのバッチ指向のワークフローに時間をかけてフィードする機能が必要な場合があります。そのような方法を使うこともできますが、リアルタイムのレコメンドエンドポイントを使用すると、バッチ処理がより便利になり、費用対効果が高まります。 簡単なデモを見てみましょう。 バッチレコメンド事項の紹介 簡単にするために、この投稿でトレーニングされた映画のおすすめソリューションを MovieLens データセットで再利用します。ここでは、このソリューションに基づいてリアルタイムキャンペーンをデプロイする代わりに、バッチレコメンドジョブを作成します。 まず、映画をおすすめしたいユーザーを定義しましょう。S3 バケットに保存する JSON ファイルにユーザー ID を表示しただけです。 {“userId”: “123”} {“userId”: “456”} {“userId”: “789”} {“userId”: “321”} {“userId”: “654”} {“userId”: “987”} 次に、そのバケットにバケットポリシーを適用して、Personalize がバケット内のオブジェクトを読み書きできるようにします。ここでは AWS コンソールを使用していますが、PutBucketAcl API […]

Read More

新機能 ‐ Amazon EMR と Apache Hudi を使用して S3 でデータを挿入、更新、削除する

Amazon S3 のデータの保存により、スケール、信頼性、コスト効率の観点で多くの恩恵が得られます。 その上、Amazon EMR を利用して、Apache Spark、Hive、および Presto のようなオープンソースツールを使用してデータを処理し、分析することができます。 これらのツールと同じように強力ですが、増分データ処理、レコードレベルの挿入、更新、および削除を行うために必要なユースケースを処理するには引き続き課題があることが考えられます。 お客様と話して、個々のレコードに対する増分変更を処理することが必要なユースケースがあることがわかりました。たとえば、次のような場合です。 データプライバシー規制に準拠する。この場合、ユーザーは忘れられる権利を行使するか、データを使用する方法に関する同意を変更するかを選択することができます。 ストリーミングデータを操作する。この場合、特定のデータの挿入とイベントの更新を取り扱う必要があります。 エンタープライズデータウェアハウスまたは運用データストアからデータベースの変更ログを追跡し取り込むために、変更データ取り込み (CDC) アーキテクチャを使用する。 後で到着するデータを復元するか、特定の時点でのデータを分析する。 本日から、EMR release 5.28.0 には Apache Hudi (incubating) が含まれるため、レコードレベルの挿入、更新、削除操作を実行するためにカスタムソリューションを構築する必要がなくなります。Hudi 開発 は 2016 年に Uber に入社し、取り込みおよびETL パイプライン全体の非効率性に対処しました。 最近数カ月、EMR チームは Apache Hudi コミュニティと密接に協力して、Hudi をSpark 2.4.4 (HUDI-12) に更新し、Spark Avro (HUDI-91) をサポートし、AWS Glue Data Catalog (HUDI-306) のサポートを追加するパッチのみならず、複数のバグ修正を提供しました。 Hudi を使用して、S3 でレコードレベルの挿入、更新、削除を実行して、データプライバシー法を順守し、リアルタイムストリームを消費してデータキャプチャを変更し、遅れて到着するデータを復元し、ベンダーに依存しないオープンな形式で履歴とロールバックを追跡できます。データセットとテーブルを作成し、Hudi は基礎のデータ形式を管理します。 Hudi は Apache Parquet および Apache […]

Read More

Redshift コンソールを使用して、Amazon Redshift クラスターの管理を簡素化する

Amazon Redshift は、最も人気があり、最速のクラウドデータウェアハウスです。管理者が Amazon Redshift クラスターを作成、設定、管理するためのコンソールが含まれています。新しい Amazon Redshift コンソールは、ユーザーインターフェイスを刷新し、クラスターとクラスターで実行されるワークロードの管理を改善するためのいくつかの機能を追加します。 新しい Amazon Redshift コンソールには、次の利点があります。 統合されたダッシュボードからのクラスターの正常性とパフォーマンスの可視性。 複数の画面とフローを合理化し、いくつかの日常業務のクリック数を減らすことにより、クラスターの管理を簡素化。 ユーザークエリを監視し、クラスタパフォーマンスメトリクスと相関させる機能を追加することにより、クエリのパフォーマンスの平均診断時間に関する問題を改善。 この記事では、新しいコンソールを使用して最初のクラスターを作成し、AWS アカウントでクラスターを管理および監視する方法について説明します。 前提条件 新しい Amazon Redshift コンソールを使用して最高のエクスペリエンスを得るには、次の前提条件を満たしていることを確認してください。 AmazonRedshiftFullAccess を使用している場合、アクセス許可を変更する必要はありません。AmazonRedshiftFullAccess は、AWS アカウントのすべての Amazon Redshift リソースへのフルアクセスを許可します。 カスタムポリシーを使用している場合、AmazonRedshiftFullAccess をアタッチするか、次のコードを IAM ユーザーのポリシーに追加します。 { “Version”:”2012-10-17″, “Statement”:[ { “Action”:[ “cloudwatch:ListMetrics”, “cloudwatch:GetMetricWidgetImage”, “cloudwatch:GetMetricData”, “tag:GetResources”, “tag:UntagResources”, “tag:GetTagValues”, “tag:GetTagKeys”, “tag:TagResources”, “iam:ListRoles” ], “Effect”:”Allow”, “Resource”:”*” } ] } また、クラスターを最新のメンテナンスパッチにアップグレードする必要があります。 […]

Read More

AWS Marketplace から使用可能状態のモデルを入手し、アプリケーションに AI を追加する

機械学習 (ML) は、エンタープライズが保持するデータや自動決定などの真の可能性を解放させ、ビジネスプロセスを変革することで顧客に提供する価値を急激に高めます。ML を活用していただくために、Amazon SageMaker では、ML モデルを素早く構築、トレーニング、デプロイするための手段をご提供しています。 最近までは、Amazon SageMaker をご使用いただく場合に、Amazon SageMaker により最適化されたアルゴリズムか、独自のアルゴリズムとモデルを導入していただくかの、2 通りから選択していただけるようになっていました。この ML のアルゴリズムとモデルに関する選択の幅が、AWS Marketplace for Machine Learning により広がります。お客様は、数百もある無料もしくは有料のアルゴリズムやモデルパッケージから選択でき、それらは次のように広範囲なカテゴリーをカバーしています。 オーディオ コンピュータビジョン 画像 自然言語処理 音声認識 構造化データ テキスト ビデオ 今回の記事では、AWS Marketplace for Machine Learning から入手する Face Anonymizer モデルパッケージをデプロイし、推論を実行させる方法をご紹介します。 概要 AWS Marketplace にあるモデルパッケージはトレーニング済みの機械学習モデルであり、バッチジョブとしてもリアルタイム推論としても使用していただけます。これらモデルパッケージはトレーニング済みであるために、お客様は次にあげるようなタスクに悩まされる必要はありません。 トレーニング用データの収集 モデルをトレーニングするためのアルゴリズムの記述 ハイパーパラメータ最適化の作業 モデルのトレーニングとリリースのための準備作業 これらの手順が必要なくなれば、アルゴリズムの記述、データセット抽出、技術的な作業、そしてモデルのトレーニングとチューニングにお客様が投じていた多くの時間と予算を節減できるわけです。 AWS Marketplace から入手できるアルゴリズムとモデルパッケージは、Amazon SageMaker とシームレスに統合されています。これらとのやり取りは、AWS マネジメントコンソール、低レベルの Amazon SageMaker API、Amazon […]

Read More

AWS re:Invent 2019 で開催予定の IoT セッションのご案内

re:Inventまで2週間を切りました。今年のre:Inventでは40を超える数多くのIoTセッション・ワークショップ・チョークトークが予定されています。この記事ではこれらの多くのセッションの中からいくつか紹介するとともに、セッション以外の楽しみ方についても紹介したいと思います。 SpotLight Session Transform tomorrow’s industries with AWS IoT(IOT305-L) AWS IoTを使用すると、組織は比類のないスケーラビリティ、エンドツーエンドのセキュリティ、および他のAWSサービスとの密な統合により、デバイスデータを安全に接続、管理、分析できます。 このセッションでは、AWS IoTのVPが、AWS IoTの新機能と、顧客が今日の洞察を解き放ち、明日の産業を変革する方法を共有します。 Transforming automotive manufacturing with Volkswagen(IOT339) デジタルプロダクションプラットフォーム(DPP)は、機械学習、分析、コンピューティングサービスなど、AWS IoTの広範かつ詳細なサービスカタログを使用して構築されたクラウドプラットフォームです。 このセッションでは、VolkswagenとAWSがDPPを使用して、プラント/デバイスの接続、データ管理とガバナンス、既存の産業およびエンタープライズシステムとの統合を含む共有サービスの共通セットを提供することにより、接続を加速し、生産プラントを最適化する方法を学びます。 また、パブリッククラウドとオンプレミスのAWS IoT展開にまたがる包括的なプラットフォームを通じてこれを達成する方法も学びます。 Digital transformation and IoT monetization(IOT207-R) AWS IoTは世界中の業界に大規模に展開されていますが、ビジネス上の結果はどうでしょうか? このセッションでは、一部のお客様がAWS上に構築されたIoTソリューションを収益化する方法について詳しく説明します。 また、予知保全、資産管理、自己最適化製品、自動的な在庫管理など、さまざまなユースケースにわたる製造業のデジタル変革の例を見ていきます。 Building smarter devices for a better life(IOT209-R) コネクテッドホームは、消費者の生活を改善する統合された自律的なエクスペリエンスのためにデバイスとサービスを結び付けます。 このセッションでは、家庭内の日常的なデバイスをインテリジェントなものに変える方法を学びます。 AWS IoTサービスの豊富なセットを使用して、これらのデバイスを大規模にリモートで監視、制御、およびセキュリティで保護する方法を学びます。 また、AWS IoTを使用して、これらのスマートデバイスからロック解除されたデータを分析し、適切なビジネス上の意思決定を行い、より良い製品を構築し、消費者体験を向上させる方法についても説明します。 Post-launch planning for IoT deployments(IOT210-R) IoTの真の力はデバイスを統合することです。 収集されたデータからの洞察をうけ、運用効率を実現し、カスタマーエクスペリエンスを向上させ、ビジネスの成果を向上させます。 このセッションでは、エッジからクラウドまでのさまざまなAWS IoTサービスを使用して、単一のデバイスから大規模な展開に移行しながら、IoT展開を管理および継続させる方法を知ることができます。 […]

Read More

Amazon ECS向けAmazon CloudWatch Container Insightsについて

本記事は AWS のシニアソリューションアーキテクトの Sirirat Kongdeeによる寄稿記事です。 Amazon CloudWatch を利用することで、Amazon Elastic Container Service(Amazon ECS)のリソースを監視することができます。Amazon CloudWatchは、CPU やメモリの割り当てについてや、クラスター、サービスレベルでのリソース使用率のメトリクスを提供するサービスです。以前は、サービスとタスクについてカスタムモニタリングを有効にする必要がありましたが、CloudWatch Container Insightsを使用することで、すべての Amazon ECS リソースの監視、トラブルシューティング、アラームの設定を行うことができるようになりました。これはフルマネージド型のサービスであり、Amazon ECSのメトリクスとログを収集、集約、要約することが可能となります。

Read More
Weekly AWS

週刊AWS – 2019/11/11週

こんにちは、AWSソリューションアーキテクトの小林です。再来週はAWS re:Invent 2019が開催されます。毎日様々なアップデートが発表されますので、クイックに振り返っていただくためのウェブセミナーを開催いたします。こちらのリンクからお申し込みいただけますので、ぜひご参加ください。例年同様、会期中に発表されたものを(可能な限り)すべてピックアップします。さらに直前に発表されたものの中で重要なトピックもご紹介していきますので、お楽しみに。

Read More