Amazon Web Services ブログ

Amazon S3 path-style 廃止予定 – それから先の話 –

先週(4/30)、私たちは非常に静かな(実際には静かすぎる)発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc (C言語プログラムにおけるキーメモリ割り当て関数)に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納し、毎秒数百万のリクエストを処理するところまでに成長しました。 13年間にわたり、S3 には多くの新しいストレージオプション、機能、およびセキュリティ制御が追加されました。 Old vs. New S3は現在、2種類のアドレスモデルを提供しています。path-style と virtual-hosted styleです。一つずつ見てみましょう。まず、path-style モデルでは、次のように見えます(グローバルなS3エンドポイントです): https://s3.amazonaws.com/jbarr-public/images/ritchie_and_thompson_pdp11.jpeg https://s3.amazonaws.com/jsb-public/classic_amazon_door_desk.png もしくは、次のような形です(リージョナルなS3エンドポイントです): https://s3-us-east-2.amazonaws.com/jbarr-public/images/ritchie_and_thompson_pdp11.jpeg https://s3-us-east-2.amazonaws.com/jsb-public/classic_amazon_door_desk.png この例では、jbarr-public と jsb-public がバケット名であり、/images/ritchie_and_thompson_pdp11.jpeg と /jsb-public/classic_amazon_door_desk.png がオブジェクトキーとなります。 仮に、オブジェクトが別々の AWS アカウントによって所有されたり、異なる S3 バケット(また場合によっては異なる AWS リージョン)にあったとしても、どちらも同じ DNS サブドメイン s3.amazonaws.com にあります。次に、対応する virtual-hosted style の参照方法を見てみましょう(これらは「新しい」と思われるかもしれませんが、少なくとも2010 年以降に存在しています): https://jbarr-public.s3.amazonaws.com/images/ritchie_and_thompson_pdp11.jpeg https://jsb-public.s3.amazonaws.com/classic_amazon_door_desk.png これらの URL は同じオブジェクトを参照しますが、オブジェクトは別々の DNS サブドメインにあります (それぞれ […]

Read More

Amazon SageMaker Ground Truth を使ったカスタムデータラベリングワークフローの構築

優れた機械学習モデルは大量の高品質トレーニングデータで構築されていますが、このようなトレーニングデータの作成は高額かつ複雑で、時間もかかります。モデルが正しい判断を行う方法を学べるように助けるには、通常、人に手動でトレーニングデータへのラベル付けを行ってもらう必要があります。 Amazon SageMaker Ground Truth は、人が画像とテキストの分類、物体検出、およびセマンティックセグメンテーションのラベリングジョブに取り組むためのラベリングワークフローを提供します。また、データラベリングジョブ用のユーザーインターフェイス (UI) を定義するためのカスタムワークフローを構築することもできます。これらを開始できるようユーザーを援助するために、Amazon SageMaker は画像、テキスト、および音声データのラベリングジョブのためのカスタムテンプレートを提供します。これらのテンプレートは、データラベリング UI の構築をシンプル化する Amazon SageMaker Ground Truth の crowd HTML 要素を使用します。UI には独自の HTML を指定することも可能です。 カスタムワークフローは、以下にある理由のために構築するとよいでしょう。 カスタムデータラベリング要件がある。 入力データが複雑で、タスクごとに複数の要素 (例えば、画像、テキスト、またはカスタムメタデータ) がある。 タスクの作成時に特定のアイテムがラベラーに送信されないようにしたい。 ラベリング出力を統合し、精度を向上させるためのカスタムロジックが必要。 IEEE が後援する学会のような科学学会には何千編ものアブストラクトが届き、これらは手作業でレビューされます。科学論文の典型的なアブストラクトには、背景、目的、手法、結果、限界、および結論といった情報が含まれます。何千編ものアブストラクトについてこれらのセクション、つまりエンティティをレビューすることは、手間のかかる作業になり得ます。 必要なエンティティのすべてに自動でタグ付けすることによってレビューアーを助けることができる自然言語処理 (NLP) モデルがあったとしたらどうでしょう? テキストラベリングツールが投稿されたアブストラクトからエンティティを抽出できるととしたらどうでしょうか? Amazon Comprehend は、テキスト内のインサイトと関係性を見つけるために機械学習を使用する自然言語処理 (NLP) サービスですが、この記事では、固有表現抽出 (NER) モデル用のトレーニングデータセットを構築するための、科学論文アブストラクトから名前付きエンティティを抽出するカスタムテキストラベリングワークフローの構築について段階的に説明していき、ユーザー独自の既存のウェブテンプレートを Amazon SageMaker Ground Truth に簡単に取り入れる方法を紹介します。 ソリューションの概要 カスタムワークフローの構築には、arxiv.org のご厚意により提供された科学論文 10 編の最初のページからの入力画像を使用しました。 論文からのテキストの抽出には、Amazon Textract […]

Read More

サポートが終了する VMware Clous on AWS の SQL Server インスタンスを簡単にアップグレードする

Microsoft SQL Server 2008 と 2008 R2 のインスタンスをまだデプロイしているなら、今こそアップグレードするべきです。これらの Microsoft のサポート終了日 (EoS) は 2019 年 7 月 9 日。もうすぐです。つまり、それ以降はセキュリティの問題やコンプライアンス上の問題があるため、これ以上セキュリティの更新は行われません。実行するなら今です! 今日は、SQL Server インスタンスのアップグレードの自動化を支援する新しいオープンソースのツールを GitHub で公開できることを大変うれしく思っています。この自動化により、アップグレードの実行が迅速になり、重要なデータを格納しているアプリケーションに対するセキュリティ体制を維持しつつ、EoS の前にこのプロジェクトを完了できるようになります。 開始方法 新しいツールは Upgrade-SqlServerStandaloneDatabaseEngineInstance.ps1 という名前で、GitHub で入手できます。これは vSphere インフラストラクチャにアクセスできない可能性があるデータベース管理者 (DBA) などによってローカルで開始されるか、仮想システム管理者などによってリモートで開始されることがあります。アップグレードは Microsoft Windows PowerShell と PowerShell Core の両方でテストが行われました。したがって、macOS、Linux、Windows からリモートアップグレードの起動が可能です。 この記事では、スタンドアロンの SQL Server 2008 R2 SP3 インスタンスを SQL Server 2016 にリモートでバッチアップグレードします。これを AWS の VMware […]

Read More

AWS のサービスやソリューションについて学ぼう – 5 月の AWS オンラインテックトーク

この5 月、AWS のサービスとソリューションについて学んでみてはいかがでしょうか。AWS オンラインテックトークは、幅広い技術レベルで幅広いトピックをカバーするライブでのオンラインプレゼンテーションです。AWS のソリューションアーキテクトやエンジニアがリードするこれらのテックトークでは、テクニカルディープダイブ、ライブのデモンストレーション、顧客事例、AWS の専門家との質疑などが行われます。今すぐ登録しましょう! 注意 – すべてのセッションは無料で、太平洋時間です。 今月のテックトーク: コンピューティング 2019 年 5 月 30 日 | 11:00 AM~12:00 PM PT – 初めて使う AWS の HPC クラスター – AWS の HPC クラスターを初めてセットアップする時のため、一連の手順をステップバイステップでご説明します。 コンテナ 2019 年 5 月 20 日 | 11:00 AM ~ 12:00 PM PT – AWS Service Operator を使いアプリケーションのデプロイを管理する – kubectl CLI […]

Read More

高度な Amazon CloudWatch メトリクスと AWS Lambda を使用したアイドルチェックとリソースの自動終了による Amazon EMR コストの最適化

多くのお客様が、その開発環境で Apache Spark および Apache Hive のクエリなどのビッグデータワークロードを実行するために Amazon EMR を利用しておられます。データアナリストとデータサイエンティストは、分析 EMR クラスターとして知られるこれらのタイプのクラスターを頻繁に使用しますが、ユーザーは、作業終了後にクラスターを終了し忘れることがしばしばあります。これはクラスターのアイドル実行につながり、不必要なコストが生じることになります。 このオーバーヘッドを避けるため、EMR クラスターのアイドル状態を追跡し、アイドル状態で長時間にわたって実行される場合にクラスターを終了する必要があります。YARN ジョブが実行されているかどうかをチェックすることによってクラスターのアイドル状態を判断する Amazon EMR ネイティブの IsIdle Amazon CloudWatch メトリックがありますが、クラスターがアイドル状態かどうかを判断するためにも、接続されている SSH ユーザー、または実行中の Presto ジョブなどの追加のメトリクスを検討するべきです。また、Apache Zeppelin で Spark ジョブを実行する場合、ジョブの実行が終了した後でも、IsIdle メトリックが長時間アクティブ (1) 状態のままとなります。このような場合、IsIdle メトリックはクラスターの非アクティブ状態を判断するには適切ではありません。 このブログ記事では、このオーバーヘッドコストを削減するソリューションを提案します。このため、EMR クラスターのマスターノードにインストールされるバッシュスクリプトを実装しました。このスクリプトは 5 分ごとに実行されるようにスケジュールします。スクリプトはクラスターを監視し、5 分ごとにカスタムメトリック「EMR-INUSE」 (0 = 非アクティブ、1 = アクティブ) を CloudWatch に送信します。CloudWatch が事前定義されたデータポイントセットの一部に対して 0 (非アクティブ) を受け取ると、CloudWatch がアラームをトリガーし、アラームがクラスターを終了する AWS Lambda 関数を実行します。 […]

Read More

新しいクエリエディタを使用して Amazon Redshift クラスターをクエリする

データウェアハウスは、データから実用的な洞察を分析および抽出するための重要なコンポーネントです。Amazon Redshift は、高速でスケーラブルなデータウェアハウスであり、データウェアハウスとデータレイク全体ですべてのデータを分析するのに費用対効果が高くなります。 Amazon Redshift コンソールは最近、クエリエディタを開始しました。クエリエディタは、AWS マネジメントコンソールから直接 Amazon Redshift クラスターで SQL クエリを実行するためのブラウザ内インターフェイスです。Amazon Redshift クラスターでホストされているデータベースでクエリを実行するには、クエリエディタを使用するのが最も効率的な方法です。 クラスターを作成したら、すぐにクエリエディタを使用して Amazon Redshift コンソールでクエリを実行できます。クエリエディタは外部の JDBC/ODBC クライアントを使用してデータベースに接続するのに代わる優れた方法です。 この記事では、クラスターにデータをロードし、コンソールからクラスターのパフォーマンスを直接モニターするための SQL クエリを実行する方法を説明します。 SQL IDE やツールの代わりにクエリエディタを使用する クエリエディタは、Amazon Redshift クラスターで SQL クエリを実行するためのブラウザ内インターフェイスを提供します。計算ノードで実行されるクエリの場合は、クエリの横にクエリ結果とクエリ実行プランを表示できます。 クエリを可視化し、便利なユーザーインターフェイスを実現する機能により、データベース管理者としてもデータベース開発者としても、さまざまなタスクを実行できます。視覚的なクエリエディタを使用すると、次のことができます。 複雑なクエリを作成すること クエリを編集して実行すること データを作成して編集すること 結果を表示してエクスポートすること クエリに EXPLAIN プランを作成すること クエリエディタを使用すると、複数の SQL タブを同時に開くこともできます。色付きの構文、クエリのオートコンプリート、およびシングルステップのクエリフォーマットはすべて、追加のボーナスです。 データベース管理者は通常、よく使用する SQL ステートメントのリポジトリを定期的に管理しています。これをメモ帳のどこかに書き記せば、保存したクエリ機能を存分に活かせるでしょう。この機能を使用すると、よく実行する SQL ステートメントを一度に保存して再利用できます。これにより、以前に実行した SQL ステートメントを確認、再実行、および変更することが効率的になります。クエリエディタにはエクスポーターもあり、クエリ結果を CSV 形式にエクスポートできます。 クエリエディタを使用すると、クラスター上にスキーマやテーブルを作成する、テーブルにデータをロードするなどの一般的なタスクを実行できます。これらの一般的なタスクは、コンソール上で直接実行するいくつかの単純な SQL ステートメントを使用して可能になりました。コンソールから日々の管理タスクを行うこともできます。これらのタスクには、クラスター上で長時間実行されているクエリを見つけること、クラスター上で長時間実行されている更新で潜在的なデッドロックをチェックすること、およびクラスターで使用可能な容量を確認することなどがあります。 クエリエディタは […]

Read More

【アップデート】AWS 大阪ローカルリージョンで最新世代の Amazon EC2 インスタンスが利用可能に

本日より最新世代のAmazon EC2 T3、M5、C5、およびR5インスタンスがAWS 大阪ローカルリージョンで利用可能です。 これらのインスタンスには最新世代のIntelプロセッサが含まれ、仮想化のオーバーヘッドを削減しながら、高性能、高可用性、高セキュリティを提供するためAWS Nitro Systemを使用し構築されています。

Read More

AWSとSAPがIoTの相互運用性ソリューションを発表

プリンシプルパートナーソリューションアーキテクトを務めるKK Ramamoorthyとプリンシプルプロダクトソリューションアーキテクトを務めるBrett Francisの共著です。 本日5月9日、SAPは、Amazon Web Services (AWS)とのIoT領域でのコラボレーション、およびSAP Leonardo IoTとAWS IoT Core間の相互運用性の一般提供開始を発表しました。この新しいコラボレーションにより、AWS IoTプラットフォームが持つグローバルなスケーラビリティとSAP Leonardo IoTを活用したビジネスプロセスを使用して、IoTソリューションを簡単かつコスト効率高く展開することができます。このコラボレーションは、2つの新しい相互運用性オプションを提供します。

Read More

DeepRacer リーグ @ AWS Summit Tokyo に向けて準備を始めましょう

みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 今日は、現在お申込み受付中のAWS Summit Tokyo で開催される DeepRacerリーグについて最新情報をお届けしていきます。 DeepRacer リーグ DeepRacer リーグは、機械学習のマネージドサービスであるAmazon SageMaker を強化学習に対応させたAmazon SageMaker RL、そして知能ロボット工学アプリケーションを大規模かつ簡単に開発、テスト、デプロイできるサービスである、AWS RoboMaker を組み合わせて実現されるDeepRacerという1/18スケールの完全自走型レーシングカーを用いて競いあうレースです。 DeepRacer リーグは2種類存在しています。一つが世界中で20以上のAWS Summitで開催される実機を利用したレースです。AWS Summit Tokyoでも3日間毎日開催されており予約なしで現地で登録を行いレースに参加できます。その際実機は、レースの公平性を期すためAWS側が準備したものに、トレーニング済みのアルゴリズムをインストールしレースに挑んでいただきます。待ち時間はありますが、何度でも参加できます。また、アルゴリズムのトレーニングなどが難しい方は、あらかじめプリセットされたデフォルトのアルゴリズムを使いレースをカジュアルに楽しむこともできます。そしてAWS Summit Tokyoでは、強化学習の基礎とDeepRacerを走らせるモデルをトレーニングする手法を学べるWorkshopも開催します。3日間のレースを通して上位10名にはDeepRacerの実機をプレゼントします。そして優勝者には、12月2日から9日の間米国ネバダ州ラスベガスで開催されるre:Invent 2019へ招待させていただき、そこで決勝戦を戦っていただきます。なんと、re:Invent2019への渡航費、宿泊費、チケットなどがAWS側により負担されます。 もう一つのDeepRacerリーグは、Virtualレースです。先日バージニア北部リージョンで、DeepRacer Virtualリーグが開幕しました。AWSのマネージメントコンソールから、DeepRacerを選択すると「DeepRacer Virtual Circuit」が選べるようになっています。現在 London Loopが開催中です。 そしてここからがとても大事なところです。 実機を使ったDeepRacerリーグとVirtualレースは、同じ学習済みモデルを使うことができます。つまり、AWS Summit TokyoでDeepRacerリーグに参加してみたい方は、今からマネージメントコンソールで強化学習を使ったモデルを使い、そして実際に試すことができます。 これにより、本番のDeepRacerリーグでよりよいタイムが出せるようになるかも知れませんね。もちろん先に書いた通り、プリセットされたモデルでレースを楽しむこともできます。でも、良いタイムを出すためにはやはりトレーニング済のモデルを使った方がいいので、是非挑戦してみてください。 そしてDeepRacerリーグとVirtualレースではマシン操作におけるアクセル制御の仕組みが異なりますので、両方参加してももちろん楽しめるようになっています。 強化学習とは? 折角なので強化学習というものの基礎を纏めましょう。 端的には、機械学習のモデルは、以下の3つのいずれかの方法で学習されています。 教師あり学習:ラベル付きのデータセット(サンプルと答えを含む)を使って学習を実行します。徐々にモデルは学習し、正しいラベルを予測をするようになります。回帰と分類などが、教師あり学習の例として挙げられます。 教師なし学習: ラベルのないデータセット(サンプルのみを含む)を使って学習を実行します。ここでは、モデルはデータ中のパターンを徐々に学習します。データのクラスタリングなどが、教師なし学習の例として挙げられます。 強化学習: これは上の2種類の学習とは大きく異なります。コンピューター上で主役となるエージェントが、環境(多くの場合、シミュレータ)と相互作用し、行動に応じて正または負の報酬を得ます。報酬とは行動がどれぐらい良いのかを表す数値で、報酬を計算する関数はユーザによって定義されます。報酬を最大化するような強化学習を行うことで、エージェントは最適な意思決定の戦略を学ぶことができます。 DeepRacerであれば、スピードと、タイヤの左・右、というスロットルとステアリングそれぞれの挙動と、 実機が走っているコースの状態との組み合わせの中で、なるべく正の報酬を得るモデルをシミュレーションを繰り返しながら作成します。報酬は、コースをはみ出ない、センターラインの近くを走行している、等が正の報酬として設定されます。これは実際の自動運転開発においても着目されている技術の一つです。 シンプルに言うと教師あり学習と教師なし学習は、それなりの量のデータさえあればAmazon SageMakerを使うことで機械学習基盤を構築し推論を行う結果を出力してみることができます。しかし強化学習の場合、学習環境と相互作用するエージェントのモデルや実環境、そしてそれを再現するシミュレータ、等準備すべき部分が多くあります。これが一般的に強化学習がその他の学習に比べて、学ぶことが難しいとされる理由の一つです。 DeepRacerは自動運転を実現させるための、実機、コース、それらをシミュレーションするシミュレータを学習キットとしてパッケージ化し、皆さんが簡単に強化学習に触れていただけるようにした、学習キットになるのです。そしてそのシミュレーション環境は、皆さんが別のサービス用途にもご利用いただけるように、汎用のサービスとしても提供されています。それがAWS RoboMakerです。DeepRacerもシミュレーション環境はRoboMakerを使用しています。 AWS RoboMaker AWS RoboMakerが東京リージョンに対応しました。 AWS […]

Read More

SAP Cloud Platform on AWSを使ったイノベーションの加速

AWS上でSAPワークロードを稼働することによるビジネス上の利点は、既に何千ものお客様がそのようなワークロードを稼働していることで証明されています。国際的なエネルギープロバイダーであるENGIEが経験したような明白なメリットには、コスト削減だけでなく、柔軟性とスピードもあります。例えば、ENGIEのケーススタディで述べているように、ENGIEは、自社のSAPプラットフォームをAWS上のSAP S/4HANAにアップグレードしたことで、新しいビジネスフレームワークの予想される納期を半分に短縮することができました。彼らは、AWS対応の高可用性アーキテクチャパターンを使用することによって、HANAインフラストラクチャを適正化しながらこれをすべて行いました。 これらは非常に明白なビジネス上の利点ですが、ビッグデータとアナリティクス、モノのインターネット (IoT)、アプリケーションとAPI、DevOps、および機械学習の分野によってコアとなるSAPビジネスプロセスを拡張して、ビジネス変革を推進することもますます重要になっています。実際、昨年のブログ記事のインフラストラクチャを超えて: スタートアップのスピードでビジネス変革に取り組む方法で、AWSネイティブサービスを使用したこのSAP拡張アプローチについて説明しました。この1年の間に、私たちはその記事で詳述されたアプローチの多くを使ってお客様に協力してきました。 ますます多くのお客様が自社のSAP資産をAWSに移行するにつれて、SAP Cloud PlatformとAWSサービスを組み合わせて、これらの重要な投資を拡大するための追加のリファレンスアーキテクチャや統合パターンに関する支援も要望するようになっています。

Read More