Amazon Web Services ブログ

Amazon SageMaker スクリプトモードでの TensorFlow Eager Execution の使用

 このブログ記事では、TensorFlow の Eager Execution モードでモデルを訓練するために Amazon SageMaker のスクリプトモードを使用する方法について説明します。Eager Execution は TensorFlow の未来であり、現在最新の TensorFlow 1.x バージョンでオプションとして利用可能ではあるものの、TensorFlow 2 ではデフォルトモードになる予定です。今回は、スクリプトモードと Eager Execution について簡単に説明してから、代表的な回帰タスクシナリオをご紹介します。次に、スクリプトモードと Eager Execution を併用して、このタスクを解決するワークフローについて説明します。このブログ記事のためのノートブックと関連コードは GitHub から入手することができます。それでは、スクリプトモードから見ていきましょう。 Amazon SageMaker のスクリプトモード Amazon SageMaker は、TensorFlow などの人気の高い機械学習 (ML) および深層学習フレームワークの一部を使ったモデルの訓練とデプロイメントを容易にする API と事前構築されたコンテナを提供します。Amazon SageMaker は、コンテナの構築や基盤となるインフラストラクチャの管理について心配することなく、カスタム TensorFlow コードを使用したモデルを訓練してデプロイするために使用できます。Amazon SageMaker の Python SDK TensorFlow Estimator、および Amazon SageMaker のオープンソース TensorFlow コンテナは、TensorFlow スクリプトを記述して、それを Amazon SageMaker […]

Read More

Amazon Athena と Amazon QuickSight を使用して、200 年以上にわたる世界の気候データを視覚化する

気候変動は、私たちの生活の質に深く影響を及ぼし続けています。その結果、持続可能性に関する調査が増えています。公共部門と民間部門の両方の研究者が、記録された気候履歴を研究し、気候予測モデルを使用することによって将来に備えています。 こうした概念を説明するのを助けるために、この投稿では Global Historical Climatology Network Daily (GHCN-D) を紹介します。 このレジストリは、地球規模の気候変動研究コミュニティによって使用されています。 また、この投稿では、アマゾン ウェブ サービス (AWS) のサービスが気候変動調査のためにこのデータへのアクセスをどのように改善するかについても段階的に示します。データサイエンティストやエンジニアはこれまで、このデータを照会するために高性能コンピュータ上の何百ものノードにアクセスしなければなりませんでした。現在は、AWS でいくつかの手順を使用するだけで、同じデータを入手できるようになりました。 背景 地球規模の気候分析は、研究者が地球の自然資本と生態系資源に対する気候変動の影響を評価するうえで不可欠です。この活動には質の高い気候データセットが必要ですが、規模と複雑さのためにそのデータセットを使用するのはとても困難です。研究成果に自信を持つために、研究者は扱っている気候データセットの起源について自信を持っていなければなりません。たとえば、研究者は次のような質問に答えようとしているかもしれません。「特定の食料生産地の気候が、食料安全保障に影響を与えるように変化しましたか?」 研究者は簡単に信頼できる選ばれたデータセットを照会することができなければなりません。 米国の国立環境情報センター (NCEI) は、世界中の気象観測所による観測に基づいた気候データのデータセットを管理しています。それが、Global Historical Climatology Network Daily (GHCN-D) であり、地上局からの毎日の天気概要をまとめた中央リポジトリです。毎日更新される何百万もの品質保証された観測結果で構成されています。 記録される最も一般的なパラメータは、毎日の気温、降雨量、降雪量です。これらは干ばつ、洪水、異常気象のリスクを評価するうえで有益なパラメータです。 課題 NCEI は、GHCN_D データを年ごとに整理した CSV 形式で、FTP サーバーを介して利用可能にしています。データを年ごとに整理すると、アーカイブの完全なコピーには 255 を超えるファイルが必要になります (アーカイブの最初の年は 1763 年です)。従来、研究者がこのデータセットで作業をしたい場合、まずダウンロードしてローカルに取り組まなければなりませんでした。確実に最新のデータを分析に使用したい場合、毎日このダウンロードを繰り返さなければなりません。 研究者にとって、このデータから洞察を引き出すことが困難である場合があります。技術的スキル、コンピューティングリソース、主題に関する専門知識が必要であるため、データに完全に取り組むことができなければならないのです。 新しい効率的なアプローチ AWS と NOAA ビッグデータプロジェクトのコラボレーションによって、GHCN_D データセットの毎日のスナップショットが AWS で利用可能になりました。このデータは、Amazon S3 バケットを介して一般にアクセス可能です。詳細については、AWS の Registry of […]

Read More

M5、M5d、R5、R5d、および z1d の 5 つの新しい Amazon EC2 ベアメタルインスタンスがご利用いたけるようになりました

本日、AWS は数ヵ月前にお約束した 5 つの新しい EC2 ベアメタルインスタンスの提供を開始します。オペレーティングシステムは基盤となるハードウェア上で実行され、プロセッサおよびその他ハードウェアに直接アクセスできます。これらのインスタンスは、持続的な全コアターボのパフォーマンスを提供する、AWS 向けにカスタマイズされた Intel® Xeon® Scalable Processor (Skylake) プロセッサで駆動します。 仕様は以下のとおりです。 インスタンス名 持続的な全コアターボ 論理プロセッサ メモリ ローカルストレージ EBS最適化帯域幅 ネットワーク帯域幅 m5.metal 最大 3.1 GHz 96 384 GiB – 14 Gbps 25 Gbps m5d.metal 最大 3.1 GHz 96 384 GiB 4 x 900 GB NVMe SSD 14 Gbps 25 Gbps r5.metal 最大 3.1 GHz 96 […]

Read More

【開催報告】第2回 Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 (AWS) ソリューションアーキテクトの針原佳貴です。 AWS では、Amazon SageMaker のハンズオンとお客様の登壇による事例紹介を合わせたイベント「Amazon SageMaker 事例祭り」を毎月開催しています。2018年2月12日に目黒オフィスで第2回 Amzon SageMaker 事例祭りが開催され150名ほどの方にご参加頂いたので、以下でその概要についてお伝えします。今回の Amazon SageMaker 事例祭りは Chainer x AWS というテーマで、セミナーと事例発表の二部構成で開催されました。   セミナー 「Chainer v5 とこれから ~学習と推論の最新機能~」株式会社Preferred Networks リサーチャー 得居誠也 様 [slides] Chainer は Python で実装された Define by Run の深層学習フレームワークで、NumPy のような既存の Python ライブラリをそのまま使い、直感的な API によるモデルの記述ができます。本発表ではまずこれらの設計思想と API の解説を改めて Chainer のリード開発者である 株式会社Preferred Networks 得居様からお話し頂きました。また、大規模データに対するトレーニングの際に求められる Serializers によるパラメータのファイル出力や、ONNX-Chainer, […]

Read More

AWS Security Profiles: 梅谷 晃宏、Office of the CISO Japan Lead

東京で開催されるイベント Solution Days を後に控え、当イベントに登壇予定の AWS 社員へインタビューを行いました。経歴や現在取り組んでいる事項についてご紹介いたします。 (※取材当時の記事となります。本年度の Solution Days は終了いたしました。原文はAWS Security Profiles: Akihiro Umegai, Japan Lead, Office of the CISO) AWS での勤続年数と、役割について教えてください。 AWS に入社して 6 年半になります。私は、Mark Ryland が率いるチーム Office of the CISO(OCISO) の日本の代表を務めていますが、AWS 全体統括している最高情報セキュリティ責任者(CISO)の Steve Schmidt をサポートする役割を担っています。お客様向けの AWS Securityサービスに関連した支援を提供し、社内のセキュリティタスクの一部も担当しています。 OCISO の日本代表としてのあなたの役割と、米国におけるその役割との違いはどのようなものでしょうか? 米国企業が日本でビジネスを展開する場合、言葉と文化の壁に直面することが多いと思います。おそらく 9 割以上の日本企業は英語を日常的には使用していないでしょう。そのため米国企業にとって日本のお客様とコミュニケーションする際には通訳を入れるなど工夫が必要となり、一般的に意思疎通が少し難しいと感じる場面が多いと思います。また、外国人にとっては非常に独特と思えるような伝統的な商習慣や文化的な背景が日本にはあります。特に日本人は絆や信頼の構築という点を非常に重視していると思います。こうした言語の壁と文化の違いが日本でビジネスを行う上で、最も重要な点になると思います。 しかし、そういったちょっとしたハードルがあったとしても、それを克服してチャレンジするに足るビジネス上の非常に大きいポテンシャルが日本の市場にはあると言えます。私は、日本と米国の AWS 本社間のいわばショック・アブゾーバー、またはスタビライザーとして機能しているとよく話をしています。AWS の米国チームの方向性や要点を解釈し、それを日本の市場に適応、順応させていくことが、日本のお客様との適切なコミュニケーションとして重要です。 こうしたいった点は大きな違いと言えるかと思います。 あなたの仕事で最も困難なことはどのようなことですか? 日本は米国の市場の動向をある程度追従する傾向があると思います。たとえば、CISOに関する認識などもそうです。日本でも同様に、最高情報セキュリティ責任者(CISO)、つまり自社のために包括的なセキュリティ問題について決定を下す人々が必要という意識は高まっていると思います。ただし、CISO の概念は日本市場に浸透しはじめたばかりで CISO が企業の経営幹部レベルにおいて重要な職責であるとは、あまり認められていないと感じます。Steve Schdmit […]

Read More

Amazon Corretto 11 が Preview リリースされました。

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン株式会社、 エバンジェリストの亀田です。 2019年1月にリリースされたAmazon Corretto 8 の新しいバージョンである、Amazon Corretto 11 が Previewとしてっリリースされました。 Amazon Corretto 8 はOpenJDK 8に対応したマルチプラットフォームで本番環境に対応した、無料の Open Java Development Kit (OpenJDK) ディストリビューションです。Amazon は、社内において何千もの本番サービスで Corretto を実行しており、Corretto は Java SE 標準と互換性があるため、Linux、Windows、MacOS などの一般的なオペレーティングシステムで Java アプリケーションを開発し、実行することができます。 Javaの父と言われている、ジェームズ・ゴスリングがAWSにJoinし、その特徴を説明しています。 Amazon Corretto 8 は一般提供がされていますが、今回新たに OpenJDK 11に対応したバージョンが Previewとしてリリースされました。 Amazon Correttoはマルチプラットフォームに対応し、AWS以外で動作させることも可能です。そして、Amazon Linux 2 ではJune 30, 2023までの長期サポート ( LTS : Long Time Support)を表明しており安心してお使いいただけます。 […]

Read More

IoT atlasのご紹介(デザインパターン)

AWS IoTが利用可能になった2015年から、センサーネットワークやコントロールシステムアーキテクチャやマシンツーマシン(M2M)ネットワークの、成熟した長年あるドメインへクラウド開発の概念を含めように修正する必要がでています。 IoT Atlasは、使いやすく検索可能なWebサイト(https://iotatlas.net)で入手できるIoTデザインパターンです。 IoT AtlasはクラウドでIoTソリューションを構築している人が利用できるように想定し、デザインの更新や拡張を行います。 IoT Atlasは、新規および長期にわたるソリューションビルダーのためのリソースです。 デザインはクラウドサービスにとらわれないため、IoT AtlasはGitHubのリポジトリとして公開されています。 Creative Commonsライセンスの下でコンテンツを公開することで、デザインのアイデア、考慮事項、および例の顧客、フィールド、およびパートナーの貢献を促進します。 また、ソリューションにおける新しいIoTパターンについての会話と理解を促進したいと考えています。 現時点で IoT Atlasは以下のデザインが利用可能です。 コマンド:要求元のエンティティは、ステータスの確認応答とともに、デバイスに単一のアクションを実行するように要求する。 デバイスブートストラップ:未登録のデバイスが登録され、IoTソリューションとして機能するようになる。 デバイスステータスレプリカ:物理デバイスから報告された状態または望ましい将来の状態の論理表現。 ゲートウェイ:デバイスは、ローカルデバイスとデバイスおよびクラウドの間の仲介役として機能。 ソフトウェアアップデート:デバイスは新しいソフトウェアを入手し、アップデートを実行、完了の確認をする。 テレメトリ:遠隔環境のセンサーからデータを収集し、その測定値を他のコンポーネントで使用できるようにする。 テレメトリアーカイブ:デバイスの測定値が保存され、元の形式または処理された形式で使用できるようにする。 たとえば、従来のテレメトリソリューションでは、オンプレミスデバイスからセンサーデータを取得し、そのデータをFTP、HTTP、またはその他のメカニズムを使用して自分で運用しているサーバーに送信することができます。 IoT Atlasのテレメトリ設計では、マネージドなクラウドベースのIoTメッセージングプロトコルとプロトコルエンドポイントを使用しています。 このため、オリジナルのテレメトリ設計は、グローバルなハイパースケールクラウドを含む改訂の恩恵を受けます。 これはIoTデザインの初公開となるために、IoT Atlasを成長するリソースにするためのあなたの助けを待っています。 IoTの設計、考慮事項、および例についてのアイデアやコンテンツを読んで、レビューし、コメントする時間を少しいただけませんか?コントリビュートの方法はこちらをご参照ください。 私たちは一緒にIoTソリューションの成功に向かって業界を導くマップを作成することができます。 原文はこちら 翻訳はSA 小梁川が担当しました

Read More

Amazon RDS for MySQL のパラメーターを設定するためのベストプラクティス。パート 3: セキュリティ、操作管理性、および接続タイムアウトに関連するパラメーター

このシリーズの前回のブログ投稿では、Amazon RDS for MySQL でレプリケーションを最適化するために使用する MySQL パラメータと、それらに関連するベストプラクティスについて説明しました。本日の記事では、RDS MySQL 環境でさまざまなセキュリティ機能を実装するために最も重要で一般的に使用されている MySQL パラメータについて説明します。また、RDS DB インスタンスの操作管理と問題のトラブルシューティングに役立つパラメータについても説明します。さらに、照合順序と文字セットに関連するいくつかの便利なパラメータについても説明します。 セキュリティに関連するパラメータ 今から、セキュリティ関連の各パラメータを設定するベストプラクティスをご紹介します。 init_connect このパラメータは、接続する各クライアントに対して実行するサーバーの文字列を定義します。このパラメータにはデフォルト値はありません。文字列は、セミコロンで区切られた 1 つ以上の SQL 文で構成されています。 たとえば、このパラメータを使用して、どのデータベースユーザーがデータベースに正常に接続したかの簡単な監査を作成できます。そのためには、まず監査テーブルとトリガーを作成します。その後、init_connect 値をトリガー名に設定します。設定したら、クライアントがパラメータを接続するたびに、接続の詳細が監査テーブルに書き込まれます。 次の例のように、このパラメータを使用して特定のユーザーアカウントの自動コミットを無効にすることもできます。 init_connect = ‘set autocommit=case current_user() when ‘test@localhost’ then 0 else 1 end’. old_passwords このパラメータは、PASSWORD 関数で使用するパスワードハッシュ方式を制御します。また、IDENTIFIED BY 句を使用してパスワードを指定する CREATE USER ステートメントおよび GRANT ステートメントによって実行されるパスワードハッシュにも影響します。 このパラメータを有効にしないことを強くお勧めします。有効にした場合、PASSWORD 関数は安全でないパスワードハッシュを使用してしまうからです。このパラメータのデフォルト値は 0 で、これは MySQL バージョン 4.1 のネイティブハッシュを使用します。 default_password_lifetime […]

Read More

AWS SCT と併せて Workload Qualification Framework (WQF) を使用した OLTP と OLAP の各ワークロードの分類

移行は複数のフェーズがあるプロセスで、実行する移行のタイプに応じて異なるステップが関わってきます。AWS Schema Conversion Tool (AWS SCT) レポートの活用とパートナーとの協力によって、その作業の 50 パーセント以上を自動化することができますが、それでもまだ残っている多くの作業を行う必要があります。そこで役立つのが Workload Qualification Framework (WQF) です。 この記事では、お客様のエンタープライズインフラストラクチャを移行するプロセス全体の分析に役立つ、AWS SCT のための WQF モジュールをご紹介します。WQF は、移行戦略がある場合はそれを推奨し、適切な移行ツールを提示します。また、これらの情報を明確に伝達します。 WQF は、OLTP と OLAP の各ワークロードを評価して分類する援助を行うソリューションアーキテクト、パートナー、およびコンサルタントのために設計されています。WQF は、移行の容易さ、スタッフの時間消費、および AWS のサービスにおける適切な対象サービスを判断する助けになります。 以下の図は、AWS SCT と併せて WQF を使用する場合のプロセスの概要を示したものです。 WQF は移行プロセスの計画フェーズ中に、データとそのデータを使うアプリケーションの移行に何が必要になるかを判断するために使用できます。WQF レポートは、以下を実行することによってユーザーを助けます。 以下によるワークロードの評価と各ワークロードのスコア付け。 専有機能の評価 複雑性 サイズ 使用されるテクノロジー 移行戦略の推奨 移行ツールの推奨 移行エンジニアが活用するための明瞭なフィードバックの提供 これらに加えて、WQF は AWS Data Migration Service (AWS DMS) とも統合されています。 WQF は […]

Read More

Gubagoo が、Amazon Translate を使って自動車ディーラー向け翻訳対応ライブチャットを構築

Gubagoo は、自動車ディーラー向けの高度なコミュニケーションソリューションの一流プロバイダーです。Gubagoo は、自動車の顧客が車を購入するときやサービスの予約をするときは、いつでも個別化された体験や役立つ情報を求めていることを理解しています。さらに、顧客は自分の母国語でのコミュニケーションを望んでいます。ただし、米国のディーラーは、スタッフが通常英語しか話さないため、こうしたコミュニケーションを行うことは困難です。この問題に対処するために、Gubagoo は ChatSmart と呼ばれるライブチャットソリューションを提供しています。ディーラーは ChatSmart をウェブサイトと統合し、顧客との最初の会話をリアルタイムで複数の言語で管理することができます。これを実現するために、ChatSmart は、手ごろな価格で迅速かつ高品質な言語翻訳を提供するニューラル機械翻訳サービスである Amazon Translate を使用しています。 ChatSmart ソリューションの外観は次のようになります。 ChatSmart を導入するディーラーが増えるにつれ、Gubagoo は、会話の 10% 以上が英語以外の言語で行われていることに気がつきました。「車の購入客に自分が選択した言語でコミュニケーションする能力を与えることで、より多くの消費者との接点が生まれ、ディーラーはより多くの見込み客を獲得できます」と、Gubagoo の CTO である Ilia Alshanetsky 氏は言います。「そのための最も効率的な方法は、私たちのソリューションをニューラル機械翻訳サービスプロバイダーとシームレスに統合することだと気付いたのです。」 Gubagoo はいくつかの機械翻訳サービスを試した結果、競合ソリューションに比べて 2 倍高速なパフォーマンスと 25% 低いコストをもたらしてくれることが分り、Amazon Translate を選択しました。 「Amazon Translate によって、英語以外の言語の消費者に販売するディーラーをしっかりサポートできるようになりました」と、Alshanetsky 氏は続けて言いました。「例えば、プエルトリコでディーラーをしている当社のクライアントに対してスペイン語で始められた会話を Amazon Translate を使って翻訳しており、その内の 48% が販売機会につながっています。翻訳はとても自然なもので、消費者はスペイン語を話さない人とチャットをしているとは思わないほどです。」 顧客がライブチャットを使用して会話を開始すると、Amazon Comprehend 言語検出 API が顧客が使用している言語を認識します。テキストが英語であれば、翻訳は不要です。テキストが英語以外の言語であれば、Amazon Translate API がテキストを英語に翻訳してチャットスペシャリストに配信します。チャットスペシャリストが英語で応答すると、Translate API が応答を翻訳し、顧客が希望する言語でテキストを提供します。 下が、このワークフローの図です。 例: ChatSmart […]

Read More