Amazon Web Services ブログ

Amazon EMR は多くのカスタマーに、Apache Spark、Apache HBase、Presto、およびApache Flink などの一般的な分散型フレームワークを使用して、ビッグデータ処理あぷロケーションを素早く、コスト効率良く構築するようにエンパワメントします。Amazon EMR の分析アプリケーションを作成している組織の場合、自動化された形式でデータ資産を整理する必要がますます大きくなります。データベースは指数関数的に成長する傾向があるため、カタログ作成ツールを使用することは、データ探索を自動化し、データ資産を整理するために重要です。 AWS Glue データカタログは、この重要な機能を備えており、中央レポジトリのデータストアに関してメタデータを自動的に探索してカタログ作成できます。Amazon EMR 5.8.0 以降、カスタマーは Amazon EMR で実行中の Apache Hive と Spark SQL アプリケーションにメタデータストアとして AWS Glue データカタログを使用してきました。Amazon EMR 5.10.0 から、AWS Glue を使用してデータセットをカタログ化し、Hue (Hadoop User Experience) と Apache Zeppelin UI から Amazon EMR で Presto を使用してクエリを実行できます。 Amazon EMR 上で Prestoを実行するにはどのようなシナリオが必要か、Amazon Athena（Presto を hood の下でクエリとして使用する）を選択するのはいつかを迷うことがあるかもしれません。大量のデータをクエリし、さまざまなニーズとユースケースにたいおうするために、両方とも素晴らしいツールであることを理解することが重要です。 Amazon Athena […]

多くの画像に対してリサイズを行ったり、新しいデザインレイアウトにウォーターマークを付与したり、ブラウザのサポートのためにフォーマットの最適化を行ったことはありませんか？ 画像毎に事前処理を行う必要なく、必要に応じてその場ですぐに画像を自動生成できないかとおもったことはありませんか？ Lambda@Edge はそれらを可能にし、ユーザーの利便性を向上させ、帯域使用量を削減します。

顧客は、複数の Amazon Elasticsearch Service (Amazon ES) ドメインを適切に作成および実行して、製品、注文、サポートドキュメントに対するビジネスユーザーの検索ニーズ、および増加している同様のニーズのサポートで成功しています。このサービスは、組織全体で頻繁に使用されています。  これにより、ピーク時に 100% の容量で動作するドメインがいくつか発生し、ストレージスペースが不足し始めたドメインもありました。このように使用量が増えたため、テクニカルチームはサービスレベル契約を守れなくなる危険性がありました。  彼らは私に支援を求めました。 この記事では、自動アラームを設定して、ドメインに注意が必要なときに警告する方法を示します。

AWS ML プラットフォームチーム担当製品マネージャーである Kumar Venkateswar は、Amazon SageMaker でオートスケールの発表の詳細を共有します。 Amazon SageMaker により、何千もの顧客が容易に Machine Learning (ML) モデルを構築、訓練、およびデプロイすることができました。当社は Amazon SageMaker のオートスケール対応により、本番稼働の ML モデルの管理をさらに容易にしました。インスタンスの必要があるスケールと照合するために数多くのインスタンスを手動で管理する代わりに、SageMaker に AWS Auto Scaling ポリシーに基づいてインスタンスの数を自動的にスケールさせることができます。 SageMaker は多くの顧客のために ML プロセスの管理を容易にしました。顧客がマネージド型 Jupyter ノートブックとマネージド型配布トレーニングを利用するのを見てきました。SageMaker は、マシン学習をアプリケーションに統合するため、顧客が推論のために SageMaker ホスティングにモデルをデプロイしたのを見てきました。SageMaker はこのことを容易にします。推論ホスト上でオペレーティングシステム (OS) または枠組みをパッチすることについて考える必要はなく、アベイラビリティーゾーン全体で推論ホストを設定する必要はありません。SageMaker にモデルをデプロイするだけで、残りの部分は処理されます。 今まで、エンドポイント (または本番バリアント) ごとのインスタンスの数とタイプを指定して、推論に必要なスケールを求める必要がありました。推論の容量が変更された場合、その変更に対応するために、ダウンタイムの発生なしに、各エンドポイントに対応するインスタンスの数またはタイプ、もしくはその両方を変更できます。プロビジョニングの変更が容易であることに加えて、顧客は SageMaker の管理機能をさらに容易にするために私たちが行っている方法を尋ねてきました。 Amazon SageMaker の Auto Scaling を使用して、SageMaker コンソールで、AWS Auto Scaling API と AWS […]

既存のエンタープライズ認証情報を使用して AppStream 2.0 へのシングルサインオンアクセスを提供したいですか？ Active Directory Federation Services (AD FS) 3.0 は SAML 2.0 を使用した Amazon AppStream 2.0 へのシングルサインオンを提供するために使用することができます。 既存の Active Directory や任意の SAML 2.0 準拠の認証サービスを使用してユーザーに AppStream 2.0 アプリケーションへのシングルサインオンアクセスをセットアップすることができます。SAML 2.0 を使用した ID フェデレーションは現在すべての AppStream 2.0 リージョンで利用可能です。 この記事では Windows Server 2012 R2 で使用できる AD FS 3.0 を使用して AppStream 2.0 への ID フェデレーションを構成する方法について説明します。記事の最後に追加で、Windows Server 2016 で使用できる AD FS 4.0 を使用する場合についても補足します。

AWS IoTを用いたDeNAオートモーティブアーキテクチャ   先日、2018年2月7日に、渋谷ヒカリエにて開催された、DeNA TechCon 2018におきまして、「AWS IoTを用いたDeNAオートモーティブアーキテクチャ」と題した、DeNAの放地宏佳様による講演がありました。 AWS IoTをふんだんに活用して、Vehicle Architecture on AWSを実現されている舞台裏に関し、車両情報管理基盤の話を中心に、詳細な内容を発表いただきました。 車載デバイスから車両管理情報を収集して、車両情報集約基盤へと連携している具体的なワークフロー デバイス認証にどのような実装を施して、AWS IAMとのスムーズな連携を行なっているのかの詳細な解説 ビジネス要求の変化に柔軟に対応できるよう、拡張性を考慮したデバイスシャドウとルールエンジンの組み合わせによる利用の工夫 バックエンドのElasticsearchへのindexingのしやすさを考慮したデバイスシャドウのアトリビュート設計に対する工夫 もちろん、この他にも様々なAWSを活用いただいた事例を、Deep Learningや機械学習など、多くのセッションで触れていただいております。 ぜひ皆様にも、DeNA TechCon 2018のイベントページに訪れて、それぞれのセッションスライドに目を通していただきたいです。 DeNA様、放地様、素晴らしいカンファレンスと発表を、本当にありがとうございました！   ソリューションアーキテクト 半場光晴

計算化学の分野の Machine Learning (ML) メソッドは、急速に成長しています。アクセスが容易なオープンソルバー (TensorFlow と Apache MXNet など)、ツールキット (RDKit 化学情報ソフトウェアなど)、オープン科学イニシアチブ (DeepChem など) は、毎日の研究でこれらのフレームワークを容易に使用できるようにします。科学情報分野では、多くのアンサンブル計算化学ワークフローが多数の化合物を消費し、さまざまな記述子特性をプロファイリングする能力を必要とします。 このブログ投稿では、2 段階ワークフローについて説明します。最初のステージでは、約 1100 の候補の分子を採取し、AWS Batch を使用して、Dockerized RDKit を使用した 2D 分子記述子を計算します。  MoleculeNet.ai – ESOLV からの元のデータセットには、各化合物の測定済みの logSolubility (mol/L) が含まれます。第 2 ステージでは、Amazon SageMaker を Apache MXNet で使用して、線形回帰予測モデルを作成します。ML モデルはトレーニングと検証の 70/30 分割を実行し、30 エポック後の RMSE = 0.925 で、適合度 (Rˆ2) は 0.9 になります。 このブログ投稿では、単純化された分子入力ライン入力システム (SMILES) の入力を処理するワークフローを作成し、その後、Amazon SageMaker に送出して、logSolubility […]

Amazon SageMaker の事前構築済み深層学習フレームワークコンテナが TensorFlow 1.5 および Apache MXNet 1.0 のサポートを開始。いずれも、SageMaker ml.p3 インスタンス上でより優れたパフォーマンスを出すために CUDA 9 最適化を活用します。パフォーマンスのメリットに加えて、TensorFlow での Eager の実行、MXNet での NDArrays の高度なインデックス作成機能など、最新の機能を活用できるようになります。変更内容の詳細についてはこちらとこちらをご覧ください。 Amazon SageMaker の事前構築型深層学習コンテナのご利用が初めての方は、使用方法について解説したサンプルのリポジトリをご覧ください。ユーザーが人間に理解しやすい様式で TensorFlow または MXNet のコードを書き、そのコードを Amazon SageMaker の分散型管理トレーニングクラスタやリアルタイムにホストされるエンドポイントへ送って処理できるようにします。これにより、ノートパソコン上のデータのサンプルで深層学習コードを書いたり、テストしたりし、その後、複数のマシンや GPU 環境のフルデータセット上で実行するために、容易に拡張する能力と柔軟性を提供します。 最新のコンテナを使用するには次のステップに従ってください。 次を使って SageMaker Python SDK の最新バージョンをインストール (または更新)pip install -U sagemaker ユーザーの新しいジョブではデフォルトで各フレームワークの最新バージョンが使用されます。しかし、ワークローでフレームワークの古いバージョンを使用する必要があるときは、次の手順でバージョンを指定できます。 MXNet の 場合: from sagemaker.mxnet import MXNet estimator = MXNet(entry_point=’mnist.py’, framework_version=’0.12’, role=role, […]

AWS 深層学習 AMI は、完全に設定された環境を提供するため、人工知能 (AI) の開発者とデータ科学者はすぐに深層学習モデルを使い始めることができます。Amazon Machine Images (AMI) には、柔軟で直感的な深層学習 (ディープラーニング) のフレームワークである Chainer (v3.4.0) のみならず、最新バージョンの Apache MXNet と PyTorch を含みます。 Chainer の Define by Run アプローチにより、開発者はトレーニング中にすぐに計算グラフを変更することができるようになります。これは、シーケンスからシーケンスへの翻訳や質疑応答システムなど、自然言語処理 (NLP) タスクに使用されるリカレントニューラルネットワーク (RNN) などのダイナミックニューラルネットワークを実装する上でより大きな柔軟性を与えます。Chainer は、Amazon EC2 P3 インスタンスに搭載されている NVIDIA Volta GPU の計算処理を加速するための NVDIA CUDA 9 と cuDNN 7 ドライバーを使う CuPy を利用するように設定されています。当社のステップバイステップのチュートリアルを使用して、Chainerをすぐに使い始めることができます。 Ubuntu と Amazon Linux に対応している深層学習AMI は、各深層学習フレームワークの公式な最新バージョンのビルド済pipバイナリを、Condaベースの仮想環境で分離して提供します。各フレームワークは、サポートする NVIDIA CUDA […]

一部のお客様から Amazon Elasticsearch Service (Amazon ES) スローログの効率的な分析についてガイダンスを求められました。こうしたお客様の声の一例を下にご紹介します。 「当社では、Amazon Elasticsearch Service 環境で動作の遅いクエリを特定し、分析してトラブルを解決したいと考えています。これはクエリを送信するアプリケーションの修正が目的です。Elasticsearch スローログが Amazon ES で提供されるようになったという記事を読みました。ブログ投稿でスローログを表示する方法の説明を読みましたが、ログが当社のパフォーマンスダッシュボード (これも Amazon ES で動作しています) に流れるようにしたいのです。設定方法を教えてください!」 スロークエリの原因を知りたいですか? 最もパフォーマンスが低いクエリを特定したいですか? インデックス設定をデバッグしますか? このブログ投稿でその方法がわかります。 ソリューションの概要 Amazon ES での Elasticsearch スローログの可用性でもお知らせしましたが、Amazon ES クラスターの設定で Amazon CloudWatch Logs にスローログを送ることができるようになりました。これでスローログメッセージを確認して、ご利用の Amazon ES クラスターのパフォーマンスをより詳しく理解し、動作が低下している検索またはインデックス作成操作を特定できます。 CloudWatch Logs は、ログメッセージを処理や追加の分析のために他のサービスに提供するサブスクリプションをサポートしています。サポートされているサブスクリプションの 1 つが Amazon ES です。Amazon ES クラスターにログを送信するようにサブスクリプションを設定すると、サブスクリプションにより AWS Lambda を使用する関数が自動的に作成されます。CloudWatch がすべてのメッセージを Lambda 関数に送信し、この関数により、メッセージはターゲットの […]