Amazon Web Services ブログ

Category: Storage

既存の Amazon EMR クラスターから Hue データベースを移行する方法

Hadoop User Experience (Hue) は、Amazon EMR および Apache Hadoop で使用する、オープンソースでウェブベースのグラフィカルユーザーインターフェイスです。Hue データベースには、ユーザー、グループ、許認可、Apache Hive クエリ、Apache Oozie ワークフローなどが格納されています。 Hue データベースを新しい EMR クラスターに移行したいとしましょう。例えば、Amazon EMR AMI (Amazon Machine Image) の古いバージョンからアップグレードしたいとします。Hue アプリケーションとそのデータベースには、数多くのカスタマイズがあります。これらのユーザーエンティティの再作成は必要なく、さらに既存の Hue データベースまたは Amazon RDS のリモートデータベースを新しいクラスターに移行することで、Hue のクエリとワークフロー履歴を保持する必要もありません。 デフォルトでは、Hue のユーザー情報とクエリ履歴は、EMR クラスターのマスターノード上のローカル MySQL データベースに格納されます。ですが、Amazon S3 に格納されている構成とリモートの MySQL データベースを Amazon RDS で使用して、1 つ以上の Hue 対応クラスターを作成できます。これにより、Amazon EMR クラスターを稼動させずに、Hue で作成するユーザー情報とクエリ履歴を保持することが可能となります。 この記事では、既存の EMR クラスターから Hue データベースへ移行するための手順を、ステップバイステップで説明します。

Read More

風力発電: AWS でのオープンデータ

空間コンテキストでプロセスを記述するデータは、私たちの日常生活のいたるところにあり、ビッグデータの問題を支配しています。たとえば、道路ネットワークや衛星からのリモートセンシングデータを記述する地図データは、どこへ行く必要があるか示してくれます。シミュレーションやセンサーからの大気データは、天気予報や気候モデルの基礎となります。GPS を備えたデバイスおよびセンサーは、ほぼすべてのモバイルデータに空間的なコンテキストを提供できます。 この記事では、Amazon のクラウドサービスで世界に公開されている膨大な (500 TB) オープン気象モデルデータセットの WIND ツールキットを紹介します。このデータにアクセスする方法と、こうしたデータに簡単にアクセスできるように開発されたオープンソースソフトウェアのいくつかを説明します。このソリューションでは、グリッド (ラスタ) 上に存在する地理空間データのサブセットを検討し、気象モデルから大規模なラスタデータへのアクセスを提供する方法を探索します。このソリューションでは、基礎的な AWS のサービスと、科学データ用によく採用されている形式である Hierarchical Data Format (HDF) を使用します。

Read More

Amazon CloudFront & Lambda@Edge で画像をリサイズする

多くの画像に対してリサイズを行ったり、新しいデザインレイアウトにウォーターマークを付与したり、ブラウザのサポートのためにフォーマットの最適化を行ったことはありませんか? 画像毎に事前処理を行う必要なく、必要に応じてその場ですぐに画像を自動生成できないかとおもったことはありませんか? Lambda@Edge はそれらを可能にし、ユーザーの利便性を向上させ、帯域使用量を削減します。

Read More

2018年3月のAWS Black Belt オンラインセミナーのご案内

こんにちは。ソリューションアーキテクトの石井です。2018 年 3 月の AWS Black Belt オンラインセミナーの配信についてご案内をさせて頂きます。 2018 年 3 月の BlackBelt セミナーでは、ソリューションカットとして、働き方改革を実現するための AWS の VDI やオンラインミーティングサービス、Well-Architected Framework を活用したコスト最適化、データウェアハウスの AWS クラウドへの移行方法、AWS IoT でのデバイス管理・運用をする際に検討すべきポイント、などをご紹介します。 サービスカットでは、機械学習モデルの開発・学習・推論を素早く簡単に行うための Amazon SageMaker、ストレージとコンピューティング機能を備えた 100TB のデータ転送デバイス AWS Snowball Edge、動画ストリーミングを低遅延で分析処理に配信するための Amazon Kinesis Video Streams など、盛り沢山でお送りします。 なお、2018 年 3 月の BlackBelt セミナーは通常の火・水以外の変則的な開催日もございますのでご注意下さい。 3 月の開催予定 ソリューションカット 3/6(火)12:00-13:00 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス 3/13(火)12:00-13:00 Well-Architected Framework によるコスト最適化 3/19(月)12:00-13:00 […]

Read More

S3 Select と Glacier Select – オブジェクトのサブセットを取得

Amazon Simple Storage Service (S3) は、各業界のマーケットリーダーが使用する数百万のアプリケーションのデータを保存しています。セキュアで耐久性のある非常に低コストのアーカイブストレージとして、これらの多くのお客様は Amazon Glacier も使用しています。S3 では、望むだけの数のオブジェクトを格納することができますし、個々のオブジェクトは最大5テラバイトとすることができます。オブジェクトストレージのデータは、通常1エンティティ全体としてアクセスされます。そのことは、例えば 5GB のオブジェクトに対してなんらかの要求をすれば、5GB 全てのデータ取得を行うことを意味します。これはオブジェクトストレージとしては自然なことです。 2017年11月29日、このパラダイムに挑戦すべく、S3とGlacierに2つの新機能を発表します。シンプルなSQL文を利用して、それらのオブジェクトから必要なバイトだけを引き出すことを可能としました。この機能により、S3やGlacierのオブジェクトにアクセスするすべてのアプリケーションが強化されます。 S3 Select プレビューとして発表された S3 Select により、アプリケーションはシンプルなSQL文を用いて、オブジェクトからデータの一部分のみを取り出すことができます。アプリケーションが必要とするデータのみを取得するので、大幅なパフォーマンス向上が達成でき、400%ほどの改善が見込めることもあります。

Read More

AWS Storage Gateway でファイルインターフェイス

「 のレビュー」といったブログカテゴリを追加した方がいいかもしれませんね。去年の 11 月、 に重要な機能を追加しましたが、忙しすぎてその調査やブログを書く時間を取れずにいました。 は既存のアプリケーションと の間に位置するマルチプロトコルストレージアプライアンスです。お使いのアプリケーションやクライアントオペレーティングシステムは (設定によりますが) ゲートウェイをファイルサーバー、ローカルディスクボリュームまたは仮想テープライブラリ (VTL) と見なします。その背景でゲートウェイはコスト効率が良く耐久性のある安全なストレージに を使用しています。 はデータをローカルでキャッシュし、帯域幅の管理機能を使用してデータ転送を最適化します。 はインストールや設定そして実行が簡単な自己完結型の仮想アプライアンスとして提供されています (詳細は「Storage Gateway のユーザーガイド (Storage Gateway User Guide) 」をご覧ください)。既存の環境でクラウドストレージのスケールや耐久性そしてコスト面におけるメリットを活用できます。既存のファイルやディレクトリを S3 に移動するプロセスを減らし、ドラッグアンドドロップ (または CLI ベースのコピー) でシンプルに移動できます。その他多くの AWS サービスと同様に、2012 年にリリースされてから にいくつもの機能が追加されてきました (「AWS Storage Gateway – AWS クラウドストレージと既存のオンプレミスアプリケーションを統合 (The AWS Storage Gateway – Integrate Your Existing On-Premises Applications with AWS Cloud Storage)」)。 をリリースした時点で、ストレージボリュームの作成や iSCSI デバイスにアタッチできたほか、ボリュームすべてを保存したり、ゲートウェイでもっとも頻繁にアクセスされているデータのキャッシュを保存するオプションを提供します。そして、これらはすべて […]

Read More

AWS ストレージの更新 – S3 と Glacier の値下げ + Glacier に追加された取得オプション

2006 年に、S3 のサービスを画期的な従量課金制 (月額 15 セント/GB の初期料金) で開始しました。以降、これまでの間に GB あたりの料金を 80% 値下げし、すべての AWS リージョンで S3 を開始しました。元の汎用モデルにはユーザー主導型の機能として、ウェブサイトのホスティング、VPC の統合、IPv6 のサポートなどが追加され、さらに S3 の低頻度アクセスなどの新しいストレージオプションも追加されました。AWS の多くのお客様は、法的、コンプライアンス、その他の目的で重要なデータをアーカイブしますが、このようなデータは滅多に参照することがないため、2012 年に Glacier を発表しました。そして、ライフサイクルのルールを使用して S3、S3 の低頻度アクセス、Glacier の間でデータを転送する機能を提供しました。ここでは、2 つのビッグニュースを紹介します。まず、S3 の標準ストレージと Glacier ストレージの料金が値下げになります。さらに、Glacier に新しい取得オプションが追加されます。 S3 と Glacier の値下げ AWS を長くご利用いただいているお客様はご存じだと思いますが、AWS では絶えずコスト削減に取り組んでおり、その結果を AWS の値下げという形でお客様に還元しています。S3 の標準ストレージの GB あたりの料金は、ほとんどの AWS リージョンで 2016 年 12 月 1 日より値下げになります。12 月の使用量に対する請求には、自動的に値下げ後の新料金が反映されます。標準ストレージの新料金は以下のとおりです。 リージョン 0〜50 […]

Read More

新たに HIPAA に対応の AWS Snowball

最近では、かかりつけの医師、歯科医、病院、その他のヘルスケアプロバイダーなどが多くのツールやテクノロジーを使用して機密性の高いデジタルデータを大量に生成しています。その他にも大量に生成されているデータには、ゲノム配列や数々のアクティビティ、フィットネストラッカーなどがあります。このように大量に押し寄せるデータから有益な情報を得たいと多くの人々が考えていますが、それと同時にこの種の情報が安全に保護された状態で保存され、責任ある方法で処理されることを望んでいます。米国では HIPAA (医療保険の携行性と責任に関する法律) がヘルスケアデータの保護を統制しています。多くの AWS ユーザーは、機密性の高いヘルスケアデータをクラウドに保存し処理できることを望んでいます。そこで AWS では HIPAA を対象とする複数の AWS サービスを提供することにしました。つまり、こうしたサービスを利用して保護医療情報 (PHI) を処理したり、HIPAA 対応のアプリケーションを構築することができます (Cleveland Clinic、Orion Health、Eliza、Philips、その他 AWS ユーザーの使用事例については HIPAA in the Cloud をご覧ください)。去年ご紹介した AWS Snowball について簡単にご説明します。これは AWS が所有するストレージアプライアンスで、大量のデータ (通常 10 テラバイト以上) を 1 回限りまたは定期的に AWS に移動するために使用する機能です。 から Snowball をリクエストし、届き次第ネットワークに接続してデータを Snowball にコピーします。その後、AWS に送り戻せばこちらでそのデータをお客様が選択された AWS ストレージサービスにコピーします。Snowball はユーザーが指定し管理するキーを使用してデータを暗号化します。そして本日、AWS は 、、、、、、 (MySQL と Oracle)、、 に続き Snowball を […]

Read More