Amazon Web Services ブログ

既存の Amazon EMR クラスターから Hue データベースを移行する方法

Hadoop User Experience (Hue) は、Amazon EMR および Apache Hadoop で使用する、オープンソースでウェブベースのグラフィカルユーザーインターフェイスです。Hue データベースには、ユーザー、グループ、許認可、Apache Hive クエリ、Apache Oozie ワークフローなどが格納されています。 Hue データベースを新しい EMR クラスターに移行したいとしましょう。例えば、Amazon EMR AMI (Amazon Machine Image) の古いバージョンからアップグレードしたいとします。Hue アプリケーションとそのデータベースには、数多くのカスタマイズがあります。これらのユーザーエンティティの再作成は必要なく、さらに既存の Hue データベースまたは Amazon RDS のリモートデータベースを新しいクラスターに移行することで、Hue のクエリとワークフロー履歴を保持する必要もありません。 デフォルトでは、Hue のユーザー情報とクエリ履歴は、EMR クラスターのマスターノード上のローカル MySQL データベースに格納されます。ですが、Amazon S3 に格納されている構成とリモートの MySQL データベースを Amazon RDS で使用して、1 つ以上の Hue 対応クラスターを作成できます。これにより、Amazon EMR クラスターを稼動させずに、Hue で作成するユーザー情報とクエリ履歴を保持することが可能となります。 この記事では、既存の EMR クラスターから Hue データベースへ移行するための手順を、ステップバイステップで説明します。

Read More

AWS Database Migration Service のログ管理

AWS DMS を完全に管理できるように、レプリケーションインスタンスの移行ログを管理する機能をAWSは導入しました。この機能を使用することで、特定のレプリケーションインスタンスの各タスク用のログがどれくらいストレージを消費しているかを確認することもできます。さらに、この機能を利用すると、あなたが都合の良いときにログファイルをパージできます。

Read More

[AWS Black Belt Online Seminar] データウェアハウスのAWSへの移行 資料及びQA公開

こんにちは、ソリューションアーキテクトの有岡です。 先日(2018/3/19)開催致しました AWS Black Belt Online Seminar「データウェアハウスのAWSへの移行」の資料を公開いたしました。当日、参加者の皆様から頂いた QA の回答と併せてご紹介致します。

Read More

新機能 – Amazon DynamoDBに継続的バックアップとPoint-In-Time-Recovery(PITR)機能が追加されました

Amazon DynamoDBチームはencryption at restに引き続き新しい機能を発表しました。AWS re:Invent 2017 では、グローバルテーブルの作成と DynamoDBテーブルのオンデマンドバックアップとリストアを発表しました。そして今日、継続的バックアップとしてPITR(ポイントインタイムリカバリ)を利用出来るようになりました。 AWS Management Consoleからワンクリックするか、簡単なAPIコール、またはAWSコマンドラインインターフェイス(CLI)を使用して継続的バックアップを有効にすることができます。DynamoDBはPITRが有効になってから35日以内であれば1秒単位でデータをバックアップし、1秒単位でリストアできます。誤った書き込みや削除を防ぐためにこの機能を構築しました。開発者がステージングではなくプロダクションに対してスクリプトを実行した場合や誤ったDeleteItemを実行した場合はPITRでカバー出来ます。その為予測できないようなシナリオにも利用出来ます。オンデマンドバックアップはアーカイブ目的のために必要なタイミングを指定できますが、PITRは偶発的なデータ消失に対する追加の保険として機能します。これがどのように機能するか見てみましょう。 継続的バックアップ マネジメントコンソールでこの機能を有効にするには、テーブルに移動して[ バックアップ ]タブを選択します。そこから、Enableをクリックするだけで有効になります。また、UpdateContinuousBackups API呼び出しを使用して継続的バックアップを有効にすることもできます。 継続的バックアップを有効にした後、最も遠い復元日と最新の復元日時を確認出来ます。 削除したい古いユーザーデータがたくさんある、というシナリオを例にとってみます。 私はlast_updateに格納されている日付に基づいてアクティブなユーザーだけに通知を送信したいと考えました。そしてサービスを使用していないユーザーを削除するために簡単なPythonスクリプトを書くことに決めました。 import boto3 table = boto3.resource(“dynamodb”).Table(“VerySuperImportantTable”) items = table.scan( FilterExpression=”last_update >= :date”, ExpressionAttributeValues={“:date”: “2014-01-01T00:00:00″}, ProjectionExpression=”ImportantId” )[‘Items’] print(“Deleting {} Items! Dangerous.”.format(len(items))) with table.batch_writer() as batch: for item in items: batch.delete_item(Key=item) すばらしい!これでサービスに2013年以来ログインしていない厄介な非アクティブユーザをすべて削除するはず・・・CTRL + C CTRL + C CTRL + […]

Read More

機械学習で、マーチ・マッドネスを予測!

3 月中旬の米国では、何百万人もの人々が大学のバスケットボールを観戦し、賭けています (私はここに住んでいますが、見ていませんでした)。NCAA カレッジ選手権が続く中、プロフェッショナルサービス機械学習スペシャリストである Wesley Pasfield の仕事を簡単に紹介したいと思います。 Wesley は、kenpom.com およびカレッジバスケットボールの参考データからデータを取得し、Amazon SageMaker に組み込まれている XGBoost アルゴリズムを使用してマーチ・マッドネスの結果を予測するモデルを構築することができました。 Wesley は、データの取得、探索的データ分析の実行 (データサイエンス用語集の EDA)、xgboost アルゴリズム向けのデータの再構成、SageMaker SDK を使用した 2 つの異なるモデルのトレーニングジョブの作成、最後に https://cbbpredictions.com/ で予測を提供するための SageMaker 推論エンドポイントの作成を示してくれます。ブログの投稿のパート 1 およびパート 2 をご確認ください。 素晴らしいですね。ノートパソコンを開いて、xgboost アルゴリズムを試してみませんか?予測にはいくつかの注意点があるので、チャンピオン予測はまだ作成していないことにご注意ください。 – Randall

Read More

【開催報告】AWSomeday for Academy Trial

みなさん、こんにちわ。プロダクトマーケティング エバンジェリストの亀田です。 AWSomeDayというイベントとをご存知でしょうか。 AWSの有償トレーニングコースである [AWS Technical Essentials 1] [AWS Technical Essentials 2] について、お申込み自由で、1日座学にてAWSの基礎を学んでいただくイベントです。講師は通常、有償トレーニングコースを担当しているテクニカルインストラクターや私がQ&Aを含めて担当させていただいています。 4/3に大阪、4/17にオンラインでも開催が予定されており、AWSomeDayはこのほかにも、AWSomeDay for Partnerのようにパートナー向けイベントも定期開催されています。 2019年に追加で新規立ち上げの開催が予定されているAWSomeday for Academyのトライアルを先日「 船橋情報ビジネス専門学校」の協力を経て実施いたしました。 サーバーやデータセンターなどに馴染みのない方々に、わかりやすくクラウドのパワーを体験いただくために、いろいろな比喩などを交えながら説明を行うことに、テクニカルインストラクターや私も頭をひねりながら楽しみました。 学校らしく授業の最初は「起立、礼、着席」で始まり学校の先生気分です。                             (生徒さんの許可を得て撮影させてもらいました)                               学生さんは授業に慣れているので、講師からの質問にも多くの手が上がり会場は盛り上がっています。     […]

Read More

Migration Acceleration Program (MAP) のご紹介

みなさん、こんにちわ。プロダクトマーケティング エバンジェリストの亀田です。今日はみなさんのクラウド移行プロジェクトに役に立つクラウド移行支援プログラム、Migration Acceleration Program (通称MAP)についてご紹介をいたします。 こちらのウェブサイトはまだ英語ですが、日本でもご利用可能なプログラムで大規模なシステム移行プロジェクトを支援するものとなっています。 企業の中ですでに稼働しているITリソースをクラウドへ移行させるためのきっかけは多くのパターンが存在し、お客様毎にその事情は異なります。                 一方システムをクラウドへ移行させるには以下4つのプロセスを経ることが一般的です。 1.個別プロジェクトで小規模なシステムなどでクラウドを使い始めるステージ このステージでは、AWSでは通常ミッションクリティカルなシステムではなく、関係者や連携するシステムが少ないワークロードを選定しクラウドを使い始めることをお勧めしています。そうして、複数のプロジェクトを経験する中で、知見をためていくことになります。 2.ハイブリッド化のステージ ステージ1である程度の知見が蓄積され手法が確立され、移行対象システムの規模及び範囲が拡大されていきます。一度のすべてのシステム移行は時間がかかるため、システムはオンプレミスとクラウドのハイブリッド化するケースがあります。この時点でAWS Direct Connectの敷設などが実施されるケースも多く存在しています。Direct Connectは専用線による通信によりクラウドとのデータのやり取りをセキュアにする機能の他に、企業ネットワークからクラウドへの通信において安定した帯域を安価に確保する側面も存在しています。 3.大規模移行のステージ ハイブリッド化のシステムのクラウド全面移行や、ERP等基幹系ミッションクリティカルシステムのクラウドマイグレーション等が行われるステージです。Migration Acceleration Program (通称MAP) は主にこのフェーズをターゲットとして適応可能なプログラムになっています。 4.クラウド最適化のステージ クラウド上で稼働しているシステムアーキテクチャーの変更を、よりクラウドに適した形態に変更していくステージです。これによりクラウドの利用料はより最適化され、耐障害性や可用性なども併せて最適化されていきます。 企業がこういうステップを踏んでITリソースをクラウドへ移行させるプロセスを、AWSでは「クラウドジャーニー」と呼んでいます。このクラウドジャーニーにおいて同時に整備が必要なものが図の右側にある人的リソース関連になります。 これらをすべて自社で賄うには難しいケースがあります。特に、エンジニアのトレーニングやクラウドマイグレーションの実行計画作成、現状とのフィットアンドギャップ作成、各種試算に役立つツールのご提供などがそれにあたり、それらをお手伝いする、プログラムがMAPです。 –    移行をするかどうかまだ検討中の場合は Rapid Opportunity Calculator というツールをご提供しています。 –     移行を決められててInfraの移行コストをアセスメントする場合は TCO Calculator をご利用いただくことができます。どなたでもアクセス可能です。 –    クラウド移行を前提とした、詳細のインフラストラクチャー/アプリケーション/ システムの生産性/財務状況などを含むMigration Business Caseの作成 AWS プロフェッショナルサービスもしくは弊社Partnerが作業をお手伝いいたしますのでお声がけください。 2006年のサービス提供開始以降、10年以上にわたりお客様と共に行った多くのプロジェクト経験で得たノウハウを、文書化やフレームワーク化を行い皆様にご提供差し上げ、また各種試算にご利用いただける用にご提供差し上げるツールも活用しながら、ともにクラウド移行を推進していくプログラムとなっています。 MAPプログラムでは、将来的なAWSのご利用料予測をもとに、AWSご利用料クレジットを一定割合付与させていただける特典もついております。AWSご利用料予測が、移行後の規模において$1M/年以上想定される場合、ぜひお声がけください。 また、MAP以外にもお客様のクラウドジャーニーをお手伝いする、トレーニング、プロフェッショナルサービス、24時間日本語対応が可能なサポートサービス、等もご提供しています。 – プロダクトマーケティング エバンジェリスト 亀田 […]

Read More

EFS File Sync、Amazon EFS ファイルシステムへの高速なファイル転送

AWS re:Invent 2017 の数日前に使用可能になった EFS File Sync について、お話できるようになりました。 大量のファイルをオンプレミスまたはクラウドのファイルシステムから Amazon Elastic File System に移動させる必要があるなら、このツールが最適です。たとえば、 cp および rsync などのシンプルで、シングルスレッドのコマンドラインツールは、クラウドに対応しておらず、膨大な量のデータをある場所から別の場所へ移動するために必要なスループットを提供することができません。こうしたツールは、多くの場合、スケジューリング、オーケストレーション、ネットワークセキュリティに関するスクリプトで、ビルディングブロックとして使用されるのが一般的です。 安全および並列 EFS File Sync は、安全で高度な並列データ転送メカニズムを使用しており、前述のツールよりも最大 5 倍高速で動作します。VMware ESXi または EC2 インスタンスで実行され、NFS (v3 および v4) 経由でソースファイルシステムにアクセスし、EFS が利用可能なすべての AWS リージョンで使用できるエージェントとして利用できます。このエージェントが AWS とのすべての通信を開始するので、VPN を設定したり、ファイアウォールを介してインバウンド接続を許可したりする必要はありません。 AWS マネジメントコンソールで、エージェントと同期タスクを起動、制御、監視することができます。ジョブは、ファイルシステム全体または特定のディレクトリツリーの転送を指定することができ、転送先にすでに存在するファイルを検出してスキップすることもできます。ファイルのメタデータ (変更やアクセスの時間、POSIX の所有権とアクセス許可、シンボリックリンク、ハードリンク) もコピーされます。 EFS File Sync の使用 このブログへの投稿を書くために、EC2 インスタンスを起動し、NFS ファイルシステム (/data) をエクスポートし、ファイルシステムに Linux カーネルのソースコードを転送しました。 […]

Read More

Amazon RDS リザーブドインスタンスのコストを節約するために AWS コスト管理製品を使用する

Amazon RDS を使用すると、クラウド内のリレーショナルデータベースを迅速かつ簡単に設定、操作、拡張できます。Amazon RDS Reserved Instances(RI)には、1年間または3年間のデータベースインスタンスを予約するオプションが用意されています。このオプションでは、オンデマンド価格と比較して大幅な割引(最大69%)があります。 この記事では、AWS Cost Management 製品を使用する際に、RI でコスト削減の機会を特定するのに役に立つ方法を学ぶことができます。同時に、ネイティブの AWS ツールを使用すると、新規および既存の Amazon RDS の管理に役立てることができます。 AWS Cost Explorer を使用すると、AWS のコストと使用状況を視覚化し、理解し、管理することができます。すでにご存知とは思いますが、Cost Explorer は、コスト分析と使用状況の分析を開始するのに最適です。しかし、Cost Explorer でも、Amazon RDS の使用状況履歴に基づいた、RI 購入推奨事項が提供されていることをご存知でしたか? Cost Explorer の左上隅にあるナビゲーションメニューを使用して、Recommendations エリアから RDS をすばやく選択し、カスタマイズされた RI 購入推奨事項にアクセスできます。 Amazon RDS の Cost Explorer の RI購入推奨事項を開始する 次のスクリーンショットでは、Cost Explorer コンソールを見ることができます。  支払人(マスター)のアカウントから、Cost Explorer が識別した RI 購入機会にアクセスできます。これを行うには、Cost Explorer の RDS RI […]

Read More