Amazon Web Services ブログ

Amazon ECS サービスディスカバリ

Amazon ECS でサービスディスカバリがサポートされました。これにより、ECS サービスが Amazon Route 53 の予測可能でフレンドリーな DNS 名で自動的に登録することができるようになります。負荷やコンテナの健全状態に対応してサービスがスケールアップまたはダウンすると、Route 53 のホストゾーンは最新の状態が保たれ、他のサービスが各サービスの状態に基づいてコネクションを行う必要がある場所を発見できるようになります。次のアドレスで、架空のソーシャルネットワークアプリでサービスディスカバリのデモを見ることができます。https://servicediscovery.ranman.com/. サービスディスカバリ マイクロサービスや最新のアーキテクチャへの移行の一部には、障害や変化する負荷に迅速に対応できるダイナミックで、オートスケーリングでき、そして堅牢であるサービスを持つことが必要とされます。皆さんのサービスはおそらく、依存したり利用されるサービスが複雑に関連した依存関係のグラフ構造を持っているでしょう。最新のアーキテクチャのベストプラクティスは、これらのサービスが独自に依存関係を指定できるようにして疎結合にすることですが、ダイナミックな環境では各サービスが自力で自身が接続する先を見つける必要があるため、複雑になってしまう場合があります。 consul、etcd、またはzookeeperなどのサービスディスカバリの従来のアプローチは、すべてこの問題をうまく解決しますが、追加のインフラストラクチャをプロビジョンして管理する必要や、コンテナやインスタンス上にエージェントをインストールする必要があります。これまでは、サービスが互いに発見して接続できるように、独自のサービスディスカバリーシステムを構成して実行するか、すべてのサービスをロードバランサに接続する必要がありました。これからは、ECS コンソール、AWS CLI、または ECS API を使用して、コンテナ化したサービスのサービスディスカバリが可能になります。 Amazon Route 53 サービスレジストリとAuto Naming API の紹介 Amazon ECS サービスディスカバリは、Amazon Route 53 サービスレジストリと Auto Naming API とコミュニケーションすることにより動作します。このブログではこれまでそれらについて触れていないため、ここでは簡単にこれらの Route 53 API の動作について概説したいと思います。最初に、一部の用語について説明します。 名前空間 – 名前空間は、トラフィックを流すドメイン名を指定します (例: internal、local、corp)。これは、サービスが互いに発見できる論理的境界と考えることができます。名前空間は、 aws servicediscovery create-private-dns-namespace コマンドの呼び出しまたはECS コンソールで作成することができます。名前空間は、Route 53 のホストゾーンとほぼ同じです。名前空間にはサービスが含まれます。これは次に取り上げる用語です。 サービス – サービスは「auth」、「timeline」、「worker」などの名前空間にある特定のアプリケーションまたはアプリケーションのセットです。サービスはサービスインスタンスを含みます。 […]

Read More

既存の Amazon EMR クラスターから Hue データベースを移行する方法

Hadoop User Experience (Hue) は、Amazon EMR および Apache Hadoop で使用する、オープンソースでウェブベースのグラフィカルユーザーインターフェイスです。Hue データベースには、ユーザー、グループ、許認可、Apache Hive クエリ、Apache Oozie ワークフローなどが格納されています。 Hue データベースを新しい EMR クラスターに移行したいとしましょう。例えば、Amazon EMR AMI (Amazon Machine Image) の古いバージョンからアップグレードしたいとします。Hue アプリケーションとそのデータベースには、数多くのカスタマイズがあります。これらのユーザーエンティティの再作成は必要なく、さらに既存の Hue データベースまたは Amazon RDS のリモートデータベースを新しいクラスターに移行することで、Hue のクエリとワークフロー履歴を保持する必要もありません。 デフォルトでは、Hue のユーザー情報とクエリ履歴は、EMR クラスターのマスターノード上のローカル MySQL データベースに格納されます。ですが、Amazon S3 に格納されている構成とリモートの MySQL データベースを Amazon RDS で使用して、1 つ以上の Hue 対応クラスターを作成できます。これにより、Amazon EMR クラスターを稼動させずに、Hue で作成するユーザー情報とクエリ履歴を保持することが可能となります。 この記事では、既存の EMR クラスターから Hue データベースへ移行するための手順を、ステップバイステップで説明します。

Read More

AWS Database Migration Service のログ管理

AWS DMS を完全に管理できるように、レプリケーションインスタンスの移行ログを管理する機能をAWSは導入しました。この機能を使用することで、特定のレプリケーションインスタンスの各タスク用のログがどれくらいストレージを消費しているかを確認することもできます。さらに、この機能を利用すると、あなたが都合の良いときにログファイルをパージできます。

Read More

[AWS Black Belt Online Seminar] データウェアハウスのAWSへの移行 資料及びQA公開

こんにちは、ソリューションアーキテクトの有岡です。 先日(2018/3/19)開催致しました AWS Black Belt Online Seminar「データウェアハウスのAWSへの移行」の資料を公開いたしました。当日、参加者の皆様から頂いた QA の回答と併せてご紹介致します。

Read More

新機能 – Amazon DynamoDBに継続的バックアップとPoint-In-Time-Recovery(PITR)機能が追加されました

Amazon DynamoDBチームはencryption at restに引き続き新しい機能を発表しました。AWS re:Invent 2017 では、グローバルテーブルの作成と DynamoDBテーブルのオンデマンドバックアップとリストアを発表しました。そして今日、継続的バックアップとしてPITR(ポイントインタイムリカバリ)を利用出来るようになりました。 AWS Management Consoleからワンクリックするか、簡単なAPIコール、またはAWSコマンドラインインターフェイス(CLI)を使用して継続的バックアップを有効にすることができます。DynamoDBはPITRが有効になってから35日以内であれば1秒単位でデータをバックアップし、1秒単位でリストアできます。誤った書き込みや削除を防ぐためにこの機能を構築しました。開発者がステージングではなくプロダクションに対してスクリプトを実行した場合や誤ったDeleteItemを実行した場合はPITRでカバー出来ます。その為予測できないようなシナリオにも利用出来ます。オンデマンドバックアップはアーカイブ目的のために必要なタイミングを指定できますが、PITRは偶発的なデータ消失に対する追加の保険として機能します。これがどのように機能するか見てみましょう。 継続的バックアップ マネジメントコンソールでこの機能を有効にするには、テーブルに移動して[ バックアップ ]タブを選択します。そこから、Enableをクリックするだけで有効になります。また、UpdateContinuousBackups API呼び出しを使用して継続的バックアップを有効にすることもできます。 継続的バックアップを有効にした後、最も遠い復元日と最新の復元日時を確認出来ます。 削除したい古いユーザーデータがたくさんある、というシナリオを例にとってみます。 私はlast_updateに格納されている日付に基づいてアクティブなユーザーだけに通知を送信したいと考えました。そしてサービスを使用していないユーザーを削除するために簡単なPythonスクリプトを書くことに決めました。 import boto3 table = boto3.resource(“dynamodb”).Table(“VerySuperImportantTable”) items = table.scan( FilterExpression=”last_update >= :date”, ExpressionAttributeValues={“:date”: “2014-01-01T00:00:00″}, ProjectionExpression=”ImportantId” )[‘Items’] print(“Deleting {} Items! Dangerous.”.format(len(items))) with table.batch_writer() as batch: for item in items: batch.delete_item(Key=item) すばらしい!これでサービスに2013年以来ログインしていない厄介な非アクティブユーザをすべて削除するはず・・・CTRL + C CTRL + C CTRL + […]

Read More

機械学習で、マーチ・マッドネスを予測!

3 月中旬の米国では、何百万人もの人々が大学のバスケットボールを観戦し、賭けています (私はここに住んでいますが、見ていませんでした)。NCAA カレッジ選手権が続く中、プロフェッショナルサービス機械学習スペシャリストである Wesley Pasfield の仕事を簡単に紹介したいと思います。 Wesley は、kenpom.com およびカレッジバスケットボールの参考データからデータを取得し、Amazon SageMaker に組み込まれている XGBoost アルゴリズムを使用してマーチ・マッドネスの結果を予測するモデルを構築することができました。 Wesley は、データの取得、探索的データ分析の実行 (データサイエンス用語集の EDA)、xgboost アルゴリズム向けのデータの再構成、SageMaker SDK を使用した 2 つの異なるモデルのトレーニングジョブの作成、最後に https://cbbpredictions.com/ で予測を提供するための SageMaker 推論エンドポイントの作成を示してくれます。ブログの投稿のパート 1 およびパート 2 をご確認ください。 素晴らしいですね。ノートパソコンを開いて、xgboost アルゴリズムを試してみませんか?予測にはいくつかの注意点があるので、チャンピオン予測はまだ作成していないことにご注意ください。 – Randall

Read More

【開催報告】AWSomeday for Academy Trial

みなさん、こんにちわ。プロダクトマーケティング エバンジェリストの亀田です。 AWSomeDayというイベントとをご存知でしょうか。 AWSの有償トレーニングコースである [AWS Technical Essentials 1] [AWS Technical Essentials 2] について、お申込み自由で、1日座学にてAWSの基礎を学んでいただくイベントです。講師は通常、有償トレーニングコースを担当しているテクニカルインストラクターや私がQ&Aを含めて担当させていただいています。 4/3に大阪、4/17にオンラインでも開催が予定されており、AWSomeDayはこのほかにも、AWSomeDay for Partnerのようにパートナー向けイベントも定期開催されています。 2019年に追加で新規立ち上げの開催が予定されているAWSomeday for Academyのトライアルを先日「 船橋情報ビジネス専門学校」の協力を経て実施いたしました。 サーバーやデータセンターなどに馴染みのない方々に、わかりやすくクラウドのパワーを体験いただくために、いろいろな比喩などを交えながら説明を行うことに、テクニカルインストラクターや私も頭をひねりながら楽しみました。 学校らしく授業の最初は「起立、礼、着席」で始まり学校の先生気分です。                             (生徒さんの許可を得て撮影させてもらいました)                               学生さんは授業に慣れているので、講師からの質問にも多くの手が上がり会場は盛り上がっています。     […]

Read More

AWS CloudFormation を使用して Amazon DynamoDB テーブルとインデックスの Auto Scaling を設定する方法

AWS リソースをデプロイする上でのベストプラクティスは、Infrastructure as Code を扱う構成システムを使用することです。Infrastructure as Code は、開発者とオペレーションを連携させてアプリケーション配信を自動化する DevOps プラクティスの成功の鍵です。インフラストラクチャ全体を AWS CloudFormation テンプレートのコードとしてモデリングすることで、次のような利点があります。 クラウドソース用の信頼できる唯一の情報源を確立 開発環境とテスト環境のデプロイメントの自動化 災害対策の準備 バージョン管理などのコード管理ツールとの統合 Amazon DynamoDB などのサーバレスデータベースと組み合わせて AWS CloudFormation テンプレートを使用することで、アジャイルな DevOps プロセスを採用した開発チームの高速なオペレーションを大幅に簡素化できます。この記事では、実際の例と、AWS CloudFormation を使用して DynamoDB の Auto Scaling を設定する方法をご説明します。 注意: この記事では、ソリューションについて説明するためのスクリーンキャストを作成しました。どうぞお試しください。 DynamoDB の Auto Scaling DynamoDB は、あらゆる規模で一貫性のある 1 桁ミリ秒台のレイテンシーを必要とするアプリケーション向けの、完全マネージド型で、高速の、スケーラブルかつ柔軟なクラウドデータベースサービスです。2017 年、AWS は DynamoDB に Auto Scaling 機能を追加しました。Auto Scaling を使用すると、予測不能なパフォーマンスのニーズを持つアプリケーションの管理を簡素化することができます。Auto Scaling では、テーブルとグローバルセカンダリインデックスの読取りおよび書込み容量の上限と下限、およびターゲット使用率を構成できます。 AWS CloudFormation […]

Read More

Migration Acceleration Program (MAP) のご紹介

みなさん、こんにちわ。プロダクトマーケティング エバンジェリストの亀田です。今日はみなさんのクラウド移行プロジェクトに役に立つクラウド移行支援プログラム、Migration Acceleration Program (通称MAP)についてご紹介をいたします。 こちらのウェブサイトはまだ英語ですが、日本でもご利用可能なプログラムで大規模なシステム移行プロジェクトを支援するものとなっています。 企業の中ですでに稼働しているITリソースをクラウドへ移行させるためのきっかけは多くのパターンが存在し、お客様毎にその事情は異なります。                 一方システムをクラウドへ移行させるには以下4つのプロセスを経ることが一般的です。 1.個別プロジェクトで小規模なシステムなどでクラウドを使い始めるステージ このステージでは、AWSでは通常ミッションクリティカルなシステムではなく、関係者や連携するシステムが少ないワークロードを選定しクラウドを使い始めることをお勧めしています。そうして、複数のプロジェクトを経験する中で、知見をためていくことになります。 2.ハイブリッド化のステージ ステージ1である程度の知見が蓄積され手法が確立され、移行対象システムの規模及び範囲が拡大されていきます。一度のすべてのシステム移行は時間がかかるため、システムはオンプレミスとクラウドのハイブリッド化するケースがあります。この時点でAWS Direct Connectの敷設などが実施されるケースも多く存在しています。Direct Connectは専用線による通信によりクラウドとのデータのやり取りをセキュアにする機能の他に、企業ネットワークからクラウドへの通信において安定した帯域を安価に確保する側面も存在しています。 3.大規模移行のステージ ハイブリッド化のシステムのクラウド全面移行や、ERP等基幹系ミッションクリティカルシステムのクラウドマイグレーション等が行われるステージです。Migration Acceleration Program (通称MAP) は主にこのフェーズをターゲットとして適応可能なプログラムになっています。 4.クラウド最適化のステージ クラウド上で稼働しているシステムアーキテクチャーの変更を、よりクラウドに適した形態に変更していくステージです。これによりクラウドの利用料はより最適化され、耐障害性や可用性なども併せて最適化されていきます。 企業がこういうステップを踏んでITリソースをクラウドへ移行させるプロセスを、AWSでは「クラウドジャーニー」と呼んでいます。このクラウドジャーニーにおいて同時に整備が必要なものが図の右側にある人的リソース関連になります。 これらをすべて自社で賄うには難しいケースがあります。特に、エンジニアのトレーニングやクラウドマイグレーションの実行計画作成、現状とのフィットアンドギャップ作成、各種試算に役立つツールのご提供などがそれにあたり、それらをお手伝いする、プログラムがMAPです。 –    移行をするかどうかまだ検討中の場合は Rapid Opportunity Calculator というツールをご提供しています。 –     移行を決められててInfraの移行コストをアセスメントする場合は TCO Calculator をご利用いただくことができます。どなたでもアクセス可能です。 –    クラウド移行を前提とした、詳細のインフラストラクチャー/アプリケーション/ システムの生産性/財務状況などを含むMigration Business Caseの作成 AWS プロフェッショナルサービスもしくは弊社Partnerが作業をお手伝いいたしますのでお声がけください。 2006年のサービス提供開始以降、10年以上にわたりお客様と共に行った多くのプロジェクト経験で得たノウハウを、文書化やフレームワーク化を行い皆様にご提供差し上げ、また各種試算にご利用いただける用にご提供差し上げるツールも活用しながら、ともにクラウド移行を推進していくプログラムとなっています。 MAPプログラムでは、将来的なAWSのご利用料予測をもとに、AWSご利用料クレジットを一定割合付与させていただける特典もついております。AWSご利用料予測が、移行後の規模において$1M/年以上想定される場合、ぜひお声がけください。 また、MAP以外にもお客様のクラウドジャーニーをお手伝いする、トレーニング、プロフェッショナルサービス、24時間日本語対応が可能なサポートサービス、等もご提供しています。 – プロダクトマーケティング エバンジェリスト 亀田 […]

Read More