Amazon Web Services ブログ

Amazon EMRチームは新しいリリースをものすごい勢いでリリースし続けています。今年のローンチを振り返ってみましょう: EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout (6月) EMR 4.6.0 – 巨大データへのリアルタイムアクセス用に、HBase (4月) EMR 4.5.0 – Hadoop, Presto, SparkとEMRFS追加 (4月) EMR 4.4.0 – Sqoop, HCatalog, Java 8, 他 (3月) EMR 4.3.0 – Spark, Presto, Ganglia (1月) 今日、チームからEMR 5.0.0が発表されました。こちらはメジャーリリースとなり、16のオープンソースのHadoopエコシステムプロジェクトをサポートしています。SparkとHiveのメジャーバージョンアップ、TezがHiveとPigのデフォルトに、HueとZeppelinのUI改善、そしてデバッグ機能の改良が含まれています。 こちらは過去の幾つかのリリースでEMRがどの様に進化してきたかの図になります。 それではEMR 5.0.0の新しい機能をチェックしてみましょう！ 16のオープンソースHadoopエコシステムプロジェクトのサポート EMR 4.0.0の開発からEMRのビルドとパッケージング処理を管理するために、Apache Bigtopを使い始めました。最新のGA (一般利用可能)なオープンソースのバージョンを出来る限り早くアクセス可能にするというゴールのために、Hadoopエコシステムから新しいパッケージを追加し続けながらもリリースサイクルを加速することができたのはBigtopのおかげです。 そのゴールのもとに、EMR 5.0は16のHadoopエコシステムプロジェクトをサポートしていて、その中にはApache Hadoop, Apache […]

既存の環境を詳しく調べたり、状況の識別、そしてシステムやアプリケーションをクラウドに問題なく移行するために必要な情報と可視性を提供できるように設計された AWS Application Discovery Service については、今年すでにブログで紹介しました (詳しくは過去のブログ New – AWS Application Discovery Service – Plan Your Cloud Migration をご覧ください)。ブログで解説した検出プロセスでは、既存の各ホストで実行できる小規模で軽量なエージェントを使用しています。このエージェントはバックグランドで関連性のあるシステム情報を収集し、確認用にローカルで保管してからポート 443 の安全な接続状態で Application Discovery Service にアップロードします。この情報は AWS Key Management Service (KMS) が保護する暗号化したリポジトリで処理、相関、保管されます。仮想化環境で各ゲストオペレーティングシステムにエージェントをインストールすることは、計画上またはその他の理由により実践的とは言い難い場合があります。このエージェントは、広範に渡る Windows バージョンや Linux ディストリビューションで実行することができますが、過去にリリースされた Windows を使用していたり、Linux の稀なディストリビューションが混ざっている可能性は無視できません。 新しいエージェントレス検出 AWS Application Discovery Service のメリットを多くの AWS のお客様に提供するため、新しいエージェントレス検出オプションを本日リリース致しました。VMware vCenter 環境で仮想マシン (VM) を実行している場合は、この新しいオプションを使用して各ゲストにエージェントをインストールする必要なく、関連性のあるシステム情報を収集できます。代わりにオンプレミスアプライアンスを VCenter で読み込み、その中でゲスト VM を検出できるようにします。どのオペレーティングシステムを使用していても、vCenter アプライアンスはシステムパフォーマンス情報や、各 […]

2016/2017サイクルのアマゾンウェブサービスPCI DSS 3.2 コンプライアンスパッケージがご利用可能になったことを発表できることを嬉しく思います。AWSは、新しくリリースされたPCI Data Security Standard(PCI DSS) version 3.2に対するアセスメントを成功裏に完了した最初のクラウドサービスプロバイダ(CSP)です。また、これは強制的なデッドラインである2018年2月1日の18ヶ月前に達成されました。リクエストによってご利用可能なAWS Attestation of Compliance (AOC)には、最も最近追加されたAmazon EC2 Container Service (ECS), AWS Config, および AWS WAF (ウェブアプリケーションファイやーウォール)を含む、26のPCI DSS認定サービスが掲載されています。AWSは、この国際的な情報セキュリティおよびコンプライアンスプログラムにコミットしています。新しい基準に対して可能な限り早く再び対応することは、情報セキュリティを最優先としてしているAWSのコミットメントを例証しています。AWSのお客様(およびそのお客様)は、最新かつ最も成熟したPCIコンプライアンス要求のセットに対してAWSのプロダクトとサービスがテストされていることを知りながら、クレジットカード情報(およびその他のセンシティブデータ)をクラウドの中で保管し、処理する運用を自信を持って行うことができます。   What’s new in PCI DSS 3.2? PCI Standards Councilは、利用可能な要件の最新セットとして、2016年4月に PCI DSS 3.2 を発表しました。PCI DSS バージョン3.2では、オンラインクレジットカードトランザクションにおける暗号化、アクセスコントロール、変更管理、アプリケーションセキュリティ、リスクマネージメントプログラムまわりの要求が修正され、明確化されました。PCI Security Standards CouncilのChief Technology OfficerであるTroy Leachによる具体的な変更には以下が含まれます： 変更管理プロセスが、(年次のアセスメントに代わって)継続的なモニタリング環境の実装の一部として必要とされる サービスプロバイダはクリティカルセキュリティコントロールシステムの障害について検知と報告が求められる ペネトレーションテストの要求が年次から6ヶ月に一度に増加 カードデータを扱うシステムへのコンソール外の管理者アクセスについて多要素認証が求められる サービスプロバイダは、職員がセキュリティポリシーと運用手順に従っているかを確認するための四半期ごとのレビューを行う必要がある コンプライアンスパッケージの用途 AWS PCI […]

数か月前公開したブログ Amazon Cognito の新しい Your User Pools 機能についてご紹介しました。その時点では、ユーザーのモバイルアプリやウェブアプリでサインアップやサインインに同機能を使用することをご説明しました。完全マネージド型のユーザーディレクトリでは、ユーザー数億人の拡大を可能にしたり、各 AWS アカウントで複数のディレクトリを使用することができます。ユーザープールは数分で作成でき、新規ユーザーがお客様のアプリまたはサービスにサインアップする時に、どの属性 (アドレス、メール、性別、電話番号やカスタム属性など) に入力の必要があるか指定することができます。セキュリティの面では、お好みに合わせたパスワード強度を特定したり、Multi-Factor Authentication (MFA) の使用の強制やユーザーの電話番号またはメールアドレスでの確認を求めることができます。 一般提供を開始 Your User Pools のパブリックベータ版を開始したところ、数多くの素晴らしいフィードバックをいただきました。そして本日、Your User Pools の一般公開を開始した他、このリリースに伴い、いくつかの新機能も追加しました。 Device Remembering – Cognito は各ユーザーがどのデバイスからサインインしたか記憶することができます。 User Search – 属性に基づきユーザープールでユーザーを検索できます。 Customizable Email Addresses – ユーザープール内でユーザーのメールアドレスを管理できます。 Attribute Permissions – 各ユーザーの属性を細かく設定することができます。 Custom Authentication Flow – 新たな API や Lambda トリガーを使用してサインインフローをカスタマイズできます。 Admin Sign-in – バックエンドサーバーや Lambda […]

本日は特別ゲストのブロガーをご紹介します。私の娘、Tina は AWS チームのリクルーティングコーディネーターで、今日プロのブロガーとしてデビューしました。 — Jeff ついに本格的な夏がやってきましたね！AWS が今月注目しているスタートアップをご紹介します。 Depop – アーティストや友達を対象に製品を売買できソーシャルモバイルマーケットプレイスです。 Nextdoor – テクノロジーを利用して連帯感の強い安全な地域を築いています。 Branch – モバイルアプリ開発者がユーザーを増やし維持できるように無料でディープリンク技術を提供しています。 Depop (英国) 2011 年、Simon Beckerman と Daniel 兄弟は、インタラクティブなエクスペリエンスを提供するアプリで楽しくアイテムを売買できるソーシャルモバイルマーケットプレイスの構築を始めました。Depop の創立者たちは m コマースの流れが従来とは異なり、消費者が互いにコミュニケーションを取りたがっている方向に変化している点に気付きました。Simon は、この時点ですでに PIG Magazine の他にも高級メガネブランド RetroSuperFuture を運営していました。そこで、自分のようなアーティストやクリエイティブなユーザーが所有しているアイテムをシェアしたり売買できるスペースを作りたいと考えていました。イタリアでスタートを切った後、Depop は 2012 年にロンドンのショーディッチに本社を構えるために移転、その後も成長を続け、現在ではロンドン、ニューヨーク、ミラノにオフィスを設けています。世界中で 400 万人以上のユーザーを持つ Depop は成長を続け、ファッション、ミュージック、アート、ヴィンテージ、ライフスタイルのアイテムなどに情熱をかけるショップオーナーたちのコミュニティを築いています。使い慣れたユーザーフレンドリーのインターフェイスを取り入れ、ユーザーは他のユーザーやショップオーナーに対して「いいね!」したり、コメントを投稿またはプライベートメッセージを送信することができます。Android や iOS からアプリをダウンロードするだけで、数百万ものユニークなアイテムを見たり購入することができます。洋服だけでなくインテリア、年代物の家具、ジュエリーなど色々なものを見つけることができます。ロケーション別にフィルターすれば、自分のフィードをカスタマイズできるので、自分の地域で便利にショッピングを楽しむことができます。バイヤーはどこまでも続くアイテムリストをスクロールダウンして商品をチェックしたり、自分で引き取りに行くかアイテムを郵送するか個人の希望に合わせて選ぶことができます。アイテムの販売も簡単です。写真をアップロードしてから簡単な説明を入力、価格を設定したらアイテムをリストに載せるだけです。Depop は大規模なオペレーションチームを設けずに滞りなく運営していくため、DevOps のアプローチを導入しました。Amazon S3、Amazon CloudFront を画像ホスティングに、そして日々のトラフィックにおいて予測が難しく比較的大きな変更に対応するために Auto Scaling を使用するなど、Depop は 12 種類の […]

このブログを定期的にご覧になっている読者の方々であれば、私が Amazon Relational Database Service (RDS) のファンなのをご存知でしょう。これは設定、実行、リレーショナルデータベースのスケーリングなど、より定期的な操作に対応できるマネージド型データベースサービスです。2012 年の開始以来、SQL Server サポートは SSL サポート、メジャーバージョンのアップグレード、透過的なデータの暗号化、拡張モニタリング、Multi-AZ などの機能追加に努めてきました。そして今回、SQL Server のネイティブバックアップと復元のサポートが追加されるようになりました。SQL Server のネイティブバックアップには、テーブル、インデックス、ストアドプロシージャ、トリガーなど、すべてのデータベースオブジェクトが含まれています。主に、こうしたバックアップはオンプレミスで実行もしくはクラウドで実行している SQL Server インスタンス間でデータベースを移行する場合に使用されています。またデータの取り込み、災害対策などにも使用することができます。ネイティブバックアップは、オンプレミスの SQL Server インスタンスからのデータインポートやスキーマのプロセスを簡略化することもできるので、 SQL Server DBA が機能しやすくなります。 ネイティブバックアップと復元のサポート RDS インスタンスからネイティブ SQL データベースのバックアップを取り、Amazon S3 バケットに保管できるようになりました。バックアップは SQL Server のオンプレミスコピーまたは他の RDS を使用する SQL Server インスタンスに復元することも可能です。さらにオンプレミスデータベースのバックアップを S3 にコピーし、RDS SQL Server インスタンスに復元することもできます。Amazon S3 で行う SQL Server のネイティブバックアップと復元は、すべての SQL Server エディションで […]

AWS Gamedayはご存知でしょうか。毎年re:Inventで大々的に行われ、世界中から多くのエンジニアが参加するイベントになります。先週の土曜日(7/23)に、そのGamedayが日本に上陸しました！目黒のAWSオフィスを会場に、我こそAWS スペシャリストという強者が集い、Gamedayを楽しんで頂きました。本日はその内容をダイジェストでご紹介させて頂きます。 そもそもAWS Gamedayとは? AWS上に構築されたシステムのトラブルシュートコンテストのようなものです。当日はチーム戦(2-3名/Team)となり、チーム毎に”ある”AWS環境が主催者から払い出されます。払いだされた環境をスケーラブルで可用性の高いシステムへパワーアップさせ、かつコストも最適化する、いわばDevOpsチャレンジのようなイベントになります。皆さんの環境には、常に運営者サイドよりランダムな負荷がかけられ、リクエストをさばいた分だけポイントが加算されます。参加者の皆さんの中で、最もポイントを獲得したチームがチャンピオンとなります。 当日のアジェンダ Gameday: 13:00-18:00 Presentation/Award: 18:00-19:30 13:00-13:30 の30分間、運営者からGamedayの趣旨と楽しみ方についてご説明し、早速スタート！5時間の長丁場となります。イベントの概要は下記を御覧ください。 AWS Japan Gameday 初回の今回は12チーム、40人の方に参加頂きました。当日の様子はこのような感じです。各チームの状況と順位がリアルタイムで確認できるようにダッシュボードは運営者から提供しています。各チーム登録が無事完了し、順調にスタートしていますね。 チーム戦ということもあり、しゃべりながら、スナック、ドリンクを飲みながら和気あいあいと5時間楽しんで頂きました。土曜日ということもあり、16:00にはアルコールも入り、とてもリラックスして参加頂いたと思います。 そして5時間にわたり運営者からのトラップを見事しのぎ、最も高得点を獲得した第1回めのチャンピオンは、Shoroumaruチームとなりました！Top 3チームには、どのようにして高得点を出したかについてご説明頂きました。そして今回はGameday日本上陸記念ということで、特別に優勝チーム皆さんに、5,000円分のAmazon ギフトカードをサプライズプレゼント！ Shoroumaruチームの皆さん、おめでとうございました!!! 参加頂いた方には、参加賞としてAWS Gamedayステッカーをもれなくプレゼント！とても満足いただいたようなので、機会があれば2回目も是非検討させていただきたいと思います。参加された皆さん、長時間に渡りお付き合い頂き、ありがとうございました！ Twitterは#AWSGameDayJapanのハッシュタグを検索してみてください。 また今年のre:Invent 2016も11/28-12/2＠LasVegasで予定されています。Gamedayも予定されていますので、是非現地でご参加頂ければと思います。大分席も埋まって来ましたので、ご登録はお早めに！（日本語サイトはこちら） また、日本から参加されるみなさまにはツアーもご用意しています。ツアーの詳細とお申し込みはこちらです。（請求書払い可能） See you soon!! AWS Gameday Team: Unicorn Rentals (AWS SA Team 桑野、星野、酒徳)

今年で 2 年目となった Prime Day で Amazon は新記録を達成しました。この日、世界中からの注文数はブラックフライデー、サイバーマンデー、Prime Day 2015 の記録を遥かに上回るものとなりました。Slice Intelligence は、Prime Day 2016 の当日における米国全土の e コマース消費者のうち 74% を Amazon が占めていたと報告しています。この 1 日限りのグローバルショッピングイベントは Amazon Prime メンバーのみを対象としています。Prime 2015 に比べ、今年のトラフィックレベルは過去最高そして Amazon Mobile App からの注文数は昨年の 2 倍にも上昇しました。世界中の Prime メンバーが 1 日に購入したアイテムの例として、玩具は 2 万個以上、靴は 1 万足以上そしてテレビは 9 万台以上の売り上げが記録されています (統計の詳細は Amazon’s Prime Day is the Biggest Day Ever をご覧ください)。これほど大きなスケールのイベントを実施するには、急増するトラフィックにインフラストラクチャが対応できなければなりません。 […]

AWSをご利用になり、クラウドへ移行するメリットを感じられているお客様から、アプリケーションやリレーショナルデータベースに保存されている、大量のデータを移行するより良い方法を良く質問されます。 本日、Amazon Auroraにて重要な新機能をリリースしました。既にオンプレミス環境やAmazon EC2インスタンス上でMySQLをお使いの場合、既存のデータベースのバックアップを取得し、スナップショットバックアップをAmazon S3にアップロード行い、そのスナップショットバックアップを利用して、Amazon Auroraクラスタを作成可能になりました。既存のAmazon AuroraのMySQLデータベースからレプリケーションを行える機能と合わせて利用することで、MySQLからAmazon Auroraへアプリケーションを停止させず簡単にマイグレーション可能です。 この新機能を利用することで大容量のデータ(2TB以上)をMySQLデータベースからAmazon Auroraへ移行元データベースへパフォーマンスインパクトを最小限にして効率的に移行を行うことが可能です。私達の行ったテストではmysqldump utilityを利用した場合と比較して20倍高速に処理が行えました。移行対象データベースにInnoDBとMyISAM形式のテーブルが双方が含まれていても移行は可能ですが、移行前にMyISAMからInnoDBへ変換を行っておくことをお勧めします。 移行方法について簡単にご説明します: 移行元データベースの準備 – 移行元データベースでバイナリログを有効化し。移行期間中バイナリログが残っているように設定を行って下さい。 移行元データベースのバックアップ – Percona Xtrabackupを利用して移行元データベースから”ホット”バックアップを作成します。このツールはデータベース、テーブルやトランザクションをロックしません。圧縮形式のバックアップを作成可能です。1つのバックアップファイルや複数の小さなバックアップファイルを作成頂けます。Amazon Auroraではどちらの形式でもご利用頂けます。 S3へアップロード – S3へバックアップファイルをアップロードします。5TB未満のバックアップの場合は、AWS Management ConsoleやAWS Command Line Interface (CLI) を利用してアップロードを行います。さらに大きなバックアップデータの場合は、AWS Import/Export Snowballを利用することをご検討下さい。 IAM Role – Amazon Relational Database Service (RDS) がアップロードされたバックアップデータとバケットにアクセスするためにIAM roleを作成します。このIAM roleでは必ず、RDSがListBucket と GetBucketLocation の操作をバケットに実行でき、GetObject の操作をバックアップデータに行える必要があります (サンプルポリシーはドキュメントで確認頂けます)。 クラスタの作成 – 新しいAmazon Auroraクラスタをアップロードしたバックアップデータから作成します。RDSコンソール中のRestore Aurora DB Cluster from S3をクリックし、移行元データベースのバージョン番号を入力します。そして、S3バケットを選択し、IAM roleを選択後、Next […]

GameStop は新品および中古のビデオゲームのハードウェア、ソフトウェア、アクセサリ、家電製品、ワイヤレスサービスを販売しています。14 か国に渡る小売店は 7,000 店以上あり、同社は日々何百万人もの顧客を相手に販売、サービスを提供しています。小売店の他にもオムニチャネル戦略を導入し、世界中で 4,600万人以上のメンバーがロイヤルティプログラムに参加しています。GameStop の Justin Newcom (インターナショナルテクノロジーサービス & サポート部シニアディレクター) と Jim March (アドバンスクラウドシステムエンジニア) との対話で、ミッションクリティカルなマルチチャネルマーケティングプラットフォームを従来のホスティングから AWS に移行した方法について伺いました。GameStop のストーリーをご覧ください。 ビジネスチャレンジ 2015 年 3 月、GameStop のインターナショナルホスティングとの契約期限が近付いていたため、GameStop チームは別のホスティングソリューションがないか真剣に探し始めました。以前から知られているホスティング企業数社と AWS を含むクラウドベンダー数社に RFP (提案依頼書) を送り、その返信が届き次第、決断は明らかになったそうです。その時のことを Justin は「AWS が圧倒的に優れていました」と述べています。別のクラウドベンダーとのミーティングから戻った Jim は、AWS の資料を読み進めるうちに思っていたよりも遥かに完全性が高く洗練されているサービスであることが分かったといいます。その後、GameStop は製品そして革新的なサービスを次々と送り出していること、評判、価格に基いて AWS を利用することに決定したそうです。しかし圧倒的に優れたサービスを選んだからといっても、問題なく進行させていくには様々なことを学ぶ必要があると考えていたといいます。 AWS 導入の始まり GameStop のテクノロジーリーダー達は AWS について学びやすい文化を築いていくことにしました。AWS を使用している他の利用者やパートナーと話し合い、優れた AWS コンサルティングパートナーを呼び、クラウド導入のスタートを切りました。そして最初に移行するのはミッションクリティカルなマルチチャネルのマーケティングプラットフォームに決定したそうです。このプラットフォームは e コマース以上のもので、カナダやヨーロッパのインストアカスタマーのアクティビティの他に、オンラインカスタマーへのサービスも管理しています。これは、顧客がレジでオンライン購入をする場合などインストアとオンラインのアクティビティを統合できるようにしています。AWS への移行は 2015 年ホリデーショッピングのシーズンまでに完了し、AWS […]