Amazon Web Services ブログ

Tag: 利用事例

Earth on AWS: AWS の地理空間データ

AWS のオープンデータチームのメンバーで私の同僚、Joe Flasher が新たな Earth on AWS プロジェクトについて説明するため、ゲスト投稿者としてブログを公開しました。   AWS は地球観測衛星のランドサット 8 号が撮影した画像を集めた公開データセット、Landsat on AWS を 2015 年 3 月にリリースしました。Landsat on AWS をリリースしてから 1 年以内に記録された Landsat データのリクエスト数は 10 億件を超え、AWS はユーザーによる革新的なデータの使用方法から様々なインスピレーションを得ています。Landsat on AWS はクラウド内でのデータ共有により、従来の IT インフラストラクチャによる帯域幅やストレージ、メモリや処理能力の制限なしに地球的規模のアプリケーションを構築することが可能になりました。 そして本日、AWS がリリースした Earth on AWS により、今後はクラウド内で大容量の地理空間データセットの利用が可能になったため、アルゴリズムをローカルマシンにダウンロードせずにアルゴリズムをデータに持ち込めるようになりました。Earth on AWS では誰でも自由にデータを使えるだけでなく、リソースを提供することでデータをどのように使用できるか説明する情報も提供しています。また、Earth on AWS データセットを利用した調査方法の 公開プロポーザル も受け付けています。 使用可能なデータを追加 現在、Earth on AWS には次のデータセットがあります。 NAIP […]

Read More

MeetMe での S3 データレイクへのリアルタイムデータのストリーミング

本日のゲスト投稿では、MeetMe の Anton Slutsky 氏が、自社のデータレイク用の実装プロセスについて説明します。 Anton Slutsky 氏は、この分野で 20 年近い経験を持つ経験豊富な情報技術者です。ビラノバ大学でコンピューター科学の修士号を取得し、ドレクセル大学で情報科学の博士号を取得しています。 現在のビッグデータシステムには、しばしばデータレイクと呼ばれる構造が含まれています。データレイクという業界用語は、大量の構造化データと非構造化データを吸収し、多数の同時分析ジョブを実行する機能を備えた大規模なストレージおよび処理サブシステムのことです。 はスケーラブルで信頼性が高く、レイテンシーが短いストレージソリューションを低いオペレーションのオーバーヘッドで提供するため、データレイクインフラストラクチャとして現在人気の高い選択肢となっています。ただし、S3 によってペタバイト規模のストレージのセットアップ、設定、管理に関連する多くの問題が解決される一方で、S3 へのデータの取り込みがしばしば課題となっています。これは、ソースデータのタイプ、ボリューム、速度が組織によって大きく異なっているためです。このブログでは、 を使用して MeetMe で大規模なデータ取り込みを最適化、合理化する当社のソリューションについて説明します。これは毎日数百万人のアクティブなユーザーに対応している人気の高いソーシャル検出プラットフォームです。MeetMe のデータサイエンスチームは、1 日あたり約 0.5 TB のさまざまなタイプのデータを、データマイニングタスク、ビジネス向けレポート、高度な分析に公開するような方法で収集、保存する必要がありました。チームはターゲットのストレージ機能として Amazon S3 を選択し、大量のライブデータを堅牢で信頼性が高く、スケーラブルで運用費用が低い方法で収集するという課題に直面していました。ここでの全体的な目的は、可能な限り低いオペレーションのオーバーヘッドで、AWS データインフラストラクチャに大量のストリーミングデータをプッシュするプロセスをセットアップすることでした。Flume、Sqoop など多くのデータ取り込みツールが現在入手可能ですが、当社は、その自動的なスケーラビリティと伸縮性、設定と管理の容易さ、それに S3、、 など他の Amazon サービスとの即座の統合機能により、Amazon Kinesis Firehose を選択しました。 ビジネス価値 / 正当化 多くのスタートアップ企業と同じように、MeetMe は最大のビジネス価値をできるだけ低いコストで提供することに焦点を置いています。したがって、データレイクについては次のような目標がありました。 効果的な意思決定のための高レベルなビジネスインテリジェンスでビジネスユーザーに力を与える。 収益を生み出す洞察の発見に必要なデータをデータサイエンスチームに提供する。 Scoop や Flume といったよく使われているデータ取り込みツールを検討した結果、データサイエンスチームはデータ取り込みプロセスをセットアップ、設定、調整、維持するためにフルタイムの BigData エンジニアを追加する必要があり、冗長性のサポートを可能にするために、エンジニアリングの時間がさらに必要であると予測されました。このようなオペレーションのオーバーヘッドは MeetMe でのデータサイエンスの費用を増やし、全体的な速度に影響する不要な範囲をチームにもたらします。 サービスにより多くの運用面の懸念が軽減され、それによりコストも削減されました。それでもある程度の社内の統合開発は必要でしたが、データコンシューマーのスケーリング、管理、アップグレード、トラブルシューティングは Amazon によって行われるため、データサイエンスチームの規模と範囲は大幅に減りました。 Amazon Kinesis Firehose […]

Read More

Yemeksepeti: サーバーレスアーキテクチャへの当社の移行

AWS コミュニティヒーローの Onur Salk 氏から、自社のサーバーレスアーキテクチャへの移行をどのように支援したかについて、次のようなゲスト投稿が寄せられました。 私は AWS コミュニティヒーロー、AWS 認定ソリューションアーキテクト – プロフェッショナル、トルコの AWS ユーザーグループの主催者である Onur Salk と申します。私はヒーローとして、AWS の経験と知識を個人ブログやコミュニティでの出会いを通じて共有していきたいと思っています。本日は、当社 Yemeksepeti の事例と、サーバーレスアーキテクチャへの移行についてお話したく思います。 Yemeksepeti の事例 Yemeksepeti はトルコ最大のオンライン注文企業です。ユーザーは、提携先のネットワークレストランから食材の注文を行うことができ、手数料はかかりません。Yemeksepeti では、スケーラブルでパフォーマンスと費用効率の高い、世界中に分散したサービスをセットアップする必要がありました。当社は、サーバーレスアーキテクチャを設計することで、サーバーの管理について心配することなく、チームから多くの運用面の負担を取り除くことができると考えています。つまり、コードの大規模な実行に集中できるということです。 Yemeksepeti.com では、約 4 年前に Joker と呼ばれるリアルタイムの割引システムを開発しました。このシステムの目的は、レストランに関して通常ないような割引を顧客に提案することです。元の Joker プラットフォームは .NET で開発され、その REST API を使ってウェブサイトやモバイルデバイスと統合されました。世界 34 か国で営業している関連会社も顧客にリアルタイムの Joker 割引を提供できるように、関連会社に対してプラットフォームの API を公開することを求められました。 最初はコードを共有し、関連会社にアプリケーションを統合させることを考えました。ただし、他のほとんどの国では異なる技術スタック (プログラミング言語、データベースなど) を使用していました。当社のコードを使用することで、最初は関連会社による開発が迅速化する可能性がありますが、不慣れなシステムを管理しなければなりません。実装がより簡単で、管理費用がより安い統合方法を見つける必要がありました。 当社の要件 これはグローバルなプロジェクトであり、次の 5 つの重点領域がありました。 管理の容易さ 高可用性 スケーラビリティ 複数のリージョンでの使用 費用のメリット […]

Read More

AWS が Amazon の記録更新に貢献

今年で 2 年目となった Prime Day で Amazon は新記録を達成しました。この日、世界中からの注文数はブラックフライデー、サイバーマンデー、Prime Day 2015 の記録を遥かに上回るものとなりました。Slice Intelligence は、Prime Day 2016 の当日における米国全土の e コマース消費者のうち 74% を Amazon が占めていたと報告しています。この 1 日限りのグローバルショッピングイベントは Amazon Prime メンバーのみを対象としています。Prime 2015 に比べ、今年のトラフィックレベルは過去最高そして Amazon Mobile App からの注文数は昨年の 2 倍にも上昇しました。世界中の Prime メンバーが 1 日に購入したアイテムの例として、玩具は 2 万個以上、靴は 1 万足以上そしてテレビは 9 万台以上の売り上げが記録されています (統計の詳細は Amazon’s Prime Day is the Biggest Day Ever をご覧ください)。これほど大きなスケールのイベントを実施するには、急増するトラフィックにインフラストラクチャが対応できなければなりません。 […]

Read More

GameStop – ミッションクリティカルなマルチチャネルのマーケティングプラットフォームを AWS に移動

GameStop は新品および中古のビデオゲームのハードウェア、ソフトウェア、アクセサリ、家電製品、ワイヤレスサービスを販売しています。14 か国に渡る小売店は 7,000 店以上あり、同社は日々何百万人もの顧客を相手に販売、サービスを提供しています。小売店の他にもオムニチャネル戦略を導入し、世界中で 4,600万人以上のメンバーがロイヤルティプログラムに参加しています。GameStop の Justin Newcom (インターナショナルテクノロジーサービス & サポート部シニアディレクター) と Jim March (アドバンスクラウドシステムエンジニア) との対話で、ミッションクリティカルなマルチチャネルマーケティングプラットフォームを従来のホスティングから AWS に移行した方法について伺いました。GameStop のストーリーをご覧ください。 ビジネスチャレンジ 2015 年 3 月、GameStop のインターナショナルホスティングとの契約期限が近付いていたため、GameStop チームは別のホスティングソリューションがないか真剣に探し始めました。以前から知られているホスティング企業数社と AWS を含むクラウドベンダー数社に RFP (提案依頼書) を送り、その返信が届き次第、決断は明らかになったそうです。その時のことを Justin は「AWS が圧倒的に優れていました」と述べています。別のクラウドベンダーとのミーティングから戻った Jim は、AWS の資料を読み進めるうちに思っていたよりも遥かに完全性が高く洗練されているサービスであることが分かったといいます。その後、GameStop は製品そして革新的なサービスを次々と送り出していること、評判、価格に基いて AWS を利用することに決定したそうです。しかし圧倒的に優れたサービスを選んだからといっても、問題なく進行させていくには様々なことを学ぶ必要があると考えていたといいます。 AWS 導入の始まり GameStop のテクノロジーリーダー達は AWS について学びやすい文化を築いていくことにしました。AWS を使用している他の利用者やパートナーと話し合い、優れた AWS コンサルティングパートナーを呼び、クラウド導入のスタートを切りました。そして最初に移行するのはミッションクリティカルなマルチチャネルのマーケティングプラットフォームに決定したそうです。このプラットフォームは e コマース以上のもので、カナダやヨーロッパのインストアカスタマーのアクティビティの他に、オンラインカスタマーへのサービスも管理しています。これは、顧客がレジでオンライン購入をする場合などインストアとオンラインのアクティビティを統合できるようにしています。AWS への移行は 2015 年ホリデーショッピングのシーズンまでに完了し、AWS […]

Read More