Amazon Web Services ブログ

WinTicket は、インターネットテレビ局 AbemaTV の番組「競輪チャンネル」と連動し、24時間どこでも投票チケットを購入できるほか、レース情報・オッズ・ AI 予想機能、そして開催中の熱戦レースのライブ映像を提供しています。 時速 60km ～ 70km で 9 名の選手がレースする中、 WinTicket のユーザーが視聴環境を問わず、レースの状況を高画質・低遅延で視聴できるようにすることは重要です。そのため、 WinTicket は動画配信ワークフローをクラウドに移行し、AWSメディアサービスを活用することで高画質・低遅延のライブ配信を確立させました。 WinTicket のライブ配信は、全国40以上の競輪場から集約した映像で構成されています。 AbemaTV の番組スタジオで映像を集めてクラウドへ伝送し、 AWS Elemental MediaLive で ABR エンコード、 AWS Elemental MediaPackage で HLS にパッケージ化し、 Amazon CloudFront 経由で視聴者へ低遅延なライブ配信しています。 「 WinTicket はサービスの特性上、レース状況や結果がすぐにわかるようにしなければ、ユーザー体験に影響を及ぼしてしまいます。 AWS Media Services は、他のサービスよりも 1.5 倍ほど低いレイテンシでコンテンツを配信できるため、戦略的な強みが得られました。」と、株式会社サイバーエージェントの CATS ソフトウェア エンジニア 江頭 宏亮 氏は語っています。「今回、 AWS Media Services を採用したことで、配信ワークフローの開発工程数を抑えた、冗長性のある可用性の高いライブ配信システムの構築ができました。配信管理ツールとして採用したサーバレスアーキテクチャを含め、利用している時間帯だけ課金されるため、運用コストを抑えられます。また、スケジュール管理上で蓋絵 […]

AWS 上でビッグデータの ETL ワークフローを実行している大企業は、多数の内部エンドユーザーにサービスを提供できるようなスケールで運用しており、何千もの同時パイプラインを実行しています。このことは、新しいフレームワークと、ビッグデータ処理フレームワークの最新のリリースに遅れずについていくため、ビッグデータプラットフォームを更新し、拡張する点での継続的なニーズと相まって、ビッグデータプラットフォームの管理を簡素化することと、ビッグデータアプリケーションへの容易なアクセスを促すことの両方を可能にする、効率的なアーキテクチャと組織構造を要求しています。 この投稿では、一元管理型のプラットフォームチームが、幾千もの同時 ETL ワークフローへのサービスを提供するビッグデータプラットフォームを維持するのを助け、そのことを達成するために必要な運用タスクを簡素化するアーキテクチャについて紹介します。 アーキテクチャコンポーネント 高いレベルにおいては、このアーキテクチャは、ビッグデータプラットフォームに ETL ワークフローのオーサリング、オーケストレーション、そして実行能力を提供するため、Amazon EMR と関連した 2 つのオープンソーステクノロジーを利用しています。Genie は、同時ビッグデータジョブの送信、動的なジョブのルーティング、中央設定管理、そして Amazon EMR クラスタの抽象化のための集中管理型 REST API を提供します。Apache Airflow は、複雑なデータパイプラインのオーサリング、スケジュールおよびモニタをプログラム的に行うことを可能にする、ジョブオーケストレーションのためのプラットフォームを提供します。Amazon EMR は、Apache Hadoop、Apache Spark、および他のビッグデータフレームワークの実行とスケーリングを可能にする、マネージドクラスタプラットフォームを提供します。 次の図は、アーキテクチャを示しています。 Apache Airflow Apache Airflow は、ビッグデータワークフローのオーサリングとオーケストレーションのためのオープンソースツールです。 Apache Airflow を使えば、データエンジニアは有向非巡回グラフ (DAG) を定義できます。DAG はワークフローを実行する方法を記述するもので、Python で書かれています。ワーフローは、独立して実行されるタスクをグループ化する DAG としてデザインされます。DAG はタスク間の関連性と依存関係を追跡します。 演算子は、ワークフロー内の単一タスクを定義するテンプレートを定義します。Airflow は一般的なタスクのための演算子を提供します。また、ユーザーはカスタムの演算子を定義することもできます。この投稿では、タスクを Genie に送信するためのカスタム演算子 (GenieOperator) について説明します。 タスクは、演算子のパラメータ化されたインスタンスです。演算子はインスタンス化されるとタスクと呼ばれます。タスクインスタンスは、タスクの特定の実行を表します。タスクには、関連付けられている DAG、タスク、および特定の時点があります。 DAG とタスクは、オンデマンドで実行することも、DAG の […]

2 年足らず前に、Amazon CloudFront の 100 番目の POP (Points of Presence) を発表しました。 POP (Points of Presence) の フットプリント全体は、1 年あたり 50% 増えています。2017 年に 100 番目の POP (Points of Presence) を開始して以来、中国、イスラエル、デンマーク、ノルウェー、南アフリカ、UAE、バーレーン、ポルトガル、ベルギーを含む 34 か国の 77 の都市に拡大しました。 CloudFrontは、 Superbowl LIII、木曜夜のフットボール (Prime Video 経由)、 ロイヤルウェディング、 冬季オリンピック、コモンウェルスゲーム、多くのサッカー試合 (2019 FIFA ワールドカップを含む)などを含む注目度の高いライブストリーミングイベントを多く配信するために使用されます。 CloudFront は単独で使用する場合でも、またほかの AWS のサービスと共に使用される場合でも、コンテンツを保護し、基礎のソースを守るために役立つ多くのオプションと共に、コンテンツを配信するための素晴らしい方法です。例: DDoS 保護 – Amazon CloudFront の顧客は、2018 年には 84,289 […]

 この記事では、中心的な AWS Lake Formation アカウントが、複数のアカウントにあるデータのアクセスや管理を行う方法を解説していきます。このウォークスルーでは、異なるアカウントにあるデータを使い、マスターとなる Lake Formation アカウントにある一元管理されたカタログを示します。 記事の中では、別のアカウントにあるカタログの読み出し、書き込み、更新、およびデータへのアクセスを行う許可を、Lake Formation サービスから付与する方法を説明します。 また、2 つのデータセットを使って、世界中から集めたニュース (gdelt) と、Amazon の製品が受けたレビューの数 (amazonreviews) との間に 相関性 が存在するかを判断していきます。 前提条件 今回の例では、それぞれ S3 バケットとアカウント番号がある、3 つのアカウントを使用する必要があります。 環境の設定 3 つのアカウントは次なようなものです。 Account Products (AP) – これは、Amazon の製品が受けたレビューを保存するためのアカウントです。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Account External (AE) – このアカウントは、100 を超える言語による放送、印刷物、ウェブニュースを世界中から集めモニタリングします。これは、毎日毎秒のように国際社会を動かし続けている、人々、場所、組織、数、テーマ、情報ソース、感情、引用、画像、出来事などを抽出します。この記事では、AWS CloudFormation を使って構成したものをデプロイします。 Main Account (MA) – メインとなるアカウントです。他の 2 つのアカウントからのデータを集約します。今回は、このアカウントに Lake Formation を定義します。このアカウントには、製品データと国際ニュース用のアカウントへのアクセス権限があります。 次の図は、全体的なアーキテクチャを示しています。 […]

 re:Invent 2019 まで残り 40 日を切り、興奮が高まるなか、皆様にお会いできることを楽しみにしています。 人工知能と機械学習へのジャーニーを続ける中で、今年は 200 を超える分科会、詳細なチョークトーク、Amazon SageMaker、AWS DeepRacer、ならびに TensorFlow、PyTorch などの深層学習フレームワークをテーマとするワークショップでの実践演習を含めて豊富な技術コンテンツを提供いたします 。Vanguard、BBC、Autodesk、British Airways、Fannie Mae、Thermo Fisher、Intuit など、多数のお客様の声を聞くことができます。また、今年も機械学習サミットを開催します。研究者や起業家から、現時点で最新のブレークスルーと将来の可能性について聞くことができます。 計画を開始するために、re:Invent 2019 セッションカタログから AI および ML セッションのハイライトをいくつかご紹介します。座席の予約も始まっているので、お気に入りのセッションの席を事前に確保してください。 はじめに AI や ML を初めて使用する場合は、こうした概念を学んで始めるためのセッションがいくつかあります。これらのセッションでは、Amazon SageMaker の概要とデモ、多くのアプリケーション向けのさまざまな AI サービス、人気がある AWS DeepLens や AWS DeepRacer など、楽しみながら学習するのに役立つ基本を取り上げます。 リーダーシップセッション: 機械学習 (セッション AIM218-L) 機械学習の黄金時代に乗り出すと、制約や妨げがなくなり、価値はさまざまな業界に広がります。このリーダーシップセッションでは、誰もが機械学習を利用できる道を模索しながら、AWS の最新の機械学習製品について学びます。当社の機械学習サービスの幅と深さについて説明します。この過程で AWS と提携しているお客様の声をお聞きください。 Amazon SageMaker の詳しい説明: A modular solution for […]

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 コーディングのエディタ/IDEは人それぞれ好みがありますが、最近はVisual Studio Codeを利用している方が増えた気がしています。そのVisual Studio Code上でAWSの開発効率を上げることができるプラグインが用意されている事をご存知でしょうか？Python, Node.js, .NET coreでのAWS開発に対応していて、導入も簡単です。詳しくはこちら(AWS Toolkit for Visual Studio Code)をご覧ください。また、こちらには.NET core+AWSでの利用ガイドもあります。 それでは、先週の主なアップデートについて振り返っていきましょう。

本番環境に対応したアーキテクチャに移行する際、お客様のアプリケーションチームはサンドボックス環境で AWS のサービスを試して、AWS の進化していくイノベーションに対応することができます。アプリケーションチームは、さまざまな AWS のサービスとリソースにタイムリーにアクセスする必要があります。つまり、最低限の権限を与えられることを保証するメカニズムを必要とします。通常、アプリケーションチームは、定期的に Amazon Elastic Block Store のスナップショットバックアップを行う AWS Lambda 関数や、セキュリティチームが管理する一元化された情報セキュリティアカウントにイベントを送信する Amazon CloudWatch Events ルールなどの管理リソースにアクセスできません。 このブログ投稿では、さまざまなサンドボックス、開発、テスト環境で作業しているアプリケーションチームが AWS Identity and Access Management (IAM) ポリシーを作成および検証するため、一元化かつ自動化したワークフローを作成する方法をご紹介します。セキュリティ開発者は、セキュリティチームの特定の要件に従ってこのワークフローをカスタマイズできます。セキュリティ開発者は、アカウントの種類または所有チームに基づいたアクセス許可セットを制限するロジックも作成できます。AWS CodePipeline を使用して、さまざまな段階や複数の AWS アカウントにわたるワークフローを作成および管理します。これについては、次のセクションで詳しく説明します。 ソリューションの概要 次のシナリオから始めましょう。Alice は AWS サンドボックスアカウントの管理者です。これは、組織のデータサイエンティストが Amazon Athena や Amazon EMR などの AWS の分析サービスを試す際に使用します。データサイエンティストは、機密情報が取り出された後、実際のデータセットの一部に対して分析ジョブのサンプルを実行することで、これらのサービスが本番ユースケースに適合しているかを評価します。データセットは既存の Amazon Simple Storage Service (Amazon S3) バケットに保存されます。Alice は新しいプロジェクトごとに、プロジェクトチームに要求された Amazon S3 バケットにアクセスして、分析クラスターを作成できるようにする新しい IAM […]

AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、大規模に分割可能なデータセットに対して、Apache Sparkアプリケーションを水平にスケールアウトできるようにすることです。2つ目は新しいAWS Glueのワーカータイプを使用して、メモリインテンシブ(メモリを大量に消費する)なApache Sparkアプリケーションを垂直にスケールアップするということです。また、Amazon Kinesis Data Firehoseを使ったストリーミングアプリケーションから一般的に取り込まれる多数の小さなファイルに対して、Apache SparkアプリケーションをスケールさせるAWS Glueの使い方についても説明します。最後に、AWS GlueジョブがAmazon S3上に存在する大量のデータセットのパーティション構造を利用して、Apache Sparkアプリケーションの実行時間を短縮する方法についても説明します。

Amplify Console を使うと、開発者は継続的なデプロイを行う Git ベースのワークフローの定義やフルスタックのサーバーレスウェブアプリケーションのホスティングが容易に行えるようになりますフルスタックのサーバーレスアプリの構造では、GraphQL API やデータおよびファイルストレージ、また認証もしくは分析のためのバックエンドのリソースが、React、Gatsby あるいは Angular といったフロントエンドフレームワークと統合されています。Amplify Console に関する詳細については、以前のブログ記事をご参照ください。 今回は、コードを実稼働状態にリリースする前の段階において、プレビュー URL を作成しプルリクエストについてエンドツーエンドのテストが行える機能を発表させていただきます。 プルリクエストプレビュー Amplify Console の設定で、開発者が Git レポジトリにプルリクエストを送信するたびにアプリケーションを一意の URL にデプロイできるようになりました。このプレビュー URL は、実稼働のサイトが使用するものとは完全に異なるものです。プルリクエストをご自身のコードレポジトリのメインブランチにマージする前に、Amplify Console の新機能で変更点を確認できます。Amplify CLI を介してプロビジョニングされたバックエンド環境も含むフルスタックのアプリでは、すべてのプルリクエストがプルリクエストが閉じられると削除される一時的なバックエンドをスピンアップします。これにより、実稼働環境から完全に分離された状態で変更点の確認が可能になります。Amplify Console では、プライベートの Git レポジトリに限り、プルリクエストのためのバックエンドインフラストラクチャを作成します。これにより、不要なプルリクエストによる余計なコスト発生を防ぎます。 この仕組みを理解するために、クラウドベース認証のバックエンドがあるウェブアプリケーションを作成し、Amplify Console でデプロイしてみることにします。最初に React アプリケーションを作成します (React のインストールについてはこちらをご参照ください) 。 npx create-react-app amplify-console-demo cd amplify-console-demo Amplify の環境を初期化します (先に、Amplify CLI のインストール方法をご確認ください) 。Amazon Cognito で提供されている、クラウドベース認証のバックエンドを追加します。Amplify CLI […]

Amazon Elastic File System (Amazon EFS) は、あらゆる分野、あらゆるバーチカルで、世界中の数千社サービスを提供しています。多くのカスタマーには、コンプライアンスまたは規制要件に基づいて、非常に具体的なネットワークとネットワーク管理ポリシーがあります。今日は AWS PrivateLink を使用して Amazon EFS に対して Amazon VPC エンドポイントを作成することにより、コンプライアンスを満たすか、向上させる方法を示します。 Amazon EFS は AWS クラウドサービスとオンプレミスリソースで使用するために Linux ベースのワークロードに対して、単純でスケール自在、伸縮自在な NFS ファイルサービスを提供します。AWS PrivateLink はトラフィックがパブリックインターネットを通過しないようにすることにより、クラウドベースのアプリケーションと共有されるデータのセキュリティを簡素化し、VPC、AWS のサービス、オンプレミスアプリケーション間のプライベート接続を Amazon ネットワークで安全に提供します。 Amazon EFS は AWS PrivateLink を使用するかどうかにかかわらず、すでに業界標準の TLS をサポートして、通過するデータの暗号化 を保護しています。多くのお客様もまた、Amazon EFS API を使用して、EFS ファイルシステムの作成と管理を自動化します。Amazon VPC エンドポイントを使用して、VPC からパブリックインターネットに接続されていない Amazon EFS API を、パブリック IP アドレスを使わずに、また Amazon ネットワークを離れることなく、呼び出すことができます。これにより、適用可能なセキュリティとコンプライアンスの要件を満たし、AWS ネットワーク内にネットワークトラフィックを維持することで、AWS […]