Category: Networking & Content Delivery

8月28日 AWS目黒オフィスにて、メディアソリューションにご興味ある内製エンジニア および WEBコンテンツ事業に関わる企業様を対象とした、クラウドネイティブサービスを活用した動画配信の事例紹介イベントを開催しました。 株式会社サイバーエージェント様、ブイキューブ様をゲストに、ライブ動画配信サービスをクラウドでどのように構築・運用されているのかなど語っていただきました。当日は ７０ 名近くのお客様にご参加いただきました。 ■クラウドネイティブサービスで実現するライブ動画配信 アマゾン ウェブ サービス ジャパン ソリューションアーキテクト 廣瀬 太郎 当日講演資料はこちらからダウンロードいただけます。 ソリューションアーキテクトの廣瀬から、ライブ動画配信に関連する技術トレンドや課題と、動画ワークロードのためのマネージドサービス AWS Media Services を利用したライブ動画配信基盤の構築、運用方法、各社様事例についてお話しました。 AWS Media Services は現在 MediaConnect, MediaLive, MediaPackage, MediaStore, MediaTailor, MediaConvert の計 6 つのサービスで構成されていますが、必ずしもそれら全てを最初から活用する必要はなく、要件にあわせて組み合わせて使って頂けるように疎結合な作りとなっています。本セッションでは代表的なユースケースと、それらに必要となるサービスやアーキテクチャパターンをご案内しつつ、AWS Media Services が生まれてからこの 2 年弱の間に追加された各サービスの機能アップデートを交えてご紹介しました。 2019 年に追加された MediaLive のスケジュール機能強化や MediaPackage の Just-in-Time Packaging などの最新機能についてもご紹介しました。   ■ ゲストスピーカーより導入事例のご紹介 「 WinTicket における競輪ライブ配信ステムの実現 」 […]

モバイルゲームのクライアントアプリを起動した時に、いつも最新のコンテンツを入手できるようにしたいですよね？そうすれば、ゲームへ変更を加えて、新しい機能を追加した際、変更内容をすぐにプレイヤーに提供できるようになります。

コンテンツデリバリネットワーク (CDN) が提供すべき重要な要素の１つとしてパフォーマンスがあります。パフォーマンスの良さを示す２つの観点としてレイテンシーとスループットがあり、これらが優れていると大量の情報を高速にかつ安定して送ることができます。

日本の学術研究機関においてもAWSの利用が進んでいます。それに伴い、最近SINET5関連の質問が増えて参りましたので、ここで少し整理をしてみたいと思います。 そもそもSINET5とは何でしょうか？SINETとは学術情報ネットワーク(Science Information NETwork)で、日本全国の大学、研究機関の学術情報基盤として国立情報学研究所が構築、運用している情報通信ネットワークです。詳しくは構築、運用元である国立情報学研究所のSINETのWebページ(https://www.sinet.ad.jp/)を見ていただければよいと思います。当該ページには参加機関の情報も載っており、既に多くの学術研究機関がSINETに接続されております。インターネットへの接続はSINETの基本サービスである「インターネット接続(IPv4/IPv6 Dual)」を利用し、SINETを経由して行っている機関が多数です。 さて本題のSINET5を経由したAWSの利用ですが、実は次の2つの形態があります。 学術教育機関内から普通にAWSを利用する SINETクラウド接続サービスを利用する どちらの場合も通常SINET網からパケットが外に出て行くことなくAWS網内に到達します。 多くの機関では、最初の方で触れたSINETの基本サービスである「インターネット接続(IPv4/IPv6 Dual)」にてインターネットへと接続していますので、インターネットへ出て行くパケットは図1の(1)の経路を通り、インターネットへ抜けていきます。この状態でAWSを使うとどうなるでしょうか？実はAWSはSINETとIX(Internet Exchange)にてピアリングをしています。PeeringDBなどで確認いただけると思いますが、SINETとAWSが複数のIXで100Gbps以上でピアリングしております。つまり、普通に機関内からAWSにアクセスすると図1の(2)の経路のように、SINETの出口でAWS網内に入る形となり、いわゆる一般的なインターネットに出て行くことなく通信が可能です。何か手続き等は必要ありませんので、普通にAWSを使うだけです。学内、SINET網内は他のパケットと混在する形になりますので、必要に応じて通信の暗号化をしていただくことをお勧めしています。 さて、次にSINETクラウド接続サービスを利用した場合について説明します。このクラウド接続サービスは簡単に言うとSINET接続拠点間に論理的に分離されたVLANを提供するものです。これはSINETのL2VPNのサービスを利用したものとなり、L2レベルで分離したネットワークを利用可能ですが、AWSを利用する場合には、AWS側と機関側の間でルーティング情報の交換の必要があるため、機関側にBGPルータが必要となります(図1の(3))。本ブログ執筆時(2019年6月時点)では、SINET5とAWS間を結ぶ物理回線費用はAWS側が負担しており既に物理回線は開通済みで、60を超える機関でご利用頂いております。AWS側から見てデータoutとなるデータ転送費は利用者に負担して頂く必要がありますが、インターネット経由と比べDirect Connect経由となるため転送費が抑えられるメリットがあります。利用にはSINETの接続拠点間の設定と、AWSアカウントへDirect Connectの仮想インタフェースを割り当てる必要がありますので、SINET側、AWS側それぞれに申請が必要となります。ブログ執筆時点では電子メールベースで学術研究機関から申請する形となります。詳しくはSINETのWebページから「クラウド接続」のページをお読みください。本ブログ執筆時点では、SINETクラウド接続サービス用に10Gbpsの回線複数本でSINET5-AWS間を接続しておりますが、SINET側接続部にて単一障害点が発生する可能性があり、インターネットVPNでの経路バックアップを推奨しています。インターネットVPNと呼んではいますが、先に説明をしましたように、実際には図1の(2)の経路を通ることになりますので、SINET網内出口からAWS網内へ入る形となります。 最後に、どちらの形態を選ぶかですが、AWSを利用する目的により個々で異なりますので、一概に語ることはできません。目安となる点をお伝えしておきたいと思います。 通常の利用をお勧めする場合 とにかく高速(数Gbps超)にデータをAWSに転送し続けたい 小さく始めたい。研究室単位で始めたい BGPルータを用意することができない 研究データ管理基盤（GakuNin RDM）のストレージ先 データバックアップ先としての利用 パブリックエンドポイントを提供するサービスの利用（Amazon S3,　Amazon Workspaces等） クラウド接続サービスをお勧めする場合 定常的に大量のダウンロードが発生する 機関として1つのアカウントに集約済み 機密性の高いデータの転送(機関にて利用する通信経路の規約等がある場合) AWSへのデータ転送は追加費用が必要ありませんので、データoutの方向についてデータ量がどれくらいなのか？や、BGPルータの導入維持費とデータ転送・インターネットVPNの費用との比較などもどちらの形態にするかの検討する材料となるでしょう。 — パブリックセクター　ソリューションアーキテクト　櫻田 図1　SINET5とAWSの接続

先日 (2019/3/13) 開催しました AWS Black Belt Online Seminar「Amazon VPC Basic」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

多くの AWS の顧客が、グローバルなコンテンツ配信ネットワーク (CDN) サービスである Amazon CloudFront を使用しています。低いレイテンシーと高い転送速度で、ウェブサイト、動画、API 操作をブラウザやクライアントに配信します。 Amazon CloudFront は、キャッシングまたはウェブアプリケーションファイアウォールによって、大量の負荷や悪意のあるリクエストからバックエンドを保護します。その結果、バックエンドに届くのはすべてのリクエストのごく一部になります。Amazon Simple Storage Service (S3) へのすべてのリクエストの詳細情報とともにアクセスログを保存するように Amazon CloudFront を設定することができます。これにより、キャッシュの効率に関する洞察を得たり、顧客が製品をどのように使用しているかを知ることができます。 S3 のデータに対して標準の SQL クエリを実行するための一般的な選択肢は Amazon Athena です。 事前にインフラストラクチャを設定したりデータをロードしたりすることなく、クエリによってデータが即座に分析されます。 実行するクエリの分だけを支払います。Amazon Athena は、迅速でインタラクティブなクエリに最適です。大きな結合、合併、入れ子になったクエリ、ウィンドウ関数など、データの複雑な分析をサポートします。 このブログ記事では、Amazon CloudFront アクセスログストレージを再構築してクエリのコストとパフォーマンスを最適化する方法を説明します。時系列データの他のソースにも適用可能な一般的なパターンを示しています。 Amazon Athena クエリのための Amazon CloudFront アクセスログの最適化 コストとパフォーマンスという、最適化の 2 つの主な側面があります。 データの保存とクエリの両方でコストが安いことが必要です。アクセスログは、S3 に保存され、GB /月単位で請求されます。したがって、特にログを長期間保存したい場合は、データを圧縮することは意味があります。また、クエリにもコストはかかります。ストレージのコストを最適化すると、通常はクエリのコストが発生します。アクセスログは gzip によって圧縮されて配信され、Amazon Athena は圧縮を処理できます。Amazon Athena ではスキャンされた圧縮データの量に基づいて請求されるので、圧縮による利点はコスト削減として享受できます。 クエリは、さらにパーティショニングの利点を受けます。パーティショニングは、テーブルを複数の部分に分割し、列の値に基づいて関連データをまとめます。時間ベースのクエリの場合、年、月、日、時間ごとにパーティショニングすることが役に立ちます。Amazon CloudFront アクセスログでは、これはリクエスト時間を示します。データとクエリに応じて、パーティションにさらにディメンションを追加します。たとえば、アクセスログの場合、リクエストされたドメイン名が考えられます。データを照会するときに、パーティションに基づいてフィルターを指定して、Amazon Athena がスキャンするデータを少なくすることができます。 一般に、スキャンするデータが少なくなるとパフォーマンスが向上します。アクセスログをカラムナ形式に変換すると、スキャンするデータが大幅に削減されます。カラムナ形式はすべての情報を保持しますが、列ごとに値を保存します。これにより、辞書を作成したり、ランレングスエンコーディングやその他の圧縮技術を効果的に使用することができます。Amazon Athena […]

本日より、アプリケーション ロードバランサー (ALB)はAWS Lambda functionをターゲットにすることをサポートします。ウェブサイトの構築やウェブアプリケーションをAWS Lambdaを使いサーバレスなコードとして作成、管理し、ウェブブラウザやクライアントからのリクエストに簡単なHTTP(S)フロントエンドを提供するように設定できます。

AWS App Meshは、AWS上のマイクロサービスアプリケーション間の通信を簡単に監視、制御できるサービスメッシュです。 Amazon Elastic Container Service (Amazon ECS)やAmazon Elastic Container Service for Kubernetes (Amazon EKS)、Amazon EC2上で稼働するKubernetesで動作するマイクロサービスとあわせてApp Meshを使用できます。 今日からApp Meshはpublic previewとして利用できます。数ヶ月後に、新しい機能とインテグレーションを追加する計画です。 なぜApp Meshなのか？ 多くのお客様はマイクロサービスアーキテクチャでアプリケーションを構成しており、アプリケーションを多数の、独立してデプロイされ、操作される多数の別々の小さなソフトウエア群に分割しています。各コンポーネントが需要に応じて個別にスケールすることにより、マイクロサービスはアプリケーションの可用性とスケーラビリティを向上させます。各マイクロサービスはAPIを通じて他のマイクロサービスと相互に作用します。

以前、法規制等によりユーザデータを地理的に分離してデータ主権法を遵守する必要がある分野で働いていた経験から、私は複数の国に展開されたインフラストラクチャを必要とするグローバルワークロードを実行することの複雑さを証明することができます。可用性、パフォーマンス、そしてフェイルオーバーなどすべての要素はヤクの毛をかる（モグラ叩きのように次から次に問題が発生して切りがないという意味）ような果てしない作業になります（まるであなたが過去にデータセンターを拡張したように）。お客様は我々に複数のリージョンでオペレーションを行う必要があると言います。それは可用性のためである場合もあれば性能のためでもあり、規制に対応するためである場合もあります。ワークロードをAWS CloudFormationでテンプレート化し、Amazon DynamoDB Global Tableを使うことでデータベースをレプリケーションできること。そして、AWS SAMを使ってサーバレスのワークロードをデプロイできることについてはとても満足いただいています。これらの作業の実施は短時間で実行することができるとともに、グローバルな体験を顧客に対して提供することができます。また、お客様には地理的な隔離により、AWSがblast radiusすなわち問題の地理的連鎖の排除が実現でき、その結果として可用性が向上することについても満足を頂いています。しかし一方で、お客様はアプリケーションの部分においてもう少し有効な機能を提供することを望まれています。

先日 (2018/11/14) 開催しました AWS Black Belt Online Seminar「AWS Direct Connect」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 AWS Black Belt Online Seminar AWS Direct Connect その他の過去資料はこちら Q. Public VIFを使ってオンプレから通信する場合、AWSから提供される/31のグローバルIPにNATする必要があると思いますが、それは利用者側のNW機器で行う必要がある認識で合っていますでしょうか？ A. はい。認識合っております。利用者側のNW機器でNATをお願いいたします。 Q. ホスト接続、共有型のものと利用シーンが同じと思ったのですが、何か違いはありますでしょうか？ A. ほぼ同じです。共有型の場合は帯域がほかのお客様と共有され、パートナーにより帯域がギャランティされるかどうかは異なります。ホスト接続は帯域がAWSとパートナーにより保証されます。また、共有型では仮想インターフェイスの設定はパートナーが行いますが、ホスト接続の場合はお客様にてセルフサービスで実施していただく必要があります。 Q. DirectConnectGatewayの利用有無による金額変動はありますか？ A. 追加料金はかかりません。Direct Connect Gatewayの追加によりリモートリージョンへの転送料金が追加になっておりますので詳しくは料金表をご参照ください。 今後の AWS Black Belt Online Seminar のスケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております！ 11月分申込先 ≫  12月分申込先 ≫ AWS Key Management Service (KMS) 2018 年 11 月 21 日 | 18:00 – […]