Amazon Web Services ブログ

Category: Networking & Content Delivery

学術研究機関でのSINET5を経由したAWSの利用

日本の学術研究機関においてもAWSの利用が進んでいます。それに伴い、最近SINET5関連の質問が増えて参りましたので、ここで少し整理をしてみたいと思います。 そもそもSINET5とは何でしょうか?SINETとは学術情報ネットワーク(Science Information NETwork)で、日本全国の大学、研究機関の学術情報基盤として国立情報学研究所が構築、運用している情報通信ネットワークです。詳しくは構築、運用元である国立情報学研究所のSINETのWebページ(https://www.sinet.ad.jp/)を見ていただければよいと思います。当該ページには参加機関の情報も載っており、既に多くの学術研究機関がSINETに接続されております。インターネットへの接続はSINETの基本サービスである「インターネット接続(IPv4/IPv6 Dual)」を利用し、SINETを経由して行っている機関が多数です。 さて本題のSINET5を経由したAWSの利用ですが、実は次の2つの形態があります。 学術教育機関内から普通にAWSを利用する SINETクラウド接続サービスを利用する どちらの場合も通常SINET網からパケットが外に出て行くことなくAWS網内に到達します。 多くの機関では、最初の方で触れたSINETの基本サービスである「インターネット接続(IPv4/IPv6 Dual)」にてインターネットへと接続していますので、インターネットへ出て行くパケットは図1の(1)の経路を通り、インターネットへ抜けていきます。この状態でAWSを使うとどうなるでしょうか?実はAWSはSINETとIX(Internet Exchange)にてピアリングをしています。PeeringDBなどで確認いただけると思いますが、SINETとAWSが複数のIXで100Gbps以上でピアリングしております。つまり、普通に機関内からAWSにアクセスすると図1の(2)の経路のように、SINETの出口でAWS網内に入る形となり、いわゆる一般的なインターネットに出て行くことなく通信が可能です。何か手続き等は必要ありませんので、普通にAWSを使うだけです。学内、SINET網内は他のパケットと混在する形になりますので、必要に応じて通信の暗号化をしていただくことをお勧めしています。 さて、次にSINETクラウド接続サービスを利用した場合について説明します。このクラウド接続サービスは簡単に言うとSINET接続拠点間に論理的に分離されたVLANを提供するものです。これはSINETのL2VPNのサービスを利用したものとなり、L2レベルで分離したネットワークを利用可能ですが、AWSを利用する場合には、AWS側と機関側の間でルーティング情報の交換の必要があるため、機関側にBGPルータが必要となります(図1の(3))。本ブログ執筆時(2019年6月時点)では、SINET5とAWS間を結ぶ物理回線費用はAWS側が負担しており既に物理回線は開通済みで、60を超える機関でご利用頂いております。AWS側から見てデータoutとなるデータ転送費は利用者に負担して頂く必要がありますが、インターネット経由と比べDirect Connect経由となるため転送費が抑えられるメリットがあります。利用にはSINETの接続拠点間の設定と、AWSアカウントへDirect Connectの仮想インタフェースを割り当てる必要がありますので、SINET側、AWS側それぞれに申請が必要となります。ブログ執筆時点では電子メールベースで学術研究機関から申請する形となります。詳しくはSINETのWebページから「クラウド接続」のページをお読みください。本ブログ執筆時点では、SINETクラウド接続サービス用に10Gbpsの回線複数本でSINET5-AWS間を接続しておりますが、SINET側接続部にて単一障害点が発生する可能性があり、インターネットVPNでの経路バックアップを推奨しています。インターネットVPNと呼んではいますが、先に説明をしましたように、実際には図1の(2)の経路を通ることになりますので、SINET網内出口からAWS網内へ入る形となります。 最後に、どちらの形態を選ぶかですが、AWSを利用する目的により個々で異なりますので、一概に語ることはできません。目安となる点をお伝えしておきたいと思います。 通常の利用をお勧めする場合 とにかく高速(数Gbps超)にデータをAWSに転送し続けたい 小さく始めたい。研究室単位で始めたい BGPルータを用意することができない 研究データ管理基盤(GakuNin RDM)のストレージ先 データバックアップ先としての利用 パブリックエンドポイントを提供するサービスの利用(Amazon S3, Amazon Workspaces等) クラウド接続サービスをお勧めする場合 定常的に大量のダウンロードが発生する 機関として1つのアカウントに集約済み 機密性の高いデータの転送(機関にて利用する通信経路の規約等がある場合) AWSへのデータ転送は追加費用が必要ありませんので、データoutの方向についてデータ量がどれくらいなのか?や、BGPルータの導入維持費とデータ転送・インターネットVPNの費用との比較などもどちらの形態にするかの検討する材料となるでしょう。 — パブリックセクター ソリューションアーキテクト 櫻田 図1 SINET5とAWSの接続

Read More

Amazon CloudFront のアクセスログを大規模に分析する

多くの AWS の顧客が、グローバルなコンテンツ配信ネットワーク (CDN) サービスである Amazon CloudFront を使用しています。低いレイテンシーと高い転送速度で、ウェブサイト、動画、API 操作をブラウザやクライアントに配信します。 Amazon CloudFront は、キャッシングまたはウェブアプリケーションファイアウォールによって、大量の負荷や悪意のあるリクエストからバックエンドを保護します。その結果、バックエンドに届くのはすべてのリクエストのごく一部になります。Amazon Simple Storage Service (S3) へのすべてのリクエストの詳細情報とともにアクセスログを保存するように Amazon CloudFront を設定することができます。これにより、キャッシュの効率に関する洞察を得たり、顧客が製品をどのように使用しているかを知ることができます。 S3 のデータに対して標準の SQL クエリを実行するための一般的な選択肢は Amazon Athena です。 事前にインフラストラクチャを設定したりデータをロードしたりすることなく、クエリによってデータが即座に分析されます。 実行するクエリの分だけを支払います。Amazon Athena は、迅速でインタラクティブなクエリに最適です。大きな結合、合併、入れ子になったクエリ、ウィンドウ関数など、データの複雑な分析をサポートします。 このブログ記事では、Amazon CloudFront アクセスログストレージを再構築してクエリのコストとパフォーマンスを最適化する方法を説明します。時系列データの他のソースにも適用可能な一般的なパターンを示しています。 Amazon Athena クエリのための Amazon CloudFront アクセスログの最適化 コストとパフォーマンスという、最適化の 2 つの主な側面があります。 データの保存とクエリの両方でコストが安いことが必要です。アクセスログは、S3 に保存され、GB /月単位で請求されます。したがって、特にログを長期間保存したい場合は、データを圧縮することは意味があります。また、クエリにもコストはかかります。ストレージのコストを最適化すると、通常はクエリのコストが発生します。アクセスログは gzip によって圧縮されて配信され、Amazon Athena は圧縮を処理できます。Amazon Athena ではスキャンされた圧縮データの量に基づいて請求されるので、圧縮による利点はコスト削減として享受できます。 クエリは、さらにパーティショニングの利点を受けます。パーティショニングは、テーブルを複数の部分に分割し、列の値に基づいて関連データをまとめます。時間ベースのクエリの場合、年、月、日、時間ごとにパーティショニングすることが役に立ちます。Amazon CloudFront アクセスログでは、これはリクエスト時間を示します。データとクエリに応じて、パーティションにさらにディメンションを追加します。たとえば、アクセスログの場合、リクエストされたドメイン名が考えられます。データを照会するときに、パーティションに基づいてフィルターを指定して、Amazon Athena がスキャンするデータを少なくすることができます。 一般に、スキャンするデータが少なくなるとパフォーマンスが向上します。アクセスログをカラムナ形式に変換すると、スキャンするデータが大幅に削減されます。カラムナ形式はすべての情報を保持しますが、列ごとに値を保存します。これにより、辞書を作成したり、ランレングスエンコーディングやその他の圧縮技術を効果的に使用することができます。Amazon Athena […]

Read More

アプリケーションロードバランサー(ALB)のターゲットにAWS Lambdaが選択可能になりました

本日より、アプリケーション ロードバランサー (ALB)はAWS Lambda functionをターゲットにすることをサポートします。ウェブサイトの構築やウェブアプリケーションをAWS Lambdaを使いサーバレスなコードとして作成、管理し、ウェブブラウザやクライアントからのリクエストに簡単なHTTP(S)フロントエンドを提供するように設定できます。

Read More

AWS App Meshのご紹介 – AWS上のマイクロサービス向けのサービスメッシュ

AWS App Meshは、AWS上のマイクロサービスアプリケーション間の通信を簡単に監視、制御できるサービスメッシュです。 Amazon Elastic Container Service (Amazon ECS)やAmazon Elastic Container Service for Kubernetes (Amazon EKS)、Amazon EC2上で稼働するKubernetesで動作するマイクロサービスとあわせてApp Meshを使用できます。 今日からApp Meshはpublic previewとして利用できます。数ヶ月後に、新しい機能とインテグレーションを追加する計画です。 なぜApp Meshなのか? 多くのお客様はマイクロサービスアーキテクチャでアプリケーションを構成しており、アプリケーションを多数の、独立してデプロイされ、操作される多数の別々の小さなソフトウエア群に分割しています。各コンポーネントが需要に応じて個別にスケールすることにより、マイクロサービスはアプリケーションの可用性とスケーラビリティを向上させます。各マイクロサービスはAPIを通じて他のマイクロサービスと相互に作用します。

Read More

新発表 – すべてのアプリケーションに可用性とパフォーマンスの向上を提供するAWS Global Accelerator

以前、法規制等によりユーザデータを地理的に分離してデータ主権法を遵守する必要がある分野で働いていた経験から、私は複数の国に展開されたインフラストラクチャを必要とするグローバルワークロードを実行することの複雑さを証明することができます。可用性、パフォーマンス、そしてフェイルオーバーなどすべての要素はヤクの毛をかる(モグラ叩きのように次から次に問題が発生して切りがないという意味)ような果てしない作業になります(まるであなたが過去にデータセンターを拡張したように)。お客様は我々に複数のリージョンでオペレーションを行う必要があると言います。それは可用性のためである場合もあれば性能のためでもあり、規制に対応するためである場合もあります。ワークロードをAWS CloudFormationでテンプレート化し、Amazon DynamoDB Global Tableを使うことでデータベースをレプリケーションできること。そして、AWS SAMを使ってサーバレスのワークロードをデプロイできることについてはとても満足いただいています。これらの作業の実施は短時間で実行することができるとともに、グローバルな体験を顧客に対して提供することができます。また、お客様には地理的な隔離により、AWSがblast radiusすなわち問題の地理的連鎖の排除が実現でき、その結果として可用性が向上することについても満足を頂いています。しかし一方で、お客様はアプリケーションの部分においてもう少し有効な機能を提供することを望まれています。

Read More

[AWS Black Belt Online Seminar] AWS Direct Connect 資料及び QA 公開

先日 (2018/11/14) 開催しました AWS Black Belt Online Seminar「AWS Direct Connect」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 AWS Black Belt Online Seminar AWS Direct Connect from Amazon Web Services Japan その他の過去資料はこちら Q. Public VIFを使ってオンプレから通信する場合、AWSから提供される/31のグローバルIPにNATする必要があると思いますが、それは利用者側のNW機器で行う必要がある認識で合っていますでしょうか? A. はい。認識合っております。利用者側のNW機器でNATをお願いいたします。 Q. ホスト接続、共有型のものと利用シーンが同じと思ったのですが、何か違いはありますでしょうか? A. ほぼ同じです。共有型の場合は帯域がほかのお客様と共有され、パートナーにより帯域がギャランティされるかどうかは異なります。ホスト接続は帯域がAWSとパートナーにより保証されます。また、共有型では仮想インターフェイスの設定はパートナーが行いますが、ホスト接続の場合はお客様にてセルフサービスで実施していただく必要があります。 Q. DirectConnectGatewayの利用有無による金額変動はありますか? A. 追加料金はかかりません。Direct Connect Gatewayの追加によりリモートリージョンへの転送料金が追加になっておりますので詳しくは料金表をご参照ください。 今後の AWS Black Belt Online Seminar のスケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております! 11月分申込先 ≫  12月分申込先 ≫ AWS Key Management Service (KMS) 2018 年 11 月 […]

Read More

DDoS に対する AWS のベストプラクティス – ホワイトペーパーが更新されました

あなたは分散型サービス拒否 (DDoS) 攻撃やその他のサイバー攻撃の影響からビジネスを守るために働いており、アプリケーションの可用性と応答性を確保し、サービスに対するお客様の信頼を維持したいと考えています。また、攻撃に対応するためにインフラストラクチャをスケールする必要がある場合でも、不必要なコスト上昇を避けたいと考えています。 AWS はインターネット上の攻撃を防ぎ、高可用性・セキュリティの確保および回復力を得られるように、ツール・ベストプラクティスおよびサービスを提供することをお約束します。私達は最近、2018 年版の DDoS に対する AWS のベストプラクティス(英語のみ)のホワイトペーパーをリリースしました。今回のアップデートでは、 DDoS 攻撃への対策を強化するのに役立つ、以下の新しく開発された AWS サービスを考慮に入れています: 追加された AWS サービス: AWS Shield Advanced、AWS Firewall Manager および AWS Application Load Balancer のような新世代の ELB 追加された AWS サービスの機能: AWS WAF Managed Rules、AWS WAF Rate Based Rules、新しい世代の Amazon EC2 インスタンスおよび API Gateway のリージョン API エンドポイント このホワイトペーパーは、DDoS 攻撃に対する回復力のあるアプリケーションを構築するための規範的な DDoS ガイダンスを提供します。ボリューム型攻撃やアプリケーション層に対する攻撃など、さまざまな攻撃タイプを紹介し、各攻撃タイプを管理する上で最も効果的なベストプラクティスを説明します。また、DDoS 緩和戦略に適合するサービスや機能および、それぞれがどのようにアプリケーションを保護するのに役立つのかについて要点を説明します。 原文: AWS […]

Read More

1億2500万人のゲーマーをオンラインでスムーズにプレーするにはどうすればいいでしょうか?Epic GamesがFortniteについて語ってくれました。

FortniteのクリエイターであるEpic Gamesは、2018年7月17日にニューヨークのJavits Centerで開催されたAWSサミットでAWSサービスへオールインを明らかにしました。 ゲーム上に1億2500万人のプレイヤーを想像してください。1億2500万人、それはニューヨークの人口の15倍になります。マルチプレイヤーゲームをプレイしているすべての人が、夢を実現するでしょう。 プレイヤー全員が素晴らしい時間を過ごすことを保証しなければなりません。どのようにしてこの大変多くの人々のすべてのデータを取り扱うのでしょう? Epic GamesのFortnite クリエイターが今年、自分自身でそれを見つました。Fortomiteのこの驚異的な成長により、Epic Gamesが毎月2ペタバイトのデータを扱わなければいけないことを意味します。2,000テラバイトのハードドライブが積み上がっていることを想像してください。どのようにゲームデベロッパーがその規模の情報量を処理するでしょうか?

Read More