Amazon Web Services ブログ

これは、ドイツのポツダム市にある Hasso-Plattner-Institut の Haojin Yang、Martin Fritzsche、Christian Bartz、Christoph Meinel 各氏によるゲスト投稿です。低パワーデバイスでのディープラーニングの実際の実装に関する研究を見るのはわくわくします。この作業は、強力で知的な機能を毎日の生活に拡大するうえで重要な役割を果たします。 近年、ディープラーニングテクノロジは非常に優れたパフォーマンスと多くのブレークスルーを学会と業界の両方で達成しています。しかし、最新鋭のディープモデルは計算コストが高く、大きなストレージ容量を消費します。ディープラーニングは、モバイルプラットフォーム、ウェアラブルデバイス、自律ロボット、IoT デバイスなどの領域で多数のアプリケーションによって強く要求されています。このような低パワーデバイスにおいてディープモデルをどのように効率的に適用するかが課題となります。 最近提案されたバイナリニューラルネットワーク (BNN) は、標準の算術演算ではなくビット単位演算を提供することで、メモリサイズとアクセスを大幅に減らします。最新鋭のディープラーニングモデルは、実行時に効率を大幅に向上させ、エネルギー消費を低くすることで、低パワーデバイスで実装することができます。この手法を開発者フレンドリーな OpenCL と組み合わせることで (VHDL/Verilog と比較した場合)、FPGA がディープラーニング用の実行可能なオプションとなります。 この投稿では、BMXNet についてご紹介します。これは Apache MXNet に基づくオープンソースの BNN (バイナリニューラルネットワーク) です。開発された BNN レイヤーは他の標準ライブラリコンポーネントにシームレスに適用でき、GPU および CPU モードの両方で機能します。BMXNet は Hasso Plattner Institute のマルチメディア研究グループによって管理、開発され、Apache ライセンスに基づいてリリースされています。このライブラリ、いくつかのサンプルプロジェクト、およびトレーニング済みバイナリモデルのコレクションは、https://github.com/hpi-xnor からダウンロードして入手可能です。 フレームワーク BMXNet は、入力データと重みのバイナリ化をサポートするアクティベーション、畳み込み、および完全に接続されたレイヤーを提供します。これらのレイヤーは、対応する MXNet バリアントに対するドロップインリプレースメントとして設計されていて、QActivation、QConvolution、および QFullyConnected と呼ばれます。さらに、レイヤーによって計算されるビット幅を制御する追加のパラメータ act_bit を提供します。MXNet と比較した、提案のバイナリレイヤーの Python での使用例をリスト 1 およびリスト 2 に示します。当社は、ネットワークの最初のレイヤーおよび最後のレイヤーにバイナリレイヤーは使用しません。使用すると正確性が大幅に低下する可能性があるためです。BMXNet […]

更新 2017年12月2日: 本記事を初回に公開した2017/11/7の際、AWS CLIやPython SDK は 2015年2月5日 より古いバージョンを使っている場合に更新が必要としていましたが、2013年10月29日より古いバージョンが更新必要と修正させていただきます。 更新 2018年3月28日: Amazon Trust Services の表にある古い値を新しい値に置き換えました。 TLS (Transport Layer Security, 以前は SSL と呼ばれていました) はインターネットでやりとりされる情報を暗号化するために不可欠です。例えば、Amazon.com ではウェブサイト上の全トラフィックに TLS を使用していますし、AWS は AWS サービスへの安全な呼び出しに使用しています。 証明書と呼ぶ電子ドキュメントは、暗号化した接続を行う際にサーバのアイデンティティを証明します。アドレスバーに入力した Web サイトとブラウザが安全に通信しているかを検査するのに証明書は役立ちます。CA としても知られている 認証局 は、特定のドメイン名に対して証明書を発行します。ドメインが信頼された認証局から発行された証明書を提示すると、ブラウザやアプリケーションは通信を行っても安全だとわかります。 2016年 1月、AWS は AWS Certificate Manager (ACM) の提供を開始しました。このサービスは、AWS サービスで使用できる SSL/TLS 証明書を簡単に作成、管理できるようにします。証明書にはアマゾンの自社認証局 Amazon Trust Services から発行されたものを追加料金無しで利用できます。ブラウザやその他のアプリケーションが証明書を信頼するには、証明書の発行者がブラウザなどが信頼している認証局一覧である 信頼ストア に含まれている必要があります。もし信頼ストアに発行した認証局が含まれていない場合は、ブラウザはエラーメッセージ（参考例）を表示したり、アプリケーションは独自のエラーを表示します。AWS は Amazon Trust Services […]

今回のブログは Astro Technology, Inc. の CTO である Roland Schemers 氏より寄稿いただきました。Astro は同社について次のように説明しています。「当社はユーザーやチーム向けに開発した人工知能を使用する Mac や iOS および Android 用のメールアプリを製作しています。アプリ内のメールボイスアシスタント、Astrobot Voice を使えば、Astro アプリを終了せずにメールを読んだり返信することができます。」 そして最近では Astrobot Voice という初のアプリに組み込まれているメールボイスアシスタントをリリースしたばかりです。これにより、iOS 向け Astro や Android 向けアプリを終了する必要なく、メールの読み取り、管理、返信が可能になりました。 Astro が 6 月に Amazon Alexa スキルをリリースしてから、我々はより多くのユーザーが音声でメール管理をできるようにしたいと考えました。そこで、今回のブログではなぜ我々がこうした選択を取ったのか技術面から説明し、どのようにこれを実現しどういったテクノロジーを使用したのかご説明します。 アプリ内ボイスを構築する理由は? 当社では Amazon Echo を愛用しています。実際、Astro の新入社員には「ようこそ」という意味はもちろん、我々の Alexa スキルを社内で試験運用することを兼ねて、各自に Echo Dot を提供しています。結果として私達のスキルが上々であることが分かり、より多くのユーザー、そしてさらに様々な場所で取り入れられる方法を新たに見つけることもできました。そこでアプリ内ボイスを構築できるか、その可能性を探ってみることにしたのです。 ソフトウェアの選択 アプリ内ボイスの構築方法を決定する上で、我々はいくつものオプションを検討しましたが、その上でいくつかのポイントを念頭に置きました。 まず、当社のテキストベースアシスタント (api.ai で実行) または Alexa スキルからできるだけ多くのコードやロジックを再使用することです。 […]

AWS リソースにタグを付け、タグごとにコストの内訳を確認する機能は、以前から提供されていました。コスト配分の機能は 2012 年に開始され (「お客様の請求のための AWS コスト配分」を参照)、当社はその他のサービスのサポートを安定して追加してきました。最も最近では DynamoDB (「Amazon DynamoDB 用のコスト配分タグの概要」)、Lambda (「AWS Lambda がタグ付けとコスト配分をサポート」)、EBS (「新規 – AWS Snapshots 用のコスト配分」) が追加されました。 本日は、Amazon Simple Queue Service (SQS) 用のタグベースのコスト配分を発表いたします。これにより、キューにタグを割り当て、それを使用して、アプリケーション、アプリケーションステージ (キューを介して通信する疎結合アプリケーション用)、プロジェクト、部署、開発者など、目的とするあらゆるレベルでコストを管理できます。キューにタグを付けたら、AWS Tag Editor を使用して、対象のタグが付けられたキューを検索できます。 私のキューの 1 つに 3 つのタグ (app、stage、department) を追加する方法をご覧ください。 この機能はすべての AWS リージョンで今すぐご利用いただけます。タグ付けの詳細については、「Amazon SQS キューにタグを付ける」を参照してください。タグを使用したコスト配分の詳細については、「コスト配分タグの使用」を参照してください。メッセージキューを使用して最新のアプリケーション用の疎結合マイクロサービスを構築する方法については、当社のブログ投稿 (「Amazon SQS および Amazon SNS による疎結合のスケーラブルな C # アプリケーションの構築」) を参照するとともに、当社の最近のウェビナー (「Amazon SQS and […]

AWS re:Invent の開催まで後わずか 40 日となったので、私の同僚と私は、お客様がラスベガスでの時間を有効に活用するためのヒントをいくつかご紹介します。いつもどおり、トレーニングと教育に重点を置き、それ以外の時間にはお楽しみイベントやレクリエーションも用意されています。 場所、場所、場所 re:Invent Campus はラスベガス商業地全体にわたって行われ、MGM Grand、Aria、Mirage、Venetian、Palazzo、Sands Expo ホール、Linq Lot、Encore でイベントが開催されます。各施設では、特定のトピック専用のトラックをホストします。 MGM Grand – ビジネスアプリ、エンタープライズ、セキュリティ、コンプライアンス、アイデンティティ、Windows。 Aria – Big Data & Analytics、Alexa、コンテナ、IoT、人工知能 & 機械学習、サーバーレス。 Mirage – ブートキャンプ、認証 & 認定試験。 Venetian / Palazzo / Sands Expo ホール – アーキテクチャ、AWS Marketplace & Service Catalog、コンピューティング、コンテンツ配信、データベース、DevOps、モバイル、ネットワーキング、ストレージ。 Linq Lot – Alexa ハッカソン、Gameday、ジャムセッション、re:Play パーティー、講演者との交流 & 挨拶。 Encore – 予約可能な会議会場。 […]

Partner SAの河原です。10月20日にレッドハット社主催の年次カンファレンス「Red Hat Forum Tokyo 2017」が開催されました。同日に「Red Hat Partner Awards 2017 レセプションパーティー」があり、アマゾン ウェブ サービス ジャパン株式会社は、「CCSP Partner of the Year」を受賞いたしました。本日、レッドハット社より以下のニュースリリースが発行されましたので、授賞式の様子をご紹介します。 レッドハット、「Red Hat Japan Partner Awards 2017」を発表 これは、レッドハット社の認定クラウド&サービスプロバイダー(CCSP)としてクラウド市場の拡大に最も貢献したパートナーに贈られる賞です。レッドハット製品、技術をクラウド上で活用する環境として幅広いお客様層に支持され、継続的に高い売上成長を果たした点を評価いただいています。また、Red Hat Enterprise Linux(RHEL)に限らずRed Hat OpenShift Container PlatformやRed Hat JBoss Middlewareを活用した案件も創出し、ソリューションの拡大にも貢献したことが受賞の理由となっております。 Red Hat Forumでは、「Red Hat on AWS 最新の取り組みご紹介」と題したブレークアウトセッションも行い、AWS上にお客様がお持ちのサブスクリプションを持ち込むことが可能となるRed Hat Cloud Access、AWSと連携したAnsibleおよびOpenShiftによるデプロイメント自動化などをご紹介いたしました。AWS上にAnsible Tower by Red Hatを容易に構築できるAWS Quick Startはこちらから、AWS上にRed Hat OpenShift Container Platformを容易に構築できるAWS […]

アマゾン ウェブ サービス(AWS)が、グローバルなコンテンツデリバリーネットワーク(CDN)のAmazon CloudFrontのリリースしたのは、約９年前の出来事になります。14の接続拠点からなる高性能なエッジネットワークとして始まったこの新しいサービスは、現在、世界中からの数百万ビューアーの接続に対応するまで成長しました。本日、Amazon CloudFrontの成長が最も著しい地域の一つである日本で100番目の接続拠点(89のエッジロケーションと11のリージョナルエッジキャッシュ)を発表できることを嬉しく思います。100番目の接続拠点(POP)は、東京で5番目そして、日本で6番目のエッジロケーションとなります。 「Amazon CloudFrontのグローバル展開におけるこの節目は、お客様のアプリケーションをよりセキュアで高速、かつ信頼性の高いものにしたいと言う私達のこだわりの成果です。」とAWS Edge Services VPのPrasad Kalyanaramanは、語っています。「東京を100番目の接続拠点のロケーションとして発表できることを特に嬉しく思います。新たなロケーションへの展開やLambda@Edge、AWS Shieldなどの革新的な技術の導入などを通して今後も私達のグローバルのお客様にサービスを提供して行くことを楽しみにしています。」 100番目の接続拠点が東京で展開されることについて日本でも特にご利用が大きい数社のお客様から激励のコメントを頂いています： ソニー・インタラクティブエンタテインメント（SIE）は、PlayStation®のハードウェア及びソフトウェアの製造販売と、PlayStation™Network（PSNSM）などのサービスを手がけている会社です。 SIE、システム/ネットワークエンジニアリング オペレーション部門、課長の田中博規氏は次のように語っています。「このたびはCloudFront100番目のエッジロケーション開設おめでとうございます。CloudFrontは、PlayStation™Networkの安定的な配信と高いパフォーマンスを支える重要なサービスのひとつとなっています。同時に、ゲームコンテンツの高精細化・多機能化・大容量化に伴い、CloudFrontは、弊社のグローバルの利用帯域増に対応できる数少ないCDNサービスの一つです。ユニークで付加価値の高いCDNサービスとしてCloudFrontのさらなる発展を心より期待しています。」 キヤノン株式会社は、カメラ、ビデオカメラなどの精密機器を製造するメーカーです。キヤノン株式会社、映像事務機DS開発センター、主席の八木田 隆氏は次のように語っています。「CloudFrontの100番目のエッジロケーションがTokyoということを感慨深く感じると同時にエッジロケーションが増えていくことはとても喜ばしいことです。Amazon CloudFrontとCloudFrontのAWSサービスとの連携は、キヤノンのクラウドサービスのDynamic ContentsとStatic Contentsの両方の高速な配信に欠かせないものとなっています。ワールドワイドに展開されているCloudFront DistributionをAPIで簡単に制御できるため、我々のサービスの継続的統合と継続的デリバリー(CI/CD)及び自動化に寄与しています。」 三菱電機株式会社は、一般消費者から産業向けまで幅広い製品の製造とサービスを提供している会社です。三菱電機株式会社、インフォメーションシステム統括事業部、部長の岩城新一氏は次のように語っています。  「この度の100番目のエッジロケーション開設大変おめでとうございます。当社では3年前からCloudFrontを活用した大規模動画配信システムによるコンテンツ提供サービスを開始しております。開発当時を振り返りますと、システム設計段階からの手厚いご支援はもとより、システムのカットオーバー前の当社からの突然の負荷テストの依頼など無理なお願いも快く引き受けていただき、人的なサポート面でも大変お世話になったことを思い出します。また、御社の日米のチームがうまく連携していることもとても印象的でした。CloudFrontは立ち上げ初期のチューニング以降は一切問題がなく現在大変安定した配信をしています。Amazon CloudFrontの機能とエッジロケーションも継続して増えているので、日々急激に進化していることを肌で感じています。今後もCloudFrontがどのような進化を遂げていくのか期待をもって見守っていきたいと思っています。」 ディライトワークス株式会社は、ゲームの企画・開発・運営を行っており、その中でも『Fate/Grand Order』は現在、1,000万ダウンロードを突破しています。ディライトワークス株式会社、テクニカル・ディレクターの田村祐樹氏は次のように語っています。「ディライトワークスは、”ただ純粋に、面白いゲームを創ろう。”という開発理念のもとに、ゲームの創作をおこなっております。そこで重要な要素となるのが、より多くのユーザーにより高品質なコンテンツを届けることです。多くのCDNサービスがある中、高い品質、低いコスト、安定した配信と速いインバリデーションからAmazon CloudFrontの利用を決断しました。また、Amazon Route 53、AWS WAFやSSL証明書の自動更新が可能なAWS Certificate Manager(ACM)などの他のAWSサービスとの親和性も高いことにメリットを感じています。今後もCloudFrontとAWSから革新的なサービスに出会えることを期待しています。」 株式会社サイバーエージェントは、メディア事業、広告事業、ゲーム事業とインターネットを軸に様々な事業を展開しています。株式会社サイバーエージェント、メディア統括本部 最高技術責任者の福田一郎氏は、次のように語っています。「CloudFrontの100番目のエッジロケーションという節目が東京で迎えられるということを大変喜ばしく思います。CloudFrontが私達のサービスにとって、より安定・高速にサービス提供をするための一翼を担っていることは間違いありません。これからも、CloudFrontおよびAWSがより一層成長・発展していくことを願っております。」 Amazon CloudFrontの100の接続拠点は、23カ国、50都市と全世界に配置されています。この1年間で37のエッジロケーションを追加しネットワーク帯域を50%以上増設しています。追加された拠点には、新しく4カ国*と9都市が含まれまています: ドイツ、ベルリン；米国、ミネアポリス；チェコ共和国*、プラハ；米国、ボストン；ドイツ、ミュンヘン；オーストリア*、ウィーン；マレーシア*クアラルンプール；米国、フィラデルフィア；スイス*、チューリッヒ。 アマゾンウェブサービスは、ネットワークの拡大に積極的に取り組んでおり、 中東の新しいAWSリージョン開設の予定を発表できたことも嬉しく思います。その取組みに先立って2018年の第1四半期にアラブ首長国連邦に最初のエッジロケーションを解説します。 私達は、常に世界中のお客様により良いサービスを提供する方法を考えています。2016年のre:Inventカンファレンスでは、リージョナルエッジキャッシュという新しいキャッシュ階層の発表で11の接続拠点をネットワークに追加しました。これらの接続拠点は従来のエッジロケーションと比べ大きいキャッシュ容量がありエッジロケーションとお客様のオリジンサーバの間に配置されます。この配置によりビューアーにより近いところでお客様のコンテンツをより長い間キャッシュに残すことができるため、お客様のオリジンサーバの負荷を下げ、ファイルの取得を早くします。 私達は、CDNの評価は、世界にあるロケーションの数だけで決まらないないことも理解しています。Amazon CloudFrontの広大なネットワークに加え、ビジネス要件を満たすために必要な機能やパフォーマンスを満たせるように常にお客様の声に耳を傾けています。セキュリティは、私達にとって最大の優先事項であり、つい最近ではセキュリティポリシー機能のリリースとHIPAA対応を発表できたことを嬉しく思います。また数ヶ月前には、お客様がエンドユーザにより近い所でLambda関数が実行できるLambda＠Edgeの一般提供をはじめました。また、開発者の利便性と使い勝手を良くするために、グローバルのキャッシュのインバリデーションと設定変更の伝搬にかかる時間を改善しました。CDNサービスによって、 インバリデーションや設定変更のパフォーマンスの定義が異なる場合があります。CloudFrontの場合、数ミリ秒でインバリデーションのリクエストを受け付け、殆どの場合60秒以内に「全世界のすべてのサーバーでキャッシュをクリア」したことを確認します。   話題性の高いロケーションでの拠点や新機能の追加以上に、私達は、世界中の様々な規模のお客様と共に協力できることを光栄に感じています。個人のブロガーや中小企業のオーナーから世界有数の大企業まで、私達にとって全てのお客様が重要であることお伝えすると同時に私達のグローバルなネットワークに加わっていただいていることを深く御礼申し上げます。 ·         Amazon CloudFrontチームより Amazon CloudFrontのご利用についてより詳しい情報をご希望の場合、こちらのWebページから最新のウェビナーの開催情報や資料を入手いただけます。

Stefan Schneiderは、Amazon Web Services(AWS)のソリューション アーキテクトです。 このブログ記事では、AWSクラウド上のSUSE Linux Enterprise High Availability Extension(SLES HAE)によって保護されているSAP HANAデータベースに、オンプレミスの利用者が接続できるようになる、Amazon Route 53エージェントについて説明します。このエージェントは、Amazon Route 53を介して利用者を振り分ける機能を提供します。 このエージェントを利用するには、SAP Note 2309342 – SUSE Linux Enterprise High Availability Extension on AWS for SAP HANAに記載されているような、オーバーレイIPアドレスエージェントを使用して実装された高可用性フェイルオーバー用のSLES HAEの設定が必要です。(SAPノートを参照するにはSAP Support Portalの認証情報が必要です) Route 53エージェントは、SAP HANAデータベースを保護するクラスタリソース管理フレームワークであるPacemakerを含むSLES HAEの機能を拡張します。このエージェントとオーバーレイIPアドレスエージェントを組み合せた利用方法は、SAPセントラルインスタンス(CI)を含む、AWSクラウド上のSLESでサポートされるすべての構成のSLES HAEに対して適用できます。 Route 53エージェントは、現時点では未サポートのオープンソースツールとして利用可能となっており、ソースコードはこのブログ記事の中で公開します。現在、AWSとSUSEが協力し、サポート済みツールとして本家リポジトリから利用できるように調整しています。お客様のAWSアカウントでSAP HANAを構築した後、このエージェントをインストールできます。 Route 53エージェントの仕組み 現在のオーバーレイIPアドレスエージェントでは、仮想プライベートクラウド(VPC)内のアプリケーションサーバーは、そのVPC内の保護されたSAP HANAサーバーに接続できますが、オンプレミスのアプリケーションからの接続はできません。 そのため、RDPや踏み台サーバーを経由したVPC内で管理されたSAP HANA Studioなどのアプリケーションが必要となり、オンプレミスの利用者にはいくつかの不便が生じます。Route 53エージェントは、名前ベースのアプローチを使用してオンプレミスの利用者がVPCに接続できるようにすることで、この制限を回避します。2つのエージェントは並行して動作します。オーバーレイIPエージェントは、オーバーレイIPアドレスからアクティブなノードにトラフィックをルーティングします。Route 53エージェントは、SAP HANAサーバーの名前と紐づく現在のIPアドレスを更新します。 私は、ウェブサイトScaling Bitsに、DNS […]

データレイクは、大量の様々なデータを扱うという課題に対処するため、データを分析および保存するための方法としてますます一般的になっています。データレイクを使うと、組織は全ての構造化データおよび非構造化データを１つの中央リポジトリに格納できます。データはそのまま保存できるため、あらかじめ定義されたスキーマに変換する必要はありません。 多くの組織は AWS をデータレイクとして使う価値を理解しています。例えば Amazon S3 は高い耐久性があり、コンピューティングとストレージの分離をしながら、オープンデータフォーマットをサポートする費用対効果の高いオブジェクトの開始ができ、全てのAWS 分析サービスと連携します。Amazon S3 はデータレイクの基礎を提供しますが、他のサービスを追加してビジネスニーズに合わせることができます。AWS のデータレイク構築の詳細については What is a Data Lake? を参照してください。 データレイクを使う主な課題は、データの検索とスキーマやデータフォーマットの理解であるため、Amazonは AWS Glue をリリースしました。AWS Glue は Amazon S3 データレイクからデータ構造と形式を発見することで、迅速にビジネスの洞察を導き出すために要する時間と労力を大幅に削減します。AWS Glue は Amazon S3 上のデータを自動的にクロールし、データフォーマットを特定し、他の AWS 分析サービスで使用するためのスキーマを提案します。 この記事では、AWS Glue を使って Amazon S3 上のデータをクロールする方法と他のAWSサービスで使用できるメタデータストアを構築するプロセスを説明します。 AWS Glue の特徴 AWS Glue はフルマネージドのデータカタログとETL(抽出、変換、ロード)サービスで、データの発見、変換、およびジョブスケジューリングなどの困難で時間のかかる作業を簡素化し自動化します。AWS Glue はデータソースをクロールし、CSV, Apache Parquet, JSON などの一般的なデータフォーマットとデータタイプ用に事前作成された Classifire を使用してデータカタログを構築します。 AWS Glue はモダンなデータアークテクチャーのコンポーネントである S3, Amazon RDS, Amazon Athena, Amazon […]

多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを作成すれば、Amazon CloudWatchログを用いて見たり取り出したりすることができるようになります。 フローログは様々な業務を助けてくれます。例えば、セキュリティグループのルールを過度に厳しくしすぎたことによって特定のトラフィックがインスタンスに届かない事象の原因調査などです。また、フローログを、インスタンスへのトラフィックをモニタリングするためのセキュリティツールとして使うこともできます。 この記事はAmazon Kinesis Firehose、AWS Lambda、Amazon S3、Amazon Athena、そしてAmazon QuickSightを用いてフローログを収集し、格納し、クエリを実行して可視化するサーバーレス・アーキテクチャを構成する手順を示します。構成する中で、Athenaにおいてクエリにかかるコストや応答時間を低減させるための圧縮やパーティショニング手法に関するベストプラクティスを学ぶこともできることでしょう。 ソリューションのサマリ 本記事は、3つのパートに分かれています。 Athenaによる分析のためにVPCフローログをS3へ格納。このセクションではまずフローログをLambdaとFirehoseを用いてS3に格納する方法と、格納されたデータにクエリを発行するためAthena上のテーブルを作成する方法を説明します。 QuickSightを用いてログを可視化。ここではQuickSightとQuickSightのAthenaコネクタを用いて分析し、その結果をダッシュボードを通じて共有する方法を説明します。 クエリのパフォーマンス向上とコスト削減を目的とした、Athenaにおけるデータのパーティション化。このセクションではLambda関数を用いてS3に格納されたAthena用のデータを自動的にパーティション化する方法を示します。この関数はFirehoseストリームに限らず、他の手段でS3上に年/月/日/時間のプリフィックスで格納されている場合でも使用できます。 パーティショニングはAthenaにおいてクエリのパフォーマンス向上とコスト削減を実現するための3つの戦略のうちの1つです。他の2つの戦略としては、1つはデータの圧縮、そしてもう1つはApache Parquetなどの列指向フォーマットへの変換があります。本記事では自動的にデータを圧縮する方法には触れますが、列指向フォーマットへの変換については触れません。本ケースのように列指向フォーマットへの変換を行わない場合でも、圧縮やパーティショニングは常に価値のある方法です。さらに大きなスケールでのソリューションのためには、Parquetへの変換も検討して下さい。 VPCフローログを分析するためのサーバレスアーキテクチャ 以下の図はそれぞれのサービスがどのように連携するかを示しています。 VPCにフローログを作成すると、ログデータはCloudWatchログのロググループとして発行されます。CloudWatchログのサブスクリプションを利用することにより、S3に書き込むためにFirehoseを用いたLambda関数に対して、リアルタイムにログデータイベントを送り込むことが可能になります。   いったんS3にログデータが格納され始めれば、Athenaを利用してSQLクエリをアドホックに投入することができます。ダッシュボードを構築したり、画面からインタラクティブにデータを分析したりすることを好む場合には、Athenaに加えQuickSightによるリッチな可視化を簡単に構成できます。 Athenaの分析を目的としたS3へのVPCフローログの送信 この章では、Athenaによるクエリを可能とするためにフローログデータをS3に送信する方法を説明します。この例ではus-east-1リージョンを使用していますが、AthenaとFirehoseが利用できるのであればどのリージョンでも可能です。 Firehoseデリバリーストリームの作成 既存もしくは新しいS3バケットを格納先とするFirehoseデリバリーストリームを作成するためには、この手順を参考にして下さい。ほとんどの設定はデフォルトで問題ありませんが、格納先のS3バケットへの書き込み権限を持つIAMロールを選択し、GZIP圧縮を指定して下さい。デリバリーストリームの名前は‘VPCFlowLogsDefaultToS3’とします。 VPCフローログの作成 まず、この手順に従ってデフォルトVPCのVPCフローログを有効にしましょう。(訳注：デフォルトVPC以外の任意のVPCで構いません。) Firehoseに書き込むLambda用のIAMロールの作成 Firehoseに書き込むLambda関数を作成する前に、Firehoseにバッチ書き込みを許可するLambda用のIAMロールを作成する必要があります。次のように定義されるインラインアクセスポリシーを組み込んだ‘lambda_kinesis_exec_role’という名前のLambda用ロールを作成して下さい。 { “Version”: “2012-10-17”, “Statement”: [ { “Effect”: “Allow”, “Action”: [ “logs:CreateLogGroup”, “logs:CreateLogStream”, “logs:PutLogEvents” ], “Resource”: “arn:aws:logs:*:*:*” }, { “Effect”: “Allow”, “Action”: [ […]