Amazon Web Services ブログ

Amazon EKS on Fargate で ALB Ingress Controller を使用する

2019 年 12 月、Amazon Elastic Kubernetes Service を使用して AWS Fargate で Kubernetes ポッドを実行できることを発表しました。Fargate を使用すると、Kubernetes アプリケーションの EC2 インスタンスを作成または管理する必要がなくなります。ポッドが起動すると、Fargate はそれらを実行するために計算リソースをオンデマンドで自動的に割り当てます。 Fargate は、マイクロサービスの実行とスケーリングに最適です。特に、スパイクが発生し、予測できないトラフィックパターンがある場合に役立ちます。Amazon Elastic Load Balancing Application Load Balancer (ALB) は、Kubernetes クラスターで実行されているポッドなど、複数のターゲット間でのアプリケーションレイヤー (レイヤー 7) で着信トラフィックを負荷分散する人気のある AWS サービスです。マイクロサービスのようなトラフィックを取得するための優れた方法です。 このブログでは、オープンソースの ALB Ingress Controller を使用して、Fargate ポッドへの入力ベースの負荷分散のために EKS クラスターで AWS Application Load Balancer (ALB) をセットアップする方法を示します。ALB Ingress Controller を使用する Kubernetes Ingress の詳細については、こちらの投稿をご覧ください。 開始するには、Amazon […]

Read More

AWS Backup: EC2 インスタンス、EFS Single File Restore、クロスリージョンバックアップ

昨年 AWS Backup をリリースして以来、毎日 20,000 を超える AWS のお客様がペタバイトのデータを保護しています。AWS Backup は、Amazon Elastic Block Store (EBS) ボリューム、データベース (Amazon Relational Database Service (RDS) または Amazon DynamoDB)、AWS Storage Gateway、Amazon Elastic File System (EFS) のバックアップ管理を簡素化する、フルマネージド型の一元管理バックアップサービスです。 私たちはお客様のご意見を引き続きお待ちしております。その結果、現在、AWS Backup にエンタープライズデータ機能を追加しています。 Amazon Elastic Compute Cloud (EC2) インスタンス全体をバックアップできるようになりました。 バックアップを他の AWS リージョンにコピーできるようになりました。 完全なファイルシステムではなく、Elastic File System ファイルシステムから単一のファイルを復元できるようになりました。 詳細は以下のとおりです。 EC2 インスタンスのバックアップ EC2 インスタンスのバックアップと復元には、インスタンスの個々の EBS ボリュームだけでなく、追加の保護が必要です。インスタンスを復元するには、すべての EBS ボリュームを復元する必要があります。また、インスタンスタイプ、VPC、セキュリティグループ、IAM […]

Read More

Amazon EFS の新機能 – IAM 認証とアクセスポイント

アプリケーションを構築または移行する際に、多くの場合、複数の計算ノード間でデータを共有する必要があります。 多くのアプリケーションはファイル API を使用し、Amazon Elastic File System (EFS) では AWS でそれらのアプリケーションを簡単に使用できます。他の AWS サービスおよびオンプレミスリソースからアクセスできる、スケーラブルでフルマネージド型の Network File System (NFS) を提供します。 EFS は、中断することなく、オンデマンドでゼロからペタバイトまで拡張します。また、ファイルを追加および削除すると自動的に拡大および縮小を行い、容量をプロビジョニングして管理する必要性を取り除きます。これを使用することにより、3 つのアベイラビリティーゾーン間で強力なファイルシステムの一貫性が得られます。EFS パフォーマンスは、必要なスループットをプロビジョニングするオプションを使用して、保存されているデータの量に応じて拡大します。 昨年、EFS チームは、EFS Infrequent Access (IA) ストレージクラスを導入することでコストの最適化に注力し、ストレージ料金が EFS 標準と比較して最大 92% 低くなりました。一定期間アクセスされていないファイルを EFS IA に移動するようにライフサイクル管理ポリシーを設定することにより、コストをすぐに削減できます。 現在、アクセスの管理、データセットの共有、EFS ファイルシステムの保護を簡素化する 2 つの新機能を導入しています。 NFS クライアントの IAM 認証と承認により、クライアントを識別し、IAM ポリシーを使用してクライアント固有の権限を管理します。 EFS アクセスポイントは、オペレーティングシステムのユーザーとグループの使用を強制し、オプションでファイルシステム内のディレクトリへのアクセスを制限します。 IAM 認証および承認の使用 EFS コンソールで、EFS ファイルシステムを作成または更新するときに、ファイルシステムポリシーを設定できるようになりました。これは、Amazon Simple Storage Service (S3) のバケットポリシーに類似した […]

Read More

タグを使用してAWS IoTリソースの管理とセキュリティを改善する

スマートビルディング、ユーティリティ、製造システム、コネクテッド製品などの環境を運用するソリューションプロバイダーは、マルチテナントに展開されるIoTプラットフォームを用いたB2Bサービスを提供します。ユースケース、種類、場所、およびテナントごとにこれらのリソースを安全に管理するのは難しい場合があります。 モノの階層的なグループを作成することは一般的なパターンですが、マルチテナンシーにうまく対応していません。たとえば、同じテナントが複数の都市にオフィスを借り、他のテナントと一部の建物を共有する場合、階層的なグループを作成してこれをうまく表現することはできません。一方で、同じリソースが異なるテナント(コネクテッドビークル、賃貸オフィススペース、コネクテッドデバイスなど)によって使用される可能性があります。 この投稿では、IoTのマルチテナント展開でAWSタグを使用して、そのような環境でのAWS IoTリソースの管理とセキュリティを改善する方法について説明します。まず、リソースのタグ付けが重要である理由について説明し、次にAWS IoTのタグ付け機能について掘り下げます。そして、架空のマルチテナントスマートビルディング環境でタグを設定し、使用する手順を実行します。

Read More

Verizon Media Group がオンプレミスの Apache Hadoop および Spark から Amazon EMR に移行した方法

Verizon Media Group によるゲスト投稿です。 Verizon Media Group (VMG) が直面した大きな問題の一つに、必要な時間内にコンピューティング能力をスケールアウトできないことがありました。つまり、ハードウェアの取得に数か月かかることがよくあったのです。ハードウェアをスケーリングおよびアップグレードしてワークロードの変更に対応することは、経済的に実行が難しく、冗長管理ソフトウェアのアップグレードにはかなりのダウンタイムが必要で、多大なリスクを伴いました。 VMG では、Apache Hadoop や Apache Spark などのテクノロジーに依存し、データ処理パイプラインを実行しています。以前は Cloudera Manager でクラスターを管理していましたが、リリースサイクルが遅いことがよくありました。そのため、利用可能なオープンソースリリースの古いバージョンを実行しなければならず、Apache プロジェクトの最新のバグ修正やパフォーマンスの改善を利用することができませんでした。こうした理由から、既存の AWSへの投資と合わせて、分散コンピューティングパイプラインを Amazon EMR に移行することを検討したのです。 Amazon EMR は Apache Hadoop や Apache Spark などのビッグデータフレームワークの実行をシンプル化する、マネージドクラスタープラットフォームです。 この投稿では、データ処理のニーズに対応するためのパイプラインの構築中に発生し、解決した問題について説明します。 弊社について Verizon Media はつまるところ、オンライン広告会社です。今日のほとんどのオンライン広告は、バナー広告またはビデオ広告としても知られるディスプレイ広告を通じて行われます。すべてのインターネット広告は通常、形式に関係なく、さまざまな種類のビーコンを追跡サーバーに送信します。この追跡サーバーは受信したビーコンを 1 つまたは複数のイベントシンクに記録する唯一の責任を持つ、極めてスケーラブルなウェブサーバーをデプロイします。 パイプラインのアーキテクチャ 弊社では主に動画広告を扱っており、複数の地理的な場所にデプロイした NGINX ウェブサーバーを使用しています。これは、ビデオプレーヤーから直接発生するイベントを、リアルタイム処理用には Apache Kafka に、バッチ処理用には Amazon S3 に記録するものです。弊社グループの典型的なデータパイプラインには、このような入力フィードの処理、検証や強化ルーチンの適用、結果データの集計、およびレポート目的の宛先へのレプリケートが含まれます。次の図は、作成した典型的なパイプラインを示しています。 NGINX ビーコンサーバーで、データの取得を開始します。データは 1 分間隔でローカルディスクの gzip […]

Read More

S3 Same-Region Replication によるログの集約

  はじめに ログをセキュアな専用の場所に集約することは、SIEM (セキュリティ情報イベント管理) といった極めて重要な操作を効率化します。より多くのお客様がマルチアカウント戦略を導入している中、一元的なログ記録は運用上の優秀性 (オペレーショナルエクセレンス) を推進する主要要素となっています。そのメリットを考慮して、エンタープライズのお客様はしばしば複雑なサードパーティーツールと使って一元的なログ集約ソリューションを構築します。Amazon S3 Same-Region Replication (SRR) の発表に伴い、お客様はログ集約を含めた数多くのユースケースにこの機能を使用できるようになります。S3 SRR は S3 レプリケーションの機能で、同じ AWS リージョン内にあるバケット間でデータを自動的にレプリケートします。SRR は、特定のバケットまたはプレフィックスにアップロードされた新しいオブジェクトをレプリケートするように設定できます。また、SRR は特定のタグが付けられた新しいオブジェクトを、ユーザーが選択するレプリケーション先にレプリケートすることもできます。お客様は、単一のアカウントまたは複数のアカウントによって所有されている異なる S3 バケットからのログを、今後の処理のために一元化された 1 つのバケットに集約するように SRR を使用することも可能です。 このブログ記事では、S3 SRR を使ってマルチアカウントランドスケープでホストされている VPC からの VPC フローログを収集することによって、ログ集約のデモを行っていきます。今回のセットアップでは、このチュートリアル用に 2 つの AWS アカウント (アカウント A とアカウント B) を使用しますが、シングルアカウントシナリオでのデータ集約にも同じ原則が当てはまります。このセットアップでは、VPC フローログを生成するアカウントをアカウント A、集約されたログバケットをホストするアカウントをアカウント B と呼びます。 前提条件 S3 Same-Region Replication をセットアップするためのステップバイステップガイドを掘り下げていく前に、前提条件を確認しましょう。 アカウント A の前提条件 VPC […]

Read More

re:Invent 2019 での Amazon Redshift

毎年開催される AWS re:Invent ラーニングカンファレンスでは、新製品とプログラムの発売に満ちた刺激的な時間を過ごすことができます。2012 年に行われた最初の re:Invent カンファレンスで、AWS は Amazon Redshift を発表しました。それ以来、何万人ものお客様にクラウドデータウェアハウスとして Amazon Redshift をご使用いただきました。2019 年、AWS はいくつかの重要な発表を行い、数十のセッションを開催しました。この記事では、re:Invent 2019 で Amazon Redshift に起こったことのハイライトをご紹介します。 AWS re:Invent 2019 での Andy Jassy の基調講演 Andy Jassy が AWS の新機能について話す際、新しい Amazon Redshift のノードタイプであるマネージドストレージ付き RA3、新しい 横串検索 (プレビュー) 機能、Export to Data Lake、Amazon Redshift 向けの Advanced Query Accelerator (AQUA) (プレビュー) をローンチします。YouTube で「AWS re:Invent 2019 – […]

Read More

[AWS Black Belt Online Seminar] Amazon CloudWatch Container Insights で始めるコンテナモニタリング入門 資料及び QA 公開

昨年 (2019/11/27) 開催しました AWS Black Belt Online Seminar「Amazon CloudWatch Container Insights で始めるコンテナモニタリング入門」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 資料P48 のCloudWatch LogsのEKSのロググループ名で以下の通り記載誤りがございました。資料は正しい内容に修正した上で公開いたします。 誤) EKSの場合:/aws/ContainerInsights/< Cluster名>/performance 正) EKSの場合:/aws/containerInsights/< Cluster名>/performance   20191127 AWS Black Belt Online Seminar Amazon CloudWatch Container Insights で始めるコンテナモニタリング入門 from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Fargateの場合、ECS インスタンスのメトリクスは見れるのでしょうか? A. Fargate 起動タイプにおけるコンテナ実行環境となる仮想マシンは AWS が管理・運用する仕組みとなっているため、お客様の CloudWatch Container Insights 上では仮想マシンレベルのメトリクスは表示されません。 Q. […]

Read More
Weekly AWS

週刊AWS – 2020/1/6週

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 新年2号目の週刊AWSをお届けします。 仕事がら海外出張が時々あるのですが、最近は携帯型の湯沸かし器(ケトル)を持っていくのがマイブームです。小型とはいえ電気ポットはじゃまかなと思っていたのですが、好きな味噌汁やコーヒーが飲めると結構ホテル住まいを快適にするという事がわかったので、最近は折り畳めるカップといっしょにスーツケースに詰め込んでいます。特に寒い季節はお勧めですよ。 それでは、先週の主なアップデートについて振り返っていきましょう。

Read More

AWS DMS を使用した Amazon RDS for Oracle での災害復旧

AWS Database Migration Service (AWS DMS) は、オンプレミスのデータベースから Amazon Relational Database Service (RDS) にデータを移行するのに役立ちます。また、とりわけ、異種または同種のデータベースエンジン間でデータを移行するために使用できます。あらゆる規模の企業が、2 つ目の物理サイトをセットアップすることなく、AWS を使用して重要な IT システムの災害復旧 (DR) を高速化しています。DR ソリューションは RTO/RPO に依存します。ベストプラクティスの詳細については、「新しいホワイトペーパー: 災害復旧に AWS を使用する」を参照してください。 この記事では、AWS DMS を使用して、RDS プラットフォームで実行されている Oracle データベースの DR ソリューションをセットアップする方法について説明します。 災害復旧に AWS DMS を使用する理由 プライマリデータベースインスタンスが AWS で実行されている DR ソリューションには、クロスリージョンレプリケーションメカニズムが必要です。AWS DMS は、RDS から任意の場所 (別のリージョンを含む) へのデータのライブ移行をサポートしています。この機能を利用して、別のリージョンに個別の RDS インスタンスを設定して、DR データベースとして機能するようにできます。Oracle Golden Gate など、RDS 上の Oracle […]

Read More