Amazon Web Services ブログ

AWS Security Hub が一般公開に

私は開発者です。少なくとも、管理者であることは受け入れているつもりです。確かに私は情報セキュリティの専門家ではありません。私の書き込みや設定が原因でセキュリティ上の問題が発生したため、これまでに 1 回以上呼び出されたことがあります。実験のためにシステムがデプロイを頻繁に行えるようにして、ゲートキーパーを取り除くときに、時々準拠していないリソースがこっそり侵入しようとします。こういった理由から、私は AWS Security Hub のようなツールが好きです。AWS Security Hub は、コンプライアンスチェックを自動化し、さまざまなサービスから総合的な洞察を得られるサービスです。このようなガードレールが確実に軌道に乗るように設置すれば、もっと自信を持って実験できるようになります。そして、複数のシステムからのコンプライアンス検出結果を 1 か所にまとめて表示することで、情報セキュリティでのセルフサービスがより快適だということがわかります。 クラウドコンピューティングで、コンプライアンスとセキュリティに関して責任を共有するモデルがあります。AWS はクラウドのセキュリティを管理します。データセンターのセキュリティから仮想化レイヤーおよびホストオペレーティングシステムに至るまで、すべてが管理対象になります。お客様はクラウド内のセキュリティを管理します。ゲストオペレーティングシステム、システム設定、および安全なソフトウェア開発方法について取り扱います。 現在、AWS Security Hub はプレビューされていません。一般的な用途では使用できるため、クラウド内のセキュリティ状態を理解するのに役立ちます。これは AWS アカウント間で機能し、多くの AWS サービスおよびサードパーティー製品と統合します。また、Security Hub API を使用して独自の統合を作成することもできます。 はじめに AWS Security Hub を有効にすると、IAM サービスリンクロールを介してアクセス許可が自動的に作成されます。自動化された継続的なコンプライアンスチェックがすぐに始まります。コンプライアンス標準はこれらのコンプライアンスチェックとルールを決定します。利用可能な最初のコンプライアンス標準は、インターネットセキュリティセンター (CIS) AWS Foundations Benchmark です。今年はさらに標準を追加する予定です。 これらのコンプライアンスチェックの結果は、検出結果と呼びます。それぞれの検出結果から、問題の重要度、報告されたシステム、影響を受けたリソース、その他の役立つメタデータを把握できます。たとえば、root アカウントに対して多要素認証を有効にしなければならないこと、90 日間使用されていない資格情報が無効になっていることがわかります。 集計ステートメントとフィルターを使用して、検出結果を洞察に分類できます。 統合 コンプライアンス標準の検出結果に加えて、AWS Security Hub はさまざまなサービスからデータを集計して正規化します。これは、、AWS Guard Duty、Amazon Inspector、Amazon Macie、および 30 の AWS パートナーセキュリティソリューションによる検出結果の中央リソースです。 AWS Security […]

Read More

AWS Control Tower – マルチアカウント AWS 環境の設定と管理

今月初め、私はエンタープライズ規模の AWS のお客様にお会いしました。彼らは AWS を全面的に支持する予定で、AWS を大規模にセットアップして実行することで得られるすべてのものに期待していると言っていました。Cloud Center of Excellence の設定に加えて、彼らは私たちのおすすめとベストプラクティスに沿って開発と本稼働アカウントをプロビジョニングするチームのために、安全な環境をセットアップすることを望んでいます。 AWS コントロールタワー そして本日、AWS Control Tower の一般提供を開始しました。このサービスは、安全で優れた設計で、すぐに使える、新しいベースラインのマルチアカウント AWS 環境を設定するプロセスを自動化します。Control Tower は、AWS プロフェッショナルサービスが何千人ものお客様との関係を成功的に導いた知識を取り入れ、ホワイトペーパー、ドキュメント、Well-Architected フレームワーク、そしてトレーニングで得たおすすめへと誘導します。Control Tower が提供する独断的で規範的なガイダンスは、クラウドへの移行を加速するように設計されています。 AWS Control Tower は、AWS Organizations、AWS Identity and Access Management (IAM) (サービスコントロールポリシーを含む)、AWS Config、AWS CloudTrail、AWS Service Catalog など、複数の AWS サービスを基盤としています。ワークフロー、ダッシュボード、およびセットアップ手順に基づいて統合されたエクスペリエンスを取得できます。 AWS Control Tower は、ランディングゾーンを自動化して、以下を含むベースライン環境を設定します。 AWS Organizations を使用したマルチアカウント環境。 AWS Single Sign-On (SSO) を使用した ID 管理。 […]

Read More

Amazon EMR 5.24 での Apache Spark のパフォーマンスが改善 – Amazon EMR 5.16 と比較して最大 13 倍のパフォーマンス向上

Amazon EMR のリリース 5.24.0 には Spark の最適化がいくつか含まれており、クエリのパフォーマンスが向上しました。パフォーマンスの向上を評価するため、Amazon S3 のデータを使用して、6 ノードの c4.8xlarge EMR クラスターで 3 TB 規模の TPC-DS ベンチマーククエリを実行しました。同様の設定で操作した EMR 5.16 と比較して、EMR 5.24 のクエリパフォーマンスが最大で 13 倍向上したことを確認しました。 大規模な変換からストリーミング、データサイエンス、そして機械学習に至るまでの幅広い分析ユースケースで、Sparkを使用できます。Spark を EMR で実行すると、EMR は安定した最新のオープンソースコミュニティといった革新をもたらし、さらに Amazon S3 での高性能ストレージ、スポットインスタンスと Auto Scaling の独自のコスト削減機能も提供します。 毎月配信される EMR のリリースには、最新のオープンソースパッケージとともに、複数のマスターノードやクラスターの再構成などの新機能も含まれています。各リリースで、パフォーマンスの改善も行っています。

Read More

Amazon ElastiCache for Redis でリアルタイムゲームリーダーボードを構築する

ゲームリーダーボードを使用すると、プレイヤーは互いのパフォーマンスを比較できます。この重要なソーシャル機能により、プレイヤーの関わり合いが高められ、競争が促進されます。リーダーボードのデータは、同様のスキルレベルの競争相手とプレイヤーをマッチングさせるゲーム内のアルゴリズムに活かすこともできます。 この記事では、伝統的なリレーショナルデータベースを使用してゲームリーダーボードを構築および拡張することに関する課題を探ります。また、Redis などの最新のインメモリデータストアを活用して、非常に効率的でスケーラブルなソリューションを提供する方法についても検討します。 この提案されたソリューションは、リーダーボードストレージとクエリをリレーショナルデータベースからより汎用性の高い Amazon ElastiCache for Redis に向かうことを後押しします。ここで概説したアプローチは、ゲームリーダーボードだけでなく、一般にアプリケーション内でランキングを生成するあらゆる状況に適用されます。 背景 従来のリレーショナルデータベースを使用して基本的なリーダーボードを構築する手順はシンプルです。通常、以下の手順が含まれます。 テーブルを作成します。 スコアが変更されたときにスコアを挿入または更新します。 テーブルをクエリして、スコアの降順でランキングを取得します。 以下が基本的なリレーショナルデータベースのリーダーボードの実装です。 +———+———+——+—–+———+——-+ | Field | Type | Null | Key | Default | Extra | +———+———+——+—–+———+——-+ | user_id | int(11) | NO | MUL | NULL | | | score | int(11) | NO | MUL | NULL | | +———+———+——+—–+———+——-+ […]

Read More

AWS DMS バージョン 3.1.3 を使用したデータ変換

AWS は最新の AWS Database Migration Service (AWS DMS) バージョン 3.1.3 の新しいデータ変換機能をサポートするようになりました。スキーマ、テーブル、および列の名前を変更し、Oracle ターゲットの個々の表領域名を指定し、そして任意のターゲット上のテーブルの主キーと一意キーを更新することができます。DMS バージョン 3.1.3 は、以下の新しいデータ変換機能をサポートしています。 明示的なテーブルマッピング Oracle のソースおよびターゲットの表領域の変換規則 Oracle のソースおよびターゲットの索引表領域の変換規則 主キーまたは一意キーのインデックスの定義 対象列のデータ型の変更 明示的なテーブルマッピング 以前の DMS バージョンでは、AWS マネジメントコンソールを使用してテーブルマッピングを実行したり、テーブル選択を指定したり、スキーマやテーブルのルールアクションを変換したりしていました。 バージョン 3.1.3 では、AWS DMS により明示的なテーブルの選択を行えます。明示的なテーブルマッピングルールを使用すると、サポートされている DMS ターゲットへの移行用に特定のソーステーブルを選択できます。また、より良い粒度のためにソースからテーブルのサブセットを除外します。明示的な選択規則を使用するときは、テーブルマッピングのスキーマ名とテーブル名にワイルドカード (%) を使用することはできません。 次の例では、ソースに 7 つのテーブルがあります。明示的な変換規則を使用すると、残りのテーブルを移行から除外する一方、DEPT テーブルのみを移行することを選択できます。 SQL> SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_CATALOG LIKE %DEPT%’ TABLE_NAME —————————— HRDEPT DEVDEPT SUPPORTDEPT PMDEPT […]

Read More

Oracle パフォーマンスメトリクスに基づいた Amazon RDS インスタンスを大規模で適正なサイズにする

オンプレミスのミッションクリティカルなアプリケーションを商用データベースで稼働中のエンタープライズ企業で、コスト効率の高い、マネージド型データベースサービスをお探しのお客様がいらっしゃいます。リレーショナルデータベースのワークロードを移行するプラットフォームの 1 つ、Amazon RDS をおすすめします。RDS はサイズ変更が可能な容量を提供し、時間のかかる重い非個別型管理タスクに対応します。大規模なデータベースの移行では、適切なサイズのターゲット RDS DB インスタンスを多くのデータベースに作成できる、スケーラブルかつ効果的なソリューションが必要です。 この記事では、オンプレミスの Oracle パフォーマンスメトリクスに基づいた DB インスタンス を大規模で適切なサイズにするプロセスについて説明します。Python と SQL スクリプトを使用してオンプレミスデータベースから Oracle パフォーマンスメトリクスを収集する方法、および AWS Glue と Amazon Athena を使った DB インスタンスサイズのデータ分析と推奨事項を得る方法を解説します。このソリューションは、1 つのデータベースから多数のデータベースまでの DB インスタンスのサイズ調整に有効です。 概要 オンプレミスの Oracle ワークロードの検出を目的として、1 時間ごとの I/O、CPU、メモリ使用量の統計について Oracle 自動ワークロードリポジトリ (AWR) をクエリする SQL スクリプトが開発されました。Python スクリプトを検出するデータベースのリストを含む入力ファイルから読み込んで、各データベースをループ処理して SQL スクリプトを実行します。データベースごとに .csv 出力ファイルが生成されます。 目標は、少なくとも 1 か月のパフォーマンスメトリクスを収集し、DB インスタンスのサイズをより正確に推定することです。AWR の保存期間が 1 か月未満に設定されている場合、複数回スクリプトを実行できます。スクリプトはすべて […]

Read More

Amazon SageMaker Ground Truth: データラベリングを高速化するための事前トレーニング済みモデルの使用

Amazon SageMaker Ground Truth を使用すると、機械学習用の高精度なトレーニングデータセットをすばやく構築することができます。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者への簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを最大 70% 削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。以前のブログ記事では、自動化されたデータのラベル付けのしくみと、その結果の評価方法について説明しました。 SageMaker Ground Truth はラベリングジョブの間にお客様のためにモデルをトレーニングし、そしてラベリングジョブが終わった後にこれらのモデルを使用できるようになることはご存知でしたでしょうか? このブログ記事では、前のラベリングジョブからトレーニングされたモデルを使用して次のラベリングジョブを「スタートダッシュ」する方法について説明します。これは高度な機能で、SageMaker の Ground Truth API を通じてのみ利用できます。 このブログ記事について 読む時間 30 分 完了するまでの時間 8 時間 完了するためのコスト 600 USD 未満 学習レベル 中級 (200) AWS のサービス Amazon SageMaker、Amazon SageMaker GroundTruth この記事は、以下の以前の記事を基にしているので、最初にその記事を確認することをお勧めします。 Amazon SageMaker Ground Truth と自動化されたデータのラベル付けによる低コストでのデータのアノテーション このブログの一部として、以下で説明するように、3 つの異なるラベリングジョブを作成します。 「自動ラベリング」機能を有効にした初期ラベリングジョブ。このラベリングジョブの最後に、サンプルデータセットに対して高い精度の予測を行うことができるトレーニング済みの機械学習モデルを準備します。 […]

Read More

最新 – VPC トラフィックミラーリング – ネットワークトラフィックを捉えて検査する

複雑なネットワークを運用することは簡単な作業ではありません。ネットワークを円滑に稼動させることに加えて、異常なトラフィックパターンや甚大なネットワーク侵入を引き起こすコンテンツ、感染したインスタンス、その他の異常な事象にこれまで以上に警戒する必要があります。 VPC トラフィックミラーリング 今日、AWS では VPC トラフィックミラーリングの利用を開始します。これは既存の Virtual Private Clouds (VPC) を使用する新機能で、ネットワークトラフィックを捕捉し、検査します。また、この機能はスケール可能です。次のことを実行できます。 ネットワークおよびセキュリティ上の異常を検出 – VPC 上の任意のワークロードから関心のあるトラフィックを抽出し、指定した検出ツールにルーティングできます。従来のログベースのツールと比較して、より迅速に攻撃を検出し、対応できます。 運用上のインサイトを取得 – VPC トラフィックミラーリングを使用することで、ネットワークを可視化し、コントロールを得ることができます。それは後に、より詳細な情報を得たうえでセキュリティの意思決定を下すのに役立ちます。 コンプライアンスとセキュリティコントロールを実装 – モニタリング、ログ作成、その他を必要とする法令およびコンプライアンスの要件に準拠できるようになります。 問題のトラブルシューティング – テストやトラブルシューティングの目的で、アプリケーションのトラフィックを社内的にミラーリングできます。トラフィックパターンを分析し、事前にアプリケーションのパフォーマンスを損なう「渋滞」ポイントを見つけることができます。 VPC トラフィックミラーリングは「仮想ファイバータップ」と捉えることができます。このタップにより VPC を通じて、ネットワークパケットへ直接アクセスできるようになるのです。すぐにご覧いただけるように、すべてのトラフィックを捕捉することも、特に関心のあるパケットを捕捉するためにフィルターを使用することもでき、さらには、パケットあたりの捕捉するバイト数を制限するオプションも用意されています。多数の AWS アカウントをまたいだ VPC からトラフィックを捕捉して、検査のために集中型 VPC にルーティングするといった、AWS のマルチアカウント環境で VPC トラフィックミラーリングを使用する使い方も可能です。 AWS Nitro システム (本記事の執筆時点では A1、C5、C5d、M5、M5a、M5d、R5、R5a、R5d、T3、および z1d) でサポートされている任意の EC2 インスタンスからのトラフィックをミラーリングできます。 VPC トラフィックミラーリングを使い始める VPC トラフィックミラーリングの主要な要素を見直して、セットアップを始めましょう。 Mirror Source – […]

Read More

新機能 – Network Load Balancer のための UDP ロードバランシング

Network Load Balancer は、ユーザーが労力を費さなくても、極めて低いレイテンシーで高いスループットを維持しながら 1 秒あたり何千万件ものリクエストを処理するように設計されています (詳細については、私の記事、New Network Load Balancer – Effortless Scaling to Millions of Requests per Second をお読みください)。 2017 年後半のローンチ以来、AWS では お客様のご要望にお応えして新しい機能をいくつか追加してきました。これには、クロスゾーンロードバランシング、リソースベースおよびタグベースのアクセス許可のサポート、AWS マネージド VPN トンネルでの使用のサポート、AWS Elastic Beanstalk コンソールを使用して Network Load Balancer を作成する機能、リージョン間での VPC ピアリングのサポート、そして TLS 終端が含まれます。 UDP ロードバランシング AWS は本日、お客様からのご要望が多いもうひとつの機能、UDP トラフィックのロードバランシングに対するサポートを追加します。これにより、オンラインゲーミング、IoT、ストリーミング、メディア転送、およびネイティブな UDP アプリケーション向けのコネクションレスサービスのデプロイメントのために Network Load Balancer を使用できるようになりました。独自のデータセンターで DNS、SIP、SNMP、Syslog、RADIUS、およびその他の UDP サービスをホストしている場合は、AWS にサービスを移動させることが可能です。AAA として知られている場合が多い Authentication […]

Read More

Amazon EMR 移行ガイド

世界中の企業が、Apache Hadoop や Apache Spark などの新しいビッグデータ処理および分析のフレームワークの力を発見していますが、同時にオンプレミスのデータレイク環境でこうしたテクノロジを運用する際のいくつかの課題にも気付いています。また、現在の配信ベンダーの将来についても懸念があるかもしれません。 こうした課題に対処するために、Amazon EMR 移行ガイド (2019 年 6 月に最初に公開) を発表しました。 これは、オンプレミスのビッグデータのデプロイから EMR への移行方法を計画する際に役立つ、適切な技術的アドバイスを提供する包括的なガイドです。 IT 組織はリソースのプロビジョニング、不均一なワークロードの大規模な処理、そして急速に変化するコミュニティ主導のオープンソースソフトウェアのイノベーションのスピードに追いつくための努力に取り組んでいるため、オンプレミスのビッグデータ環境における一般的な問題としては、俊敏性の欠如、過剰なコスト、管理に関する課題などがあります。多くのビッグデータに関する取り組みでは、基盤となるハードウェアおよびソフトウェアインフラストラクチャの評価、選択、購入、納入、デプロイ、統合、プロビジョニング、パッチ適用、保守、アップグレード、サポートの遅れや負担が課題となっています。 同様に重要ではあるものの、微妙な問題は、企業のデータセンターでの Apache Hadoop と Apache Spark のデプロイが同じサーバー内のコンピューティングリソースとストレージリソースを直接結びつける方法であり、足並みを揃えて拡張しなければならない柔軟性に欠けるモデルとなることです。つまり、ほとんどのオンプレミス環境では、各ワークロードのコンポーネントに対する要件が異なるため、未使用のディスク容量、処理能力、システムメモリが多くなってしまいます。 一般的なワークロードは、さまざまな種類のクラスターで、さまざまな頻度と時間帯で実行されます。こうしたビッグデータのワークロードは、共有している同じ基盤となるストレージまたはデータレイクにアクセスしながら、いつでも最も効率的に実行できるように解放する必要があります。説明については、下の図 1 を参照してください。 スマートな企業は、どのようにしてビッグデータへの取り組みで成功を収めることができるでしょうか? ビッグデータ (および機械学習) をクラウドに移行することには多くの利点があります。AWS などのクラウドインフラストラクチャサービスプロバイダーは、オンデマンドで伸縮自在なコンピューティングリソース、回復力があり安価な永続的ストレージ、およびビッグデータアプリケーションを開発および運用するための最新の使い慣れた環境を提供するマネージド型サービスの幅広い選択肢を提供します。データエンジニア、開発者、データサイエンティスト、IT 担当者は、データの準備と貴重な洞察の抽出に集中することができます。 Amazon EMR、AWS Glue、Amazon S3 などのサービスを使用すると、コンピューティングとストレージを個別に分離および拡張しながら、統合され、高度に管理された、回復力の高い環境を提供し、オンプレミスアプローチの問題を即座に軽減できます。このアプローチは、より速く、より俊敏で、使いやすく、よりコスト効率の良いビッグデータとデータレイクのイニシアチブにつながります。 ただし、従来のオンプレミスの Apache Hadoop および Apache Spark に関する既存の知恵は、クラウドベースのデプロイでは必ずしも最善の戦略とはなりません。クラウド内でクラスターノードを実行するための単純なリフトアンドシフトアプローチは、概念的には簡単ですが、実際には次善の策です。ビッグデータをクラウドアーキテクチャに移行する際に、さまざまな設計上の決定が利益を最大化するために大きく役立ちます。 このガイドでは、以下のベストプラクティスを紹介します。 データ、アプリケーション、およびカタログの移行 永続的リソースと一時的リソースの使用 セキュリティポリシー、アクセスコントロール、および監査ログの設定 価値を最大化しながら、コストを見積もりそして最小化する AWS クラウドを活用して高可用性 (HA) と災害復旧 […]

Read More