Amazon Web Services ブログ

Block Public Access 設定により、意図しないネットワーク公開から Amazon EMR クラスターを保護

AWS セキュリティグループは、ホワイトリストに登録された IP アドレスのみへのクラスターのアクセスを制御できるネットワークファイアウォールとして機能します。クラスター上のアプリケーションとデータを保護するには、セキュリティグループのルールを適切に管理することが重要です。Amazon EMR では、アプリケーションの要件に基づいて、必要なネットワークポート、プロトコル、および IP アドレスを含む制限的なセキュリティグループルールを作成することを強くお勧めします。 AWS アカウント管理者はさまざまな方法でクラウドネットワークセキュリティを保護できますが、新しい機能では、アカウントユーザーが誤って設定されたセキュリティグループルールでクラスターを起動できなくなりました。誤った設定は、パブリックインターネットからの無制限のトラフィックに広範囲のクラスターポートを開放し、クラスターリソースを外部の脅威にさらす可能性があります。 この投稿では、管理者がリージョン内のすべての EMR クラスターに共通のパブリックアクセスルールを適用するのに役立つ、Block Public Access (BPA) 設定と呼ばれる新しいアカウントレベルの機能について説明します。 Block Public Access 設定の概要 BPA 設定は、リージョン内の EMR クラスターへのパブリックネットワークアクセスを集中管理するのに役立つ、アカウントレベルの設定です。リージョンでこの設定を有効にし、アカウントユーザーがポートを介してパブリック IP アドレス (IPv4 では 0.0.0.0/0、IPv6 では ::/0 にソースを設定) からの無制限のインバウンドトラフィックを許可するクラスターを起動できないようにすることができます。アプリケーションでは、インターネットに対してオープンである特定のポートが必要な場合があります。その場合、クラスターを起動する前にパブリックアクセスを許可する例外として、BPA 設定でこれらのポート (またはポート範囲) を設定します。 アカウントユーザーが BPA 設定を有効にしたリージョンでクラスターを起動すると、EMR はこの設定で定義されたポートルールを確認し、クラスターに関連付けられたセキュリティグループで指定済みのインバウンドトラフィックルールと比較します。これらのセキュリティグループにパブリック IP アドレスへのポートを開くインバウンドルールがあるが、これらのポートを BPA 設定の例外として設定しなかった場合、EMR はクラスターの作成に失敗し、ユーザーに例外を送信します。  AWS マネジメントコンソールから BPA 設定を有効にする BPA 設定を有効にするには、PutBlockPublicAccessConfiguration API を呼び出す権限が必要です。 AWS […]

Read More

今すぐ利用可能 – NVIDIA T4 Tensor Core GPU を備えた EC2 インスタンス (G4)

今年初めに約束した NVIDIA を搭載した G4 インスタンスが利用可能になりました。6 つのサイズ、8 つの AWS リージョンで今すぐ使用できます。 機械学習のトレーニングと推論、ビデオトランスコーディング、ゲームストリーミング、およびリモートグラフィックのワークステーションアプリケーションに使用できます。 インスタンスには、最大 4 つの NVIDIA T4 Tensor Core GPU が備わっており、それぞれ 320 の Turing Tensor Core、2,560 CUDA Core、および 16 GB のメモリが搭載されています。T4 GPU は、機械学習の推論、コンピュータビジョン、ビデオ処理、リアルタイムの音声および自然言語処理に最適です。T4 GPU は、効率的なハードウェア駆動のレイトレーシングのための RT コアも提供します。NVIDIA Quadro Virtual Workstation (Quadro vWS) は、AWS Marketplace 内で入手できます。リアルタイムのレイトレースレンダリングをサポートし、メディアおよびエンターテイメント、アーキテクチャ、および石油とガスのアプリケーションでよく見られる創造的なワークフローを高速化することができます。 G4 インスタンスは、最大 64 個の vCPU を備えた AWS カスタムによる第 2 世代 Intel® Xeon® […]

Read More

AWS 認定ビッグデータ — 専門知識認定でキャリアアップ

ほとんどのクラウドコンピューティングプロフェッショナルは基礎、アソシエイト、プロフェッショナルの AWS 認定を知っていますが、AWS が専門知識認定も提供していることは重要です。データ分析、データレイク、データウェアハウスのソリューションを含むキャリアを追求している人は、AWS 認定ビッグデータ — 専門知識認定を取得する有力な候補者です。 AWS 認定ビッグデータ — 専門知識認定は、キャリアを成長させるのに役立つ素晴らしい選択肢です。AWS 認定は、Amazon EMR、Amazon Redshift、Amazon QuickSight などの中心的な AWS ビッグデータサービスを使用して複雑なデータ分析を実行するために必要な技術的スキルと専門知識があることを将来の雇用主に示せます。この認定は、データの収集、保存、処理、分析、視覚化、およびセキュリティに関する理解を検証するものです。 AWS が提供する業界で認められているすべての認定に関する詳細については、AWS 認定ページをご覧ください。 推奨される知識と経験 クラウドコンピューティングに対する強い情熱を持っていることに加えて、AWS 認定ビッグデータ — 専門知識試験の受験に興味がある人は、以下の基準を満たすことをお勧めします。 AWS の使用に関する 2 年以上の経験。 データ分析分野での 5 年以上の経験。 収集、取り込み、保管、処理、視覚化のデータライフサイクルにどのように適合するかを説明できる能力に加えて、AWS ビッグデータサービスの定義と設計に関する背景知識。 AWS 認定クラウドプラクティショナーまたは以下のような現行のアソシエイトレベルの認定を保有すること: AWS 認定ソリューションアーキテクト – アソシエイト AWS 認定開発者 – アソシエイト AWS 認定 SysOps 管理者 – アソシエイト 推奨される知識の完全なリストと試験内容は、試験ガイドに記載されています。これらの各基準のボックスにチェックマークを入れることができれば、AWS 認定ビッグデータ — 専門知識試験の準備を始められます。 […]

Read More

Amazon Elasticsearch Search と Amazon Comprehend を使用してスマートテキスト分析を実現する

AWS クラウドで Amazon Comprehend を使用して、Amazon Elasticsearch Service ドメインの非構造化テキストを分析および視覚化するために、自然言語処理を活用するエンドツーエンドのソリューションを発表できることをお知らせしたいと思います。このソリューションは、AWS CloudFormation テンプレートを使用して数分でデプロイし、Kibana ダッシュボードでデータを視覚化することができます。 Amazon Elasticsearch Service (Amazon ES) は、Elasticsearch の使いやすい API とリアルタイム機能、ならびに本稼働ワークロードに必要な可用性、スケーラビリティ、セキュリティを提供する完全マネージド型のサービスです。 Amazon Comprehend は完全マネージド型の自然言語処理 (NLP) サービスで、ドキュメントのコンテンツから洞察を抽出するテキスト分析を可能にします。お客様は、Amazon ES と Amazon Comprehend を活用して非構造化テキストのインデックス作成と分析を行い、事前設定された Kibana ダッシュボードをデプロイして、ドキュメントから抽出したエンティティ、キーフレーズ、構文、感情を視覚化することができます。 一例として、企業は大量のオンラインでの顧客フィードバックまたは文字起こしされた顧客からのコールを持っている場合があります。このソリューションを使用すると、顧客との接触における感情の時系列を視覚化し、そうした接触のエンティティまたはキーフレーズのワードクラウドを分析し、感情によって特定の製品についての接触を検索したりできます。このブログ記事では、Amazon ES および Amazon Comprehend を使用してテキストデータから洞察を引き出すためにデプロイできる Kibana ダッシュボードの例を見てみましょう。詳細な手順については、ソリューション実装ガイドをご覧ください。 このソリューションでは、AWS CloudFormation を使用して、AWS クラウドでのデプロイを自動化します。ソリューションの詳細については、次のリンクをクリックし、こちらでテンプレートをダウンロードしてください: このテンプレートを使用して、ソリューションおよび関連するすべてのコンポーネントを起動できます。このソリューションをデフォルトのパラメーターでデプロイすると、AWS クラウドに次の環境が構築されます。 デフォルト設定では、Amazon API Gateway、AWS Lambda、Amazon Elasticsearch Service、AWS Identity and Access Management […]

Read More
週刊AWS

週刊AWS – 2019/9/16週

みなさん、こんにちは!ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。東京は少しずつですが秋という感じの気候になってきました。9月は連休が多いので嬉しい月なのですが、AWSのサービスは日本の連休には関係なく毎日のように新機能、新サービスが追加されています。 それでは、先週の主なアップデートについて振り返っていきましょう。

Read More

新機能 – Step Functions が動的並列処理をサポート

マイクロサービスを使用すると、アプリケーションのスケーリングが容易になり、開発が高速になりますが、分散アプリケーションのコンポーネントを調整するのは大変な作業になりかねません。 AWS Step Functions は、各ステップが前のステップの出力を入力として受け取るステップで構成されるワークフローを設計および実行できるようにすることで、タスクの調整を容易にする完全マネージド型サービスです。たとえば、Novartis Institute for Biomedical Research は、Step Functions を使用して、クラスターの専門家に頼らずに科学者が画像分析を実行できるようにしています。 Step Functions は最近、コールバックパターンなどの非常に興味深い機能を追加して、人の活動とサードパーティサービスの統合を簡素化し、ネストされたワークフローを組み合わせてモジュール式の再利用可能なワークフローを組み立てました。今日、ワークフロー内の動的並列処理のサポートを追加します! 動的並列処理の仕組み ステートマシンは、JSON ベースの構造化言語である Amazon States Language を使用して定義されます。Parallel 状態を使用して、ステートマシンで定義された一定数のブランチを並列に実行できます。 現在、Step Functions は、動的並列処理のために新しい Map 状態タイプをサポートしています。 Map 状態を設定するには、完全なサブワークフローである Iterator を定義します。Step Functions の実行が Map 状態になると、状態入力の JSON 配列を反復処理します。各アイテムに対して、Map 状態は 1 つのサブワークフローを、潜在的に並列に実行します。すべてのサブワークフローの実行が完了すると、Map 状態は、Iterator が処理した各アイテムの出力を含む配列を返します。 MaxConcurrency フィールドを追加することにより、Map が実行する同時サブワークフローの数の上限を設定できます。 デフォルト値は 0 で、並列性に制限はなく、可能な限り同時に反復が呼び出されます。 1 の MaxConcurrency 値は、入力状態での出現順に Iterator を一度に 1 つの要素を呼び出す効果があり、前の反復が実行を完了するまで反復を開始しません。 新しい Map […]

Read More

Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする

Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォームです。ML モデルをデプロイすると、Amazon SageMaker は ML ホスティングインスタンスを活用してモデルをホストし、推論を提供する API エンドポイントを提供します。AWS IoT Greengrass も使用できます。 ただし、異なるターゲットへのデプロイを可能にする Amazon SageMaker の柔軟性のおかげで、AWS Lambda でモデルをホストするといくつかの利点が得られる場合があります。たとえば、GPU が必要な場合、すべてのモデルを AWS Lambda でホストできるわけではありません。また、AWS Lambda のデプロイパッケージのサイズなどのその他の制限があり、この方法を使用できない場合があります。AWS Lambda を使用できる場合、このアーキテクチャには、低コスト、イベントトリガー、シームレスなスケーラビリティ、スパイクリクエストなどの利点があります。たとえば、モデルが小さく、頻繁に呼び出されない場合、AWS Lambda を使用する方が安価な可能性があります。 この記事では、推論を提供する Lambda 関数を構築、テスト、デプロイするためのパイプラインを作成します。 前提条件 読者は Amazon SageMaker、AWS CloudFormation、AWS Lambda、および AWS Code* スイートの使用経験があると想定しています。 アーキテクチャの説明 CI/CD のパイプラインを作成するには、AWS 開発者用ツールを使用します。このスイートは、AWS CodeDeploy、AWS CodeBuild、および AWS CodePipeline を使用します。以下にアーキテクチャの図を示します。 Amazon SageMaker を使用してモデルをトレーニングすると、出力モデルが […]

Read More

NoSQL Workbench for Amazon DynamoDB – プレビューの使用が可能になりました

毎月数件のリクエストから毎秒何千万ものリクエストに簡単にスケールできる、完全マネージド型の key-value データベースとドキュメントデータベースを AWS のお客様に提供する Amazon DynamoDB には、いつも感銘を受けてきました。 DynamoDB チームは最近、オンデマンドキャパシティからネイティブな ACID トランザクションのサポートまで、数多くの素晴らしい機能をリリースしました。こちらは、グローバルテーブル、ポイントインタイムリカバリ、およびインスタントアダプティブキャパシティなど、最近の DynamoDB 発表の内容がよくわかる概要です。DynamoDB は、保管時のお客様データをすべてデフォルトで暗号化するようになりました。 しかし、リレーショナルデータベースから NoSQL への発想の切り替えはそれほど簡単なことではありません。昨年の re:Invent では、DynamoDB の仕組みと、それをどのように皆さんのユースケースに使用できるかに関する 2 つの素晴らしい講演が行われました。 Amazon DynamoDB Under the Hood: How We Built a Hyper-Scale Database (講演者: Jaso Sorenson) Amazon DynamoDB Deep Dive: Advanced Design Patterns for DynamoDB (講演者: Rick Houlihan) DynamoDB をさらに役立てていただくため、AWS は本日、プレビュー版の NoSQL Workbench for Amazon […]

Read More

SPARQL explain を使用して、Amazon Neptune のクエリ実行を理解する

 お客様は、AWS 内で使用するサービスの可視性と制御の向上を引き続き求めています。データベースサービスに関しては、お客様からは通常、特定のデータベース内でのクエリの最適化と処理に関する洞察を求めるリクエストを中心に受けています。データベースの開発者と管理者は、ほとんどの場合、データベースクエリ実行プランのアイデアと使用法をすでによく知っています。お客様の議論に動機付けられて、Amazon Neptune に SPARQL クエリの explain 機能が追加されました。 Amazon Neptune は、高度に連結されたデータの保存とクエリのために最適化された、高速で信頼性に優れた完全マネージド型のグラフデータベースで、データ内の接続のナビゲートと活用に依存するオンラインアプリケーションに最適です。 Amazon Neptune は、SPARQL クエリ言語を使用してクエリできる W3C Resource Description Framework (RDF) グラフをサポートしています。また、Gremlin グラフトラバーサルおよびクエリ言語を使用してクエリできる Apache TinkerPop プロパティグラフもサポートしています。 このブログ記事では、新しい SPARQL explain 機能とその使用方法について詳しく説明します。また、この記事の最後に、今日 SPARQL explain を試してみたい人のために、ワークロードと設定の例を示しました。 explain を使用した SPARQL クエリのランタイム動作の理解 SPARQL クエリが Neptune クラスターに送信されると、データベースエンジンはクエリを SPARQL クエリオプティマイザーに転送します。これにより、利用可能な統計とヒューリスティックに基づいてクエリプランが生成されます。オプティマイザーは、個々のトリプルパターンと接続演算子によってクエリを分割し、最適な実行を提供するために自動的に並べ替えます。このタイプの最適化により、クエリ開発者はクエリを評価する最適な順序を考慮する必要がなくなります。 場合によっては、オプティマイザーが選択したトリプルパターン (より一般的には実行プラン) の評価順序についてより多くの洞察を得たい場合があります。ここで、新しい SPARQL explain 機能の出番です。生成された評価プランを検査して、実行順序を理解できるためです。 クエリ explain 出力は、追加パラメータ「explain=<MODE>」を HTTP リクエストに追加するだけで取得できます。 次の curl […]

Read More

サーバーレスアプリケーションから Amazon Aurora への IAM ロールベース認証

 ユーザー名とパスワードをアプリケーションに直接保存することはベストプラクティスではありません。セキュリティで保護されたアプリケーションでは、資格情報をプレーンテキストとして保存しないでください。ソリューションとして、AWS Identity and Access Management (IAM) ポリシーは、Amazon Aurora リソースを管理できるユーザーを決定するアクセス許可を割り当てることができます。たとえば、IAM を使用して、DB クラスター、タグリソース、またはセキュリティグループを作成、記述、変更、削除できるユーザーを決定できます。Amazon Aurora では、データベースユーザーを IAM ユーザーとロールに関連付けることができます。 この記事では、AWS Lambda 関数を使用して IAM を使用して Amazon Aurora データベースにアクセスする方法を説明します。 概要 IAM データベース認証を使用して、DB クラスターに接続できます。この方法を使用すると、パスワードを設定ファイルに保存する代わりに、生成された認証トークンでデータベースにアクセスできます。Amazon Aurora は、アプリケーションから接続を作成するために 15 分間有効な AWS Signature Version 4 認証トークンを生成します。認証は IAM によって外部で完全に管理されるため、データベースに認証情報を作成する必要はありません。 チュートリアル 次の図は、ワークフローを示しています。 Lambda は、サーバーのプロビジョニングまたは管理を行うことなく、コードを実行するコンピューティングサービスです。Lambda は、必要な場合にのみコードを実行し、1 日あたり数回のリクエストから毎秒数千ものリクエストにまで自動的にスケールします。Lambda を使用するときは、コードに対してのみ責任があります。Lambda は、メモリ、CPU、ネットワークや他のリソースのバランスを提供するコンピュートフリートを管理します。Lambda は Lambda 関数を実行し、結果を返します。 コンソールで Lambda 関数を作成する方法は次のとおりです。 [AWS Lambda […]

Read More