Amazon Web Services ブログ

Category: News

AWS Glue DataBrew の発表 – データのクリーニングと正規化を迅速にするビジュアルデータ準備ツール

分析の実行、レポートの作成、あるいは機械学習の導入を始めるには、使用するデータがクリーンで適切な形式であることを確保する必要があります。このデータの準備ステップでは、データアナリストとデータサイエンティストに対し、カスタムコードの記述や、多くの手動操作が要求されます。そこではまず、データを見て、利用できそうな値を把握し、列同士の間に相関があるかどうかを確認するための簡単な可視化機能を構築する必要があります。その後、想定を外れた通常以外の値をチェックします。たとえば、200℉(93℃)を超えるような気温や、200mph(322 km/h)を超えるトラックの速度、そして欠落しているデータなどを洗い出します。多くのアルゴリズムでは、特定の範囲(たとえば 0 と 1 の間)への値の再スケールや、平均値を中心にした値の正規化が求められます。テキストフィールドは標準的な形式に設定するとともに、ステミングなどの高度な変換が必要な場合もあります。 これは大仕事です。今回、この仕事に対処するための AWS Glue DataBrew が利用可能になったことをお知らせできるのを、喜ばしく思っています。このサービスは、データのクリーンアップと正規化を 80% 高速化できる視覚的なデータ準備ツールであり、ビジネスから得られる価値に、お客様がより集中できるようにするものです。 DataBrew で提供されるビジュアルインターフェースでは、Amazon Simple Storage Service (S3)、Amazon Redshift、Amazon Relational Database Service (RDS) などに保存されたデータや、JDBC でアクセス可能なあらゆるデータストア、または AWS Glue データカタログによってインデックス化されたデータなどに、素早く接続できるようになります。その後、データを探索しパターンを見つけ出した上で、変換を適用できます。たとえば、結合やピボットの適用、異なるデータセットの統合、関数を使用したデータの操作を行います。 準備が終了したデータは、その場で、さらなるインサイトを得るために、AWS とサードパーティが提供するサービスを通じての利用が可能となります。それらのサービスには、機械学習用の Amazon SageMaker、分析用の Amazon Redshift と Amazon Athena、ビジネスインテリジェンス用の Amazon QuickSight と Tableau などがあります。 AWS Glue DataBrew の仕組み DataBrew を使用したデータの準備作業は、次の手順に従います。 S3 または Glue データカタログ(S3、Redshift、RDS)で、1 つ以上のデータセットに接続します。あるいは、DataBrew コンソールを使用すれば、S3 […]

Read More

現在準備中 — スイス、チューリッヒの新しい AWS リージョン

今年初頭、イタリアに新しい AWS リージョンを立ち上げ、インドネシア、日本、およびスペインでさらに 3 つの AWS リージョンの立ち上げを計画していました。 2022 年にスイスでサービス開始 本日、AWS 欧州 (チューリッヒ) リージョンでのサービス開始に向けて準備中であることが発表されました。2022 年後半に 3 つのアベイラビリティーゾーンでサービス開始予定です。デベロッパー、スタートアップ、企業のほか、政府、教育機関、非営利団体などが、スイスにあるデータセンターからアプリケーションを実行し、エンドユーザーにサービスを提供できる機能を提供します。 これは、ダブリン、フランクフルト、ロンドン、パリ、ストックホルム、ミラノ、スペインで発表されたリージョンに加え、ヨーロッパで 8 番目のリージョンになります。AWS ではすでに、世界中で 24 のリージョン、77 のアベイラビリティーゾーンを運営しています。本日の発表により、グローバルリージョン (稼働中および準備中) の合計数は 27 に増えることになりました。 AWS グローバルインフラストラクチャの詳細については、こちらをご覧ください。 スイスにおける AWS の歴史 AWS が 2006 年に立ち上げられてから、ヨーロッパで最も早くクラウドサービスの利用を開始した企業に、多くのスイス企業が含まれていました。バーゼル、ベルン、ジュネーブ、ローザンヌ、ルガノ、チューリッヒなど、スイスの各都市に拠点を置くお客様が、AWS を使用して、開発およびテスト環境、ビッグデータの分析、モバイル、ウェブ、ソーシャルアプリケーション、エンタープライズアプリケーションやミッションクリティカルなワークロードに至るまで、あらゆるものを実行しています。AWS Financial & Insurance Services Addendum (FISA)。 そのため、2016 年 4 月、チューリッヒに初めてスイスオフィスを開設し、アカウントマネージャー、テクニカルアカウントマネージャー、パートナーマネージャー、システムエンジニア、ソリューションアーキテクト、プロフェッショナルサービス、その他多くの職務と役割からなる、成長を続けるチームを配置しました。2017 年には、チューリッヒで Amazon CloudFront エッジロケーションと Direct Connect ロケーションを発表し、スイス国内での急成長をサポートするため、ジュネーブに 2 […]

Read More

AWS Gateway Load Balancer のご紹介 — パートナーアプライアンスの簡単なデプロイ、スケーラビリティ、高可用性

昨年、Virtual Private Cloud (VPC) Ingress Routing を立ち上げ、インターネットゲートウェイ (IGW) または Virtual Private Gateway (VGW) との間のすべての着信および発信トラフィックを、特定の Amazon Elastic Compute Cloud (EC2) インスタンスの Elastic Network Interface にルーティングできるようにしました。 VPC Ingress Routing を使用して、 VPC を設定し、すべてのトラフィックを EC2 インスタンスに送信します。EC2 インスタンスは、通常ネットワークセキュリティツールを実行して、疑わしいネットワークトラフィックを検査またはブロックしたり、トラフィックを他の EC2 インスタンスに中継する前に他のネットワークトラフィック検査を実行したりします。 これにより、ネットワークへのアプライアンスの追加が簡単になりますが、高可用性と拡張性の確保は依然として課題として残ってます。お客様はピーク時の負荷と高可用性を処理するためにアプライアンスを過剰にプロビジョニングするか、トラフィックに基づいてアプライアンスを手動でスケールアップ/ダウンするか、その他の補助ツールを使用する必要があります。いずれにしても、運用オーバーヘッドとコストが増加につながります。 本日、AWS Gateway Load Balancer(GWLB)の一般提供を発表します。これは、クラウド上のファイアウォール、侵入検出と防止システム、ディープパケットインスペクションシステムなどのサードパーティの仮想アプライアンスの可用性を簡単かつ費用効果の高い方法で、デプロイ、スケーリング、管理できるようにするサービスです。 。GWLB はセキュリティアプライアンスに加えて、データ分析、テレコム、モノのインターネット (IoT)、カスタムアプライアンスにも同様のメリットを提供します。APN パートナーや AWS Marketplace パートナーは、規模、可用性、サービス提供といった複雑な問題を解決することなく、仮想アプライアンスを AWS のお客様にサービス(VAaaS)として提供することもできます。 AWS Gateway Load Balancer — その仕組み […]

Read More

新機能: 機械学習と HPC 向けの GPU 搭載 EC2 P4 インスタンス

Amazon EC2 チームは、約 10 年にわたり、GPU を搭載したインスタンスをお客様に提供してきました。第 1 世代の クラスター GPU インスタンスは 2010 年後半にリリースされ、続いて G2 (2013)、P2 (2016)、P3 (2017)、G3 (2017)、P3dn (2018)、および G4 (2019) インスタンスを作成します。世代を重ねるごとに、GPU を最大限に活用できるように、十分な CPU パワー、メモリ、ネットワーク帯域幅とともに、ますます機能が向上した GPU が組み込まれています。 新しい EC2 P4 インスタンス 今日は、GPU を搭載した新しい P4 インスタンスについてお話したいと思います。これらのインスタンスは、最新の Intel® Cascade Lake プロセッサーを搭載し、最新の NVIDIA A100 Tensor Core GPU を 8 つ搭載しています。各 GPU は NVLink によって他のすべての GPU に接続され、NVIDIA GPUDirect をサポートしています。2.5 […]

Read More

新規 – エンドツーエンドの HTTP/2 および gRPC についての Application Load Balancer のサポート

その効率性と多数のプログラミング言語をサポートしていることから、gRPC はマイクロサービス統合およびクライアント/サーバー通信に人気のある選択肢となっています。gRPC は、HTTP/2 をトランスポートに使用し、インターフェイスを記述するためにプロトコルバッファを使用する、高性能なリモートプロシージャコール (RPC) のフレームワークです。 アプリケーションで gRPC を使用しやすくするために、Application Load Balancer (ALB) は HTTP/2 エンドツーエンドのサポートを開始しました。これにより、単一のロードバランサーを介して gRPC サービスを非 gRPC サービスとともに公開できるようになりました。Amazon Elastic Compute Cloud (EC2) インスタンスまたは IP アドレス (AWS Fargate など) を gRPC ターゲットとして使用し、ターゲットグループの gRPC ヘルスチェックをサポートできます。この方法により、ALB を使用して、マイクロサービス間、または gRPC 対応クライアントとサービス間の gRPC トラフィックの終了、ルーティング、およびロードバランシングを行うことができます。 ALB は、gRPC 呼び出しを検査し、適切なサービスにそれらをルーティングするためのリッチコンテンツベースのルーティング機能を提供します。具体的には、ALB は、gRPC ステータスコード、gRPC リクエスト数のメトリクス、gRPC リクエストを区別するアクセスログ、および gRPC 固有の応答ヘッダーを調べることができるヘルスチェックを提供します。さらに、持続性、さまざまなロードバランシングアルゴリズム、TLS 終了などのネイティブ機能を利用できます。 Application Load Balancer で gRPC を使用する方法 […]

Read More

AWS Nitro Enclaves – 分離された EC2 環境で機密データを処理する

AWS Nitro システムをご紹介したとき、私は次のように説明しました。 Nitro システムはさまざまな方法で組み立てることができる構成ブロックが豊富なコレクションで、コンピューティング、ストレージ、メモリ、ネットワーキングのこれまでにないほど大きな選択肢から EC2 インスタンスタイプを設計し、短期間で提供できる柔軟性をもたらします。 これまで、これらの構成ブロックを活用してこの約束を果たし、インスタンスを開始しました。いくつか例を挙げると、M5、C5、R5、T3、I3、A1、P3dn、z1d、High Memory インスタンスなどです。急拡大しているインスタンスのコレクションは、同様に拡大しているお客様のニーズや要件に対応できるように設計されています。 分離に関する新しい課題 金融サービス、防衛、メディア、エンターテイメント、ライフサイエンスなど、さまざまな業界からの AWS のお客様は、機密性の高いデータを AWS クラウドで日常的に処理しています。その際、社内外の脅威からクラウドを保護する必要があります。また、相互に信頼できない複数のパートナー、ベンダー、顧客、従業員が関与する複雑な状況にも対処する必要があります。今日、お客様は VPC を使用して、制御かつ制限された接続で、制限されたユーザーのみがアクセスできる、高度に分離された環境を構築しています。 Nitro Enclaves 本日より、AWS Nitro Enclaves を開始し、こうした重要なニーズに対処できるようになりました。これを使用して、Nitro システムによって稼働している任意の EC2 インスタンスで、分離された環境を切り出すことができます。Nitro システムでは、同じハードウェアで実行している複数の EC2 インスタンスを既に分離しています。Nitro Enclaves は、単一の「親」EC2 インスタンスの CPU とメモリを分離することでさらに分離し、同じインスタンスで実行している他のユーザーまたはアプリケーションから機密性の高いデータを保護します。環境はセキュアで、親 EC2 インスタンスで実行している他のアプリケーション、ユーザー、処理にはアクセスできません。極めて柔軟性が高く、要求の厳しい本番ワークロードのニーズを満たすように設計されており、分離された環境に割り当てられるメモリ容量と処理能力を完全に制御できます。 EC2 インスタンスごとに 1 つのエンクレーブを作成するためのサポートを開始しました。将来的には、複数のエンクレーブのサポートを追加する予定です。インスタンスのコアの 1 つ(ハイパースレッドプロセッサを使用するインスタンスでは 2 つの vCPU)を除くすべてと、エンクレーブ用メモリのほぼすべてを使用できます。 各エンクレーブは独立したカーネルを実行し、メモリと CPU リソースに排他的にアクセスします。エンクレーブには外部ネットワーク接続も永続的なストレージもなく、(完全な IAM アクセス許可があっても)ユーザーアクセスもありません。エンクレーブに出入りするすべてのデータは、EC2 インスタンスで終了するローカル仮想ソケット (vsock) 接続を介して移動します。 Nitro […]

Read More

AWS が支えた Amazon プライムデー 2020

 デンマークの同僚からの情報を得て、私はLEGO スターウォーズ™ ストームトルーパー ヘルメットを購入しました。そして、これはプライムデー のベストセラーであることが判明しました! 毎年と同様に、AWS がお客様のためにプライムデーを実現させた多くの方法のいくつかを共有したいと考えています。2016 年に、私は「How AWS Powered Amazon’s Biggest Day Ever」で、プライムデーの計画を説明しましたが、その投稿はまだ有益で関連性があります。 今回は、Amazon Live と IVS、インフラストラクチャイベント管理、ストレージ、コンテンツ配信という、プライムデーのサポートに AWS が役立った 4 つの方法に焦点を当てたいと思います。 プライムデーにおける Amazon Live と IVS 2020 年のプライムデーの間、Amazon のお客様は Amazon Liveを通じてライブストリームで買い物をすることができました。買い物客は、ライブチャットを使用して、インフルエンサーやホストとリアルタイムでやり取りすることもできました。買い物客は、質問をし、自分の体験を共有し、関心がある製品についてより良い感触を得ることができました。 Amazon Live は、Deal Reveal をカウントダウンし、製品のデモンストレーションをライブで共有することで、購入者が商品の詳細を知り、人気商品のお得な情報を活用できるよう支援しました。Anitta、Russell Wilson、Ciara も 、筆者の Elizabeth Gilbert と同じように、プライムデーのお得な情報を厳選しました。また、@SheaWhitney、@ShopDandy、@TheDealGuy などのインフルエンサーは、売れ筋商品の情報を顧客と共有しました。プライムデーには、合計で 1,200 以上のライブ配信と数万のチャットメッセージが Amazon Live で配信されました。 こうした充実したショッピング体験を顧客やクリエイターに提供するには、低レイテンシーの動画が不可欠です。これにより、Amazon Live では、ライブビデオで紹介されている商品と、ビデオプレーヤーの下部にあるカルーセルに表示されている商品を同期させることができます。また、低レイテンシーにより、ライブストリームホストは顧客の質問にリアルタイムで回答することができます。もちろん、特にプライムデーには、すべてが大規模に行われる必要がありました。 これを行うために、Amazon Live […]

Read More

Amazon SNS FIFO のご紹介 – 先入れ先出しでの Pub/Sub メッセージング

 分散ソフトウェアアーキテクチャを設計する場合、サービスの情報交換方法を定義することが重要になります。たとえば、非同期通信では、コンポーネントを疎結合化してスケーリングを簡素化することで、変更の影響が軽減され、新機能のリリースが簡単になります。 サービス間の非同期通信で最も一般的な形式は、メッセージキューと pub/sub メッセージングの 2 つです。 メッセージキューでは、コンシューマーによる処理および削除まで、メッセージはキューに格納されます。AWS では、Amazon Simple Queue Service (SQS) が、管理コストなしで完全マネージド型メッセージキューイングのサービスを提供しています。 pub/sub メッセージングでは、トピックに発行されたメッセージは、トピックのすべてのサブスクライバーに配信されます。AWS の Amazon Simple Notification Service (SNS) は完全マネージド型の pub/sub メッセージングサービスで、多くのサブスクライバーへメッセージを配信できます。各サブスクライバーは、気になるメッセージだけを受信するようにフィルターポリシーを設定することも可能です。 複数のアプリケーションにメッセージをファンアウトする場合はトピックを使用し、1 つのアプリケーションにメッセージを送信する場合はキューを使用します。トピックとキューを一緒に使用することで、マイクロサービス、分散システム、サーバーレスアプリケーションを疎結合化できます。 SQS では FIFO(先入れ先出し)キューを用いてメッセージの送受信順序を保持し、メッセージが何度も処理されないようにできます。 SNS FIFO トピックスのご紹介 本日より SNS FIFO トピックを導入することで、pub/sub メッセージングにも同様の機能を追加し、複数のサブスクライバーに厳密なメッセージの順序付けと重複を排除したメッセージ配信を提供できるようになりました。 FIFO トピックは、FIFO キューと同様に順序付けと重複排除を管理します。 順序付け – メッセージグループを設定するには、メッセージを FIFO トピックに発行する際にメッセージグループ ID を指定します。各メッセージグループ ID に、すべてのメッセージを到着順に送信および配信します。たとえば、同じ顧客に関連するメッセージを順番に配信するには、顧客のアカウント番号をメッセージグループ ID として使用することで、これらのメッセージをトピックに発行できます。FIFO トピックとキューを持つメッセージグループの数に、制限はありません。メッセージグループ ID を事前に宣言する必要はありません。どの値でも機能します。メッセージを論理的に区別しない場合は、すべてに同じメッセージグループ ID […]

Read More

新機能 – Graviton2 プロセッサでの Amazon RDS

  Amazon Elastic Compute Cloud (EC2) で M6g、R6g、C6g インスタンスファミリーをご利用いただけるようになったことを、最近ブログでお知らせしました。これらのインスタンスは、x86 対応のインスタンスよりも優れたコストパフォーマンスを提供します。これらは AWS が設計した AWS Graviton2 プロセッサをベースとし、64-bit Arm Neoverse N1 コアを使用しています。 加えて本日のローンチで、RDS 向け AWS Graviton2 プロセッサによって以前の M5 および R5 世代のデータベースインスタンスタイプと比較して向上した、Amazon Relational Database Service (RDS) データベースのコストパフォーマンスのメリットも得られます。M6g および R6g のインスタンスファミリーと、3 つのデータベースエンジン(MySQL 8.0.17以降、MariaDB 10.4.13 以降、 PostgreSQL 12.3 以降)の中から選択できます。 M6g インスタンスは、汎用ワークロードに最適です。R6g インスタンスは、M6g 対応のものより 50% 多いメモリ容量を提供するため、ビッグデータ分析などのメモリ集約型のワークロードに向いています。 コンピューティングとメモリ要件に関するさまざまな特性を持つワークロードの社内テストによると、Graviton2 インスタンスでは、RDS オープンソースデータベースでのパフォーマンスが最大 35% 向上し、コストパフォーマンスは最大 52% […]

Read More

Amazon S3 アップデート – セキュリティおよびアクセス制御のための 3 つの新しい機能

 Amazon S3 をリリースしてから 1 年ほど後、私が参加した技術会議でエレベーターに乗っていたときに、何人かのデベロッパーが、データストレージをどうしているかとの質問に対して「S3 に投げるだけ」と答えているのを耳にしました。コメントがとても自然なものだったので、その瞬間をよく覚えています。そこで初めて、S3 がどれほど早く普及したのかを認識しました。 このリリース以降、当社は、数百の機能と複数のストレージクラスを S3に追加してきました。また、1 か月間に 1 ギガバイトのデータを格納するコストをほぼ 85% 削減しました (S3 Standard では 0.15 USD から 0.023 USD、最も低額なものでは S3 Glacier Deep Archive の 0.00099 USD)。現在、お客様は、データレイク、バックアップと復元、災害復旧、アーカイブ、クラウドネイティブアプリケーションなど、さまざまなユースケースをサポートするために、 S3 を使用しています。 セキュリティとアクセス制御 S3 のユースケースが拡大するにつれて、お客様からは、ミッションクリティカルなバケットやオブジェクトへのアクセスを規制する新しい方法を求める声が当社に寄せられています。当社は、何年も前に IAM ポリシーを追加し、2018 年には Block Public Access を追加しました。昨年には、S3 Access Points (Easily Manage Shared Data Sets with Amazon S3 Access Points) を追加しました。これは、数百ものアプリケーションとペタバイト規模のストレージを含み得る大規模な環境でのアクセスを管理するのに役立ちます。 […]

Read More