Amazon Web Services ブログ

Category: News

Amazon Managed Workflows for Apache Airflow (MWAA) のご紹介

データ処理パイプラインはそのボリュームを増し、ますます複雑になっていますが、プロセス全体を一連の小さなタスクに分解して簡素化し、これらのタスクの実行をワークフローの一部として調整することができます。その手段として、多くのデベロッパーやデータエンジニアが Apache Airflow を使用しています。Apache Airflow は、コミュニティによって作成され、プログラムによってワークフローを作成、スケジュール、モニタリングするプラットフォームです。Airflow を使用すると、ワークフローをスクリプトとして管理したり、ユーザーインターフェイス (UI) を介してワークフローをモニタリングしたり、強力なプラグインのセットを使用して機能を拡張したりできます。ただし、Airflow を手動でインストール、保守、スケールし、それと同時にユーザーのセキュリティ、認証、認可の処理を行うには多くの時間がかかり、実際のビジネス上の問題解決に集中できなくなってしまいます。 こうした問題点を解消するため、AWS で Apache Airflow のオープンソースバージョンを簡単に実行し、抽出、変換、読み込み (ETL) ジョブとデータパイプラインを実行するワークフローを構築可能な、フルマネージドサービスである Amazon Managed Workflows for Apache Airflow (MWAA) の提供を開始しましたことをお知らせします。 Airflow ワークフローでは、Amazon Athena クエリを使用して Amazon Simple Storage Service (S3) などのソースから入力を取得し、Amazon EMR クラスターで変換を実行し、結果として生成されたデータを使用して Amazon SageMaker で機械学習モデルをトレーニングできます。Airflow ワークフローは、Python プログラミング言語を使用して、有向非巡回グラフ (DAG) として作成されます。 Airflow の主な利点は、プラグインによりオープンな拡張が可能であることです。これにより、AWS とやり取りするタスクや、AWS Batch、Amazon CloudWatch、Amazon DynamoDB、AWS DataSync、Amazon ECS、AWS Fargate、Amazon Elastic Kubernetes […]

Read More

新機能 — コード署名、AWS Lambda の信頼と整合性のコントロール

コード署名とは、コードが変更されていないこと、信頼できる発行元からのものであることを確認するために使用される業界標準の技法です。 AWS Lambda 関数内で実行されるコードは、高度に強化されたシステム上で、安全な方法で実行されます。ただし、関数コードは AWS の外部で実行されるデプロイパイプラインを移動するため、変更される可能性があります。 本日より、AWS Lambda のコード署名を開始いたします。これは、信頼できる発行元からの署名済みコードパッケージだけが Lambda 関数で実行され、署名以降コードが変更されないことを管理者が強制できるようにする、信頼と整合性のコントロールです。 Lambda のコード署名は、信頼できるコードのみが Lambda でデプロイされるようにする最高のメカニズムを提供します。これにより、組織はデプロイパイプラインでゲートキーパーコンポーネントを構築する負担から解放されます。AWS Lambda のコード署名は、AWS の完全マネージドコード型署名サービスである AWS Signer を活用しています。管理者は、署名プロファイルを作成します。署名プロファイルは、署名を作成するために使用され、AWS Identity and Access Management (IAM) を使用して署名プロファイルへのアクセス権をデベロッパーに付与するためのリソースです。Lambda 内で、管理者はコード署名設定 (CSC) と呼ばれる新しいリソースを使用して、許可された署名プロファイルを指定します。CSC により、組織は管理者とデベロッパーとの間での職務の分離を実装できます。管理者は CSC を使用して関数にコード署名ポリシーを設定でき、デベロッパーは関数にコードをデプロイすることができます。 署名プロファイルの作成方法 AWS 署名者コンソールを使用して、新しい署名プロファイルを作成できます。署名プロファイルは、信頼できる発行元のグループを表すことができ、デジタル署名証明書の使用に類似しています。 [Create Signing Profile] をクリックすることで、署名付きコードパッケージの作成に使用できる署名プロファイルを作成できます。 署名プロファイルによって生成される署名には、1 日から 135 か月の間で署名有効期間を割り当てることができます。 コード署名設定 (CSC) の作成方法 コード署名設定と呼ばれる新しいリソースを作成して関数にアタッチすることで、AWS Lambda コンソール、コマンドラインインターフェイス (CLI)、または API を使用してコード署名を使用するように関数を設定できます。コード署名設定は、[Additional resources] メニューにあります。 […]

Read More

Lightsail コンテナ: クラウドでコンテナを実行する簡単な方法

私は通常、デベロッパーに対し AWS クラウドの概要を説明するときには、Amazon Lightsail について話した上で、デモンストレーションのために少し時間を費やします。このサービスは、AWS の使用を開始するために極めて有効です。ユーザーはほんの数分の内に、自分の仮想サーバー上でアプリケーションを実行させることができるからです。これまでに当社では、Amazon Lightsail に対する、コンテナベースのワークロードのデプロイを可能にしてきました。Amazon Lightsail が仮想サーバーに提供しているのと同じシンプルさとバンドル料金により、今後は、コンテナーイメージをクラウドにデプロイできます。 Amazon Lightsail は、費用対効果が高く、わかりやすい月ごとのプランにより、使いやすいクラウドサービスとなっています。このサービスでは、アプリケーションやウェブサイトのデプロイに必要なすべてが提供されています。シンプルなワークロードやウェブサイトのデプロイ、あるいは、AWS の使用を開始するのに理想的です。Lightsail のお客様の一般的な範囲としては、クラウドと AWS の迅速な導入を検討しているデベロッパーから小規模企業、あるいはスタートアップ企業までが含まれます。このサービスで AWS クラウドに習熟した後は、さらに広範な AWS のサービスをいつでも導入できます。 Lightsail の機能を背後から支えているのは、Amazon Elastic Compute Cloud (EC2)、Amazon Relational Database Service (RDS)、Application Load Balancer、およびその他の AWS のサービスです。この構成により、AWS に期待されるレベルのセキュリティ、信頼性、およびスケーラビリティを提供しています。 Lightsail にデプロイしようとするユーザーは、6 つのオペレーティングシステム(4 つの Linux ディストリビューション、FreeBSD、または Windows)、7 つのアプリケーション(WordPress、Drupal、Joomla、Plesk その他)、および 7 つのスタック(Node.js、Lamp、GitLab、Django その他)から選択して使用することが可能です。とは言え、Docker コンテナについてはどうでしょうか? 今回、Amazon Lightsail において、デベロッパーがコンテナをクラウドに簡単にデプロイできる手法が、提供されるようになりました。ユーザーが用意する必要があるのは、コンテナの Docker イメージだけで、このイメージは、サービスにより自動的にコンテナー化されます。クラウドコンテナでアプリケーションを実行するための準備ができた、HTTPS エンドポイントが […]

Read More

初の DevTools ヒーローを始めとした最新の AWS ヒーローたちをご紹介

AWS ヒーロープログラムは、幅広い AWS の専門知識を持つ世界中の個人の中から、その知識を他の人と共有するために特に大きな働きをした人々を、表彰していくものです。このプログラムは成長を続けており、さまざまな技術分野で最も影響力を発揮しているコミュニティリーダー達に、より良質な認定を提供することを目指しています。 AWS DevTools ヒーローの紹介 今回は、AWS DevTools ヒーローをご紹介します。このヒーローとは、AWS での開発エクスペリエンスと、その業務を可能にするツールの使用を熱心に後押ししているユーザーたちです。DevTools ヒーローたちは、知識の共有や、コミュニティの構築のために、オープンソースでの貢献、ブログ公開、対話、コミュニティの運営、ソーシャルメディアの使用を通じて優れた働きをしています。AWS でのデベロッパーエクスペリエンスを形作るために、フィードバックやコンテンツの提供、寄贈などを通じて DevTools ヒーローは働いています。さらに、AWS Cloud Development Kit、AWS SDK、各サービスの AWS Code Suite などの AWS DevTools の進化も促しています。 AWS DevTools ヒーローの最初の仲間たちを、次にご紹介していきましょう。 Bhuvaneswari Subramani 氏 – バンガロール、インド DevTools ヒーロー、Bhuvaneswari Subramani 氏は、Infor のエンジニアリング事業ディレクターです。クラウドコンピューティング、DevOps、パフォーマンステストを専門に 20 年の IT 経験を持つ彼女は、AWS User Group Bengaluru のコミュニティリーダーの 1 人です。彼女 は、AWS コミュニティのイベントや業界でのカンファレンスで積極的な講演を行いながら、インド中の工学系大学で、スタッフや学生のために、クラウドコンピューティングに関するゲスト講義も提供しています。AWS のデベロッパーツールに関し彼女が開くワークショップや、プレゼンテーション、そして公開するブログなどは、常に特筆すべき内容となっています。 Jared Short 氏 […]

Read More

AWS Glue DataBrew の発表 – データのクリーニングと正規化を迅速にするビジュアルデータ準備ツール

分析の実行、レポートの作成、あるいは機械学習の導入を始めるには、使用するデータがクリーンで適切な形式であることを確保する必要があります。このデータの準備ステップでは、データアナリストとデータサイエンティストに対し、カスタムコードの記述や、多くの手動操作が要求されます。そこではまず、データを見て、利用できそうな値を把握し、列同士の間に相関があるかどうかを確認するための簡単な可視化機能を構築する必要があります。その後、想定を外れた通常以外の値をチェックします。たとえば、200℉(93℃)を超えるような気温や、200mph(322 km/h)を超えるトラックの速度、そして欠落しているデータなどを洗い出します。多くのアルゴリズムでは、特定の範囲(たとえば 0 と 1 の間)への値の再スケールや、平均値を中心にした値の正規化が求められます。テキストフィールドは標準的な形式に設定するとともに、ステミングなどの高度な変換が必要な場合もあります。 これは大仕事です。今回、この仕事に対処するための AWS Glue DataBrew が利用可能になったことをお知らせできるのを、喜ばしく思っています。このサービスは、データのクリーンアップと正規化を 80% 高速化できる視覚的なデータ準備ツールであり、ビジネスから得られる価値に、お客様がより集中できるようにするものです。 DataBrew で提供されるビジュアルインターフェースでは、Amazon Simple Storage Service (S3)、Amazon Redshift、Amazon Relational Database Service (RDS) などに保存されたデータや、JDBC でアクセス可能なあらゆるデータストア、または AWS Glue データカタログによってインデックス化されたデータなどに、素早く接続できるようになります。その後、データを探索しパターンを見つけ出した上で、変換を適用できます。たとえば、結合やピボットの適用、異なるデータセットの統合、関数を使用したデータの操作を行います。 準備が終了したデータは、その場で、さらなるインサイトを得るために、AWS とサードパーティが提供するサービスを通じての利用が可能となります。それらのサービスには、機械学習用の Amazon SageMaker、分析用の Amazon Redshift と Amazon Athena、ビジネスインテリジェンス用の Amazon QuickSight と Tableau などがあります。 AWS Glue DataBrew の仕組み DataBrew を使用したデータの準備作業は、次の手順に従います。 S3 または Glue データカタログ(S3、Redshift、RDS)で、1 つ以上のデータセットに接続します。あるいは、DataBrew コンソールを使用すれば、S3 […]

Read More

現在準備中 — スイス、チューリッヒの新しい AWS リージョン

今年初頭、イタリアに新しい AWS リージョンを立ち上げ、インドネシア、日本、およびスペインでさらに 3 つの AWS リージョンの立ち上げを計画していました。 2022 年にスイスでサービス開始 本日、AWS 欧州 (チューリッヒ) リージョンでのサービス開始に向けて準備中であることが発表されました。2022 年後半に 3 つのアベイラビリティーゾーンでサービス開始予定です。デベロッパー、スタートアップ、企業のほか、政府、教育機関、非営利団体などが、スイスにあるデータセンターからアプリケーションを実行し、エンドユーザーにサービスを提供できる機能を提供します。 これは、ダブリン、フランクフルト、ロンドン、パリ、ストックホルム、ミラノ、スペインで発表されたリージョンに加え、ヨーロッパで 8 番目のリージョンになります。AWS ではすでに、世界中で 24 のリージョン、77 のアベイラビリティーゾーンを運営しています。本日の発表により、グローバルリージョン (稼働中および準備中) の合計数は 27 に増えることになりました。 AWS グローバルインフラストラクチャの詳細については、こちらをご覧ください。 スイスにおける AWS の歴史 AWS が 2006 年に立ち上げられてから、ヨーロッパで最も早くクラウドサービスの利用を開始した企業に、多くのスイス企業が含まれていました。バーゼル、ベルン、ジュネーブ、ローザンヌ、ルガノ、チューリッヒなど、スイスの各都市に拠点を置くお客様が、AWS を使用して、開発およびテスト環境、ビッグデータの分析、モバイル、ウェブ、ソーシャルアプリケーション、エンタープライズアプリケーションやミッションクリティカルなワークロードに至るまで、あらゆるものを実行しています。AWS Financial & Insurance Services Addendum (FISA)。 そのため、2016 年 4 月、チューリッヒに初めてスイスオフィスを開設し、アカウントマネージャー、テクニカルアカウントマネージャー、パートナーマネージャー、システムエンジニア、ソリューションアーキテクト、プロフェッショナルサービス、その他多くの職務と役割からなる、成長を続けるチームを配置しました。2017 年には、チューリッヒで Amazon CloudFront エッジロケーションと Direct Connect ロケーションを発表し、スイス国内での急成長をサポートするため、ジュネーブに 2 […]

Read More

AWS Gateway Load Balancer のご紹介 — パートナーアプライアンスの簡単なデプロイ、スケーラビリティ、高可用性

昨年、Virtual Private Cloud (VPC) Ingress Routing を立ち上げ、インターネットゲートウェイ (IGW) または Virtual Private Gateway (VGW) との間のすべての着信および発信トラフィックを、特定の Amazon Elastic Compute Cloud (EC2) インスタンスの Elastic Network Interface にルーティングできるようにしました。 VPC Ingress Routing を使用して、 VPC を設定し、すべてのトラフィックを EC2 インスタンスに送信します。EC2 インスタンスは、通常ネットワークセキュリティツールを実行して、疑わしいネットワークトラフィックを検査またはブロックしたり、トラフィックを他の EC2 インスタンスに中継する前に他のネットワークトラフィック検査を実行したりします。 これにより、ネットワークへのアプライアンスの追加が簡単になりますが、高可用性と拡張性の確保は依然として課題として残ってます。お客様はピーク時の負荷と高可用性を処理するためにアプライアンスを過剰にプロビジョニングするか、トラフィックに基づいてアプライアンスを手動でスケールアップ/ダウンするか、その他の補助ツールを使用する必要があります。いずれにしても、運用オーバーヘッドとコストが増加につながります。 本日、AWS Gateway Load Balancer(GWLB)の一般提供を発表します。これは、クラウド上のファイアウォール、侵入検出と防止システム、ディープパケットインスペクションシステムなどのサードパーティの仮想アプライアンスの可用性を簡単かつ費用効果の高い方法で、デプロイ、スケーリング、管理できるようにするサービスです。 。GWLB はセキュリティアプライアンスに加えて、データ分析、テレコム、モノのインターネット (IoT)、カスタムアプライアンスにも同様のメリットを提供します。APN パートナーや AWS Marketplace パートナーは、規模、可用性、サービス提供といった複雑な問題を解決することなく、仮想アプライアンスを AWS のお客様にサービス(VAaaS)として提供することもできます。 AWS Gateway Load Balancer — その仕組み […]

Read More

新機能: 機械学習と HPC 向けの GPU 搭載 EC2 P4 インスタンス

Amazon EC2 チームは、約 10 年にわたり、GPU を搭載したインスタンスをお客様に提供してきました。第 1 世代の クラスター GPU インスタンスは 2010 年後半にリリースされ、続いて G2 (2013)、P2 (2016)、P3 (2017)、G3 (2017)、P3dn (2018)、および G4 (2019) インスタンスを作成します。世代を重ねるごとに、GPU を最大限に活用できるように、十分な CPU パワー、メモリ、ネットワーク帯域幅とともに、ますます機能が向上した GPU が組み込まれています。 新しい EC2 P4 インスタンス 今日は、GPU を搭載した新しい P4 インスタンスについてお話したいと思います。これらのインスタンスは、最新の Intel® Cascade Lake プロセッサーを搭載し、最新の NVIDIA A100 Tensor Core GPU を 8 つ搭載しています。各 GPU は NVLink によって他のすべての GPU に接続され、NVIDIA GPUDirect をサポートしています。2.5 […]

Read More

新規 – エンドツーエンドの HTTP/2 および gRPC についての Application Load Balancer のサポート

その効率性と多数のプログラミング言語をサポートしていることから、gRPC はマイクロサービス統合およびクライアント/サーバー通信に人気のある選択肢となっています。gRPC は、HTTP/2 をトランスポートに使用し、インターフェイスを記述するためにプロトコルバッファを使用する、高性能なリモートプロシージャコール (RPC) のフレームワークです。 アプリケーションで gRPC を使用しやすくするために、Application Load Balancer (ALB) は HTTP/2 エンドツーエンドのサポートを開始しました。これにより、単一のロードバランサーを介して gRPC サービスを非 gRPC サービスとともに公開できるようになりました。Amazon Elastic Compute Cloud (EC2) インスタンスまたは IP アドレス (AWS Fargate など) を gRPC ターゲットとして使用し、ターゲットグループの gRPC ヘルスチェックをサポートできます。この方法により、ALB を使用して、マイクロサービス間、または gRPC 対応クライアントとサービス間の gRPC トラフィックの終了、ルーティング、およびロードバランシングを行うことができます。 ALB は、gRPC 呼び出しを検査し、適切なサービスにそれらをルーティングするためのリッチコンテンツベースのルーティング機能を提供します。具体的には、ALB は、gRPC ステータスコード、gRPC リクエスト数のメトリクス、gRPC リクエストを区別するアクセスログ、および gRPC 固有の応答ヘッダーを調べることができるヘルスチェックを提供します。さらに、持続性、さまざまなロードバランシングアルゴリズム、TLS 終了などのネイティブ機能を利用できます。 Application Load Balancer で gRPC を使用する方法 […]

Read More

AWS Nitro Enclaves – 分離された EC2 環境で機密データを処理する

AWS Nitro システムをご紹介したとき、私は次のように説明しました。 Nitro システムはさまざまな方法で組み立てることができる構成ブロックが豊富なコレクションで、コンピューティング、ストレージ、メモリ、ネットワーキングのこれまでにないほど大きな選択肢から EC2 インスタンスタイプを設計し、短期間で提供できる柔軟性をもたらします。 これまで、これらの構成ブロックを活用してこの約束を果たし、インスタンスを開始しました。いくつか例を挙げると、M5、C5、R5、T3、I3、A1、P3dn、z1d、High Memory インスタンスなどです。急拡大しているインスタンスのコレクションは、同様に拡大しているお客様のニーズや要件に対応できるように設計されています。 分離に関する新しい課題 金融サービス、防衛、メディア、エンターテイメント、ライフサイエンスなど、さまざまな業界からの AWS のお客様は、機密性の高いデータを AWS クラウドで日常的に処理しています。その際、社内外の脅威からクラウドを保護する必要があります。また、相互に信頼できない複数のパートナー、ベンダー、顧客、従業員が関与する複雑な状況にも対処する必要があります。今日、お客様は VPC を使用して、制御かつ制限された接続で、制限されたユーザーのみがアクセスできる、高度に分離された環境を構築しています。 Nitro Enclaves 本日より、AWS Nitro Enclaves を開始し、こうした重要なニーズに対処できるようになりました。これを使用して、Nitro システムによって稼働している任意の EC2 インスタンスで、分離された環境を切り出すことができます。Nitro システムでは、同じハードウェアで実行している複数の EC2 インスタンスを既に分離しています。Nitro Enclaves は、単一の「親」EC2 インスタンスの CPU とメモリを分離することでさらに分離し、同じインスタンスで実行している他のユーザーまたはアプリケーションから機密性の高いデータを保護します。環境はセキュアで、親 EC2 インスタンスで実行している他のアプリケーション、ユーザー、処理にはアクセスできません。極めて柔軟性が高く、要求の厳しい本番ワークロードのニーズを満たすように設計されており、分離された環境に割り当てられるメモリ容量と処理能力を完全に制御できます。 EC2 インスタンスごとに 1 つのエンクレーブを作成するためのサポートを開始しました。将来的には、複数のエンクレーブのサポートを追加する予定です。インスタンスのコアの 1 つ(ハイパースレッドプロセッサを使用するインスタンスでは 2 つの vCPU)を除くすべてと、エンクレーブ用メモリのほぼすべてを使用できます。 各エンクレーブは独立したカーネルを実行し、メモリと CPU リソースに排他的にアクセスします。エンクレーブには外部ネットワーク接続も永続的なストレージもなく、(完全な IAM アクセス許可があっても)ユーザーアクセスもありません。エンクレーブに出入りするすべてのデータは、EC2 インスタンスで終了するローカル仮想ソケット (vsock) 接続を介して移動します。 Nitro […]

Read More