Amazon Web Services ブログ

Jeff Barr

Author: Jeff Barr

Jeff Barr is Chief Evangelist for AWS. He started this blog in 2004 and has been writing posts just about non-stop ever since.

新しい Amazon S3 ストレージクラス – Glacier Deep Archive

AWS のお客様の多くは、大量 (大抵の場合ペタバイト以上) の重要データを収集して保存しますが、そのデータにアクセスすることはほとんどありません。raw データを収集してからすぐに処理し、その後万が一さらに処理または分析する必要が生じたときのために数年または数十年にわたって保存しておく場合もあれば、データをコンプライアンスまたは監査目的のために保持する場合もあります。このパターンに当てはまる業界とユースケースには以下のようなものがあります。 金融 – 取引アーカイブ、活動 & 監査ログ、および通信ログ。 ヘルスケア/ライフサイエンス – 電子医療カルテ、医療画像 (レントゲン、MRI、または CT)、遺伝子配列、製剤開発の記録。 メディア & エンターテイメント – メディアアーカイブと未処理の撮影映像。 物理的なセキュリティ – 未処理のカメラ映像。 オンライン広告 – クリックストリームと配信ログ。 交通 – 車両テレメトリ、ビデオ、RADAR、および LIDAR データ。 科学/研究/教育 – 石油および天然ガス探鉱のための振動実験に関連するデータを含む、研究のインプットと結果。 AWS は本日、Amazon S3 で重要な低頻度アクセスのデータを保存するための、新しく、コスト効率性がより高いストレージを導入します。 Amazon S3 Glacier Deep Archive ストレージクラス 新しい Glacier Deep Archive ストレージクラスは、耐久性があり、セキュアな大量のデータ向けの長期ストレージを、オフプレミスのテープアーカイブサービスに負けない価格で提供するよう設計されています。データは 3 つ以上の AWS アベイラビリティゾーンにまたがって保存され、12 時間以内に取りだすことができます。高価で扱いにくいテープドライブに対処し、オフプレミスストレージを手配して、新世代のメディアへのデータの移行について心配する必要はもうありません。 既存の […]

Read More

新機能 – AWS Application Load Balancer 向けの高度なリクエストルーティング

AWS Application Load Balancer は、2016 年の夏以来活躍しています。 これらは、コンテンツベースのルーティングをサポートし、サーバーレスおよびコンテナベースのアプリケーションとも相性がよく、スケーラビリティがきわめて高いロードバランサーです。AWS のお客様の多くが既存のホストおよびパスベースのルーティングを使用して、HTTP や HTTPS アプリケーションを動作させています。同時に、ポート転送 (コンテナベースのアプリケーションには最適)、ヘルスチェック、サービスディスカバリー、リダイレクト、固定レスポンス、組み込み認証といったさまざまな ALB 機能も活用しています。 高度なリクエストルーティング ホストベースのルーティング機能で、ホスト のヘッダーを使用してトラフィックを任意のターゲットグループにルーティングするようにルールを書くことができます。本日より、この機能を拡張、汎用化して、皆さまが標準およびカスタム HTTP ヘッダーとメソッド、クエリ文字列、ソース IP アドレスに基づいてルールを書けるように (その結果、トラフィックをルーティングできるように) なりました。さらに、そのルールと条件もパワフルになりました。ルールは複数の条件 (AND 条件すべて) が設定可能になり、その各条件も複数の値 (OR 条件のいずれか) とのマッチを指定できます。 この新機能で、お使いのアプリケーションアーキテクチャはシンプル化され、ルーティング用のプロキシフリートの必要性がなくなり、望まないトラフィックをロードバランサーでブロックできます。ユースケースをいくつかご覧ください。 ボットやクローラのトラフィックを人的トラフィックから分離する。 顧客または顧客グループをセル (別のターゲットグループ) にアサインし、そのトラフィックをルーティングする。 A/B テストを実施する。 カナリアリリース手法によるデプロイ、またはブルー/グリーンデプロイを実施する。 メソッドベース (たとえば、あるターゲットグループには PUT、別のターゲットグループには GET など) で、マイクロサービスハンドラーにトラフィックをルーティングする。 IP アドレスまたは CDN ベースで、アクセス制限を実行する。 オンプレミスまたはインクラウドのターゲットグループにトラフィックを選択的にルーティングする。 デバイスのさまざまなタイプやカテゴリに、異なるページやユーザーエクスペリエンスを配信する。 高度なリクエストルーティングの使用法 本機能は、現在お使いの Application Load Balancer で既存のルールを編集するだけでご利用になれます。まず、プレーンテキストの固定レスポンスを返すシンプルなルールから始めます […]

Read More

新規 – Amazon Redshift の同時実行スケーリング – 常に最高のパフォーマンス

Amazon Redshift は、エクサバイト規模まで拡張可能なデータウェアハウスです。現在、何万ものAWS 顧客 (NTTドコモ、Finra、Johnson & Johnson を含む) が Redshift を使用してミッションクリティカルな BI ダッシュボードを実行し、リアルタイムのストリーミングデータの分析や、予測分析ジョブを実行しています。 こうした中、ピーク時に同時実行クエリの数が増えると、問題が発生します。多くのビジネスアナリストが BI ダッシュボードに目を向けるようになったり、長期間実行されるデータサイエンスのワークロードが他のワークロードとリソースを奪い合うようになると、Redshift はクラスター内で十分なコンピューティングリソースが利用可能になるまでクエリをキューに入れます。こうすることで、すべての作業は確実に完了しますが、ピーク時にパフォーマンスが影響を受ける可能性があります。次の 2 つの選択肢があります。 ピーク時のニーズに合わせてクラスタをオーバープロビジョニングする。この選択肢は当面の問題は解決しますが、必要以上にリソースとコストを浪費します。 一般的なワークロードに合わせてクラスターを最適化する。この選択肢を採用すると、ピーク時に結果を待つ時間が長くなり、ビジネス上の重要な決定が遅れる可能性があります。 新しい同時実行スケーリング 今回、第 3 の選択肢を提示したいと考えています。必要に応じてクエリ処理能力を追加するように Redshift を設定することができます。これは透過的かつ数秒の短時間で発生し、ワークロードが何百もの同時クエリに増加しても高速で一貫したパフォーマンスを提供します。追加の処理能力は数秒で準備ができるので、事前のウォームアップまたはプロビジョニングは必要ありません。1 秒あたりの請求額で、使用した分だけお支払いいただき、メインクラスターの実行中は 24 時間ごとに 1 時間の同時実行スケーリングクラスターのクレジットが累積されます。余分な処理能力は、不要になった時点で取り除かれるので、前述したバースト性のあるユースケースに対処するのに最適な方法です。 特定のユーザーまたはキューにバーストパワーを割り当てることができ、既存の BI および ETL アプリケーションを引き続き使用することができます。同時実行スケーリングクラスターは、さまざまな形式の読み取り専用クエリを処理するために使用され、柔軟に動作できます。詳細については、同時実行スケーリングを参照してください。 同時実行スケーリングの使用 この機能は、既存のクラスターに対して数分で有効にできます。 テスト目的で新しい Redshift パラメーターグループから始めることをお勧めします。そこで、まず 1 つ作成することから始めます。 次に、クラスターの Workload Management Configuration を編集し、新しいパラメータグループを選択し、[Concurrency Scaling Mode] を [auto] に設定して、[Save] をクリックします。 […]

Read More

新規 – AWS Deep Learning コンテナ

深層学習について学び、アプリケーションでそれを使う方法をできるだけ簡単にしたいと考えています。大規模なデータセットを取り込み、既存のモデルをトレーニングし、新しいモデルを構築して推論を実行する方法を知っていれば、将来のための十分な準備が整います。 新しい深層学習コンテナ 今日は、新しい AWS Deep Learning コンテナについて説明します。こうした Docker イメージは、他のフレームワークと共に、TensorFlow または Apache MXNet を使用した深層学習トレーニングや推論に使用する準備ができています。顧客が Amazon EKS や ECS を使用して TensorFlow ワークロードをクラウドにデプロイしていることを説明し、そうしたタスクをできる限り単純かつ簡単にすることを当社に依頼したのを受けて、これらのコンテナを構築しました。その間、トレーニング時間の短縮と推論性能の向上を目的として、AWS で使用するイメージを最適化しました。 イメージは事前設定および検証済みなので、Amazon ECS、Amazon Elastic Container Service for Kubernetes、Amazon Elastic Compute Cloud (EC2) でのカスタム環境とワークフローの設定が数分で可能であり、深層学習に集中できます。 AWS Marketplace や Elastic Container Registry で見つけて、無料で使用することができます。イメージはそのまま使用することもできますし、追加のライブラリーまたはパッケージを使用してカスタマイズすることもできます。 次の要素に基づく名前の複数の深層学習コンテナを使用できます (すべての組み合わせが使用できるわけではありません)。 フレームワーク – TensorFlow または MXNet。 モード – トレーニングまたは推論。単一ノードまたはマルチノードのクラスターでトレーニングをすることができます。 環境 – CPU または GPU。 […]

Read More

新機能 - Amazon Direct Connect のギガビット接続オプション

AWS Direct Connect を使用することで、データセンター、オフィス、またはコロケーション環境と AWS の間にプライベートネットワーク接続を作成できます。この接続はネットワークから始まり、91 の AWS Direct Connect ロケーションのうちの 1 ロケーションで終了します。インターネットベースの接続よりもネットワークコストを削減することができ、スループットを向上させ、そして一貫性のあるエクスペリエンスを実現できます。多くの場合、接続を確立するために AWS Direct Connect パートナーと協力する必要があります。 これの記事執筆の準備をしていく中で、AWS Direct Connect についての理解が不完全であり、その名前が実際には 3 つの異なるモデルを網羅していることを私は知りました。概要は次のとおりです。 専用の接続は 1 Gbps と 10 Gbps の容量で利用可能です。AWS マネジメントコンソールを使用して接続をリクエストします。その後、AWS はリクエストを確認し、E メールでフォローアップして追加情報をリクエストするか、または接続用のポートをプロビジョニングします。AWS がポートをプロビジョニングしたら、AWS Direct Connect パートナーが接続を行いますが、数日から数週間で完了します。専用の接続は、ご自身専用の物理的な Ethernet ポートに対応します。各専用の接続は最大 50 個の仮想インターフェース (VIF) をサポートします。始めに「接続の作成」をお読みください。 ホスト接続は 50〜500 Mbps の容量で利用可能で、接続リクエストは AWS Direct Connect パートナーを通じて行われます。AWS Direct Connect パートナーがプレミスへのネットワーク回線を確立した後に、ホスト接続を追加または削除することにより、AWS Direct […]

Read More

NVIDIA T4 GPU での Works – EC2 インスタンス (G4)

私は過去に CPU のパワーと価値について書き、CG1、G2、G3、P2、P3、および P3dn インスタンスタイプなどの GPU 対応 EC2 インスタンスの多くの世代をローンチするための投稿を書いてきました。 今日、最新の GPU 対応インスタンスである G4 についての概略を示したいと思います。Machine Learning のトレーニングと推論、ビデオトランスコーディング、およびその他の需要の多いアプリケーションに対して設計された G4インスタンスが、さまざまなサイズで、またベアメタル形式でも利用可能になります。引き続き仕様を微調整していますが、皆さまには期待してお待ちいただけます。 AWS カスタム Intel CPU (4 ~ 96 個の vCPU) 1 ~ 8 個の NVIDIA T4 Tensor Core GPU 最大 384 GiB のメモリ 最大 1.8 TB の高速でローカルな NVMe ストレージ 最大 100 Gbps のネットワーク 真新しい NVIDIA T4 GPU は、320 個の […]

Read More

新登場 – Open Distro for Elasticsearch

Elasticsearch は、分散型ドキュメント指向の検索および分析エンジンです。これは構造化クエリと非構造化クエリをサポートし、事前にスキーマを定義しておく必要がありません。Elasticsearch は検索エンジンとして使用でき、ウェブスケールのログ分析、リアルタイムのアプリケーションモニタリング、およびクリックストリーム分析のために使用されることがよくあります。 元々は真のオープンソースプロジェクトとして開始されましたが、Elasticserach への最近の追加機能はプロプライエタリとなっています。私の同僚である Adrian が、彼の Keeping Open Source Open という記事で、私たちが Open Distro for Elasticsearch を始めた動機について説明しています。オープンソースソフトウェアに強い信念を持つ支持者として、私たちはこのプロジェクトがオープンソースの Elasticsearch イノベーションを促進し続けるために役立つと確信しています。 Open Distro for Elasticsearch 本日、私たちは Open Distro for Elasticsearch をローンチします。これは完全なオープンソース (Apache 2.0 ライセンス) で、AWS にサポートされる、Elasticsearch の付加価値ディストリビューションです。Open Distro for Elasticsearch は、Elasticsearch と Kibana 向けのオープンソースコードを活用します。これはフォークではありません。これらのプロジェクトを発展させるために、私たちは今後も引き続きコントリビューションとパッチをアップストリームに送り続けます。 Elasticsearch と Kibana に加えて、最初のリリースには高度なセキュリティ、イベントモニタリングとアラート、パフォーマンス分析、および SQL クエリの各機能一式が含まれます (詳細については少し後で説明します)。ソースコードリポジトリの他にも、Open Distro for Elasticsearch と Kibana は、SQL […]

Read More

新機能 – FreeRTOS カーネルでの RISC-V のサポート

FreeRTOS は、マイクロコントローラと呼ばれる小型でシンプルなプロセッサ用に設計された定評のあるオペレーティングシステムです。MIT オープンソースライセンスの下で利用可能であり、多くの異なる命令セットアーキテクチャ (ISA) で動作します。Amazon FreeRTOS は、Bluetooth Low Energy、Over-the-Air Updates (無線によるアップデート)、Wi-Fi のサポートを含む追加のネットワーキングおよびセキュリティ機能を提供する IoT 指向のライブラリのコレクションにより FreeRTOS を拡張します。 RISC-V は、シンプルで拡張性があり、実装が容易であるように設計された、無料でオープンな ISA です。RISC-V モデルのシンプルさと許容的な BSD ライセンスの組み合わせは、ライセンスコストをかけずに製造できる低コストのマイクロコントローラを含む、幅広い種類のプロセッサに最適です。RISC-V コアページから分かるように、RISC-V モデルはさまざまな方法で実装できます。シミュレータ、コンパイラ、デバッガなどの開発ツールも利用できます。 本日、FreeRTOS カーネルで RISC-V サポートを提供開始することを発表いたします。カーネルは RISC-V I プロファイル (RV32I と RV64I) をサポートし、任意の RISC-V マイクロコントローラをサポートするように拡張することができます。OpenISA VEGAboard、SiFive の HiFive ボード用の QEMU エミュレータ、Microchip M2GL025 Creative Board 用の Antmicro の Renode エミュレータの事前設定済みのサンプルが含まれています。 これまで以上に費用対効果が高いスマートデバイスを構築するための強力な新しいオプションになります! — Jeff; […]

Read More

新機能 – Amazon Elastic File System (EFS) の低頻度アクセスストレージクラス

Amazon Elastic File System で作成できるペタバイト規模のファイルシステムは、数百数千規模の EC2 インスタンスおよびオンプレミスサーバーからの大量の並列アクセスを処理可能なうえに、アプリケーションを中断させることなくオンデマンドでスケーリングできます。EFS では 2016 年半ばのサービス開始以来、保管および転送時のデータの暗号化、大量のスペースを占有することのないファイルセットに高スループットアクセスが求められる場合に使用できるプロビジョニングされたスループットオプション、AWS Direct Connect 経由のオンプレミスアクセス、EFS File Sync、AWS VPN およびインターリージョン VPC ピアリングのサポートなど、多数の新機能を追加提供してまいりました。 低頻度アクセスストレージクラス 今回は、AWS re:Invent でも予告しましたが、新しい Amazon EFS の低頻度アクセスストレージクラスについてお知らせいたします。EFS ファイルシステムのための新しいライフサイクル管理オプションの一環として、過去 30 日間アクセスされなかったファイルを、料金が 85% 低いストレージクラスに移動させたいと皆さんが意思表示できるようになりました。新しい EFS ファイルシステムを作成すると、ライフサイクル管理を使用できるようになっています。また、本日のローンチの時点とそれ以降に作成されたファイルシステムについてはあとで有効化できます。 新しいストレージクラスは完全に透過的です。ファイルには移動後も必要に応じて通常の方法でアクセスでき、コードまたは運用上の変更は必要ありません。 低頻度アクセスストレージクラスは、監査要件および記録保存要件への準拠、通常のファイル操作で復元可能なニアラインバックアップの作成、不定期ベースでデータでも手もとに置いておきたいようなケースに使用できます。 ここで、留意するべきことがいくつかあります。 対象ファイル – 128 KiB 以上で、少なくとも過去 30 日間にわたってアクセスも変更もないファイルは、新ストレージクラスに移行可能です。ファイルのメタデータの修正はファイル自体の変更ではないため、移行対象となります。 優先度 – 低頻度アクセスへファイルを移行するオペレーションは、ファイルシステム上のほかのオペレーションよりも低い優先度で実行されます。 スループット – ユーザーのファイルシステムがバースティングモードに設定されている場合は、標準クラスのストレージ量でスループットが決まります。設定されていない場合は、プロビジョニングされたスループットが適用されます。 ライフサイクル管理が実現 ライフサイクル管理を有効にして、低頻度アクセスストレージクラスのメリットを享受するにはワンクリックするだけです。 前述の通り、このファイルシステムを作成時にチェックを入れるか、今後作成するファイルシステムについてはあとで有効にできます。 30 日間一度も読み書きされなかったファイルは低頻度アクセスストレージクラスに移行されますが、皆さんのほうでやっていただくことは何もありません。標準アクセスクラスのファイルは 1 […]

Read More

M5、M5d、R5、R5d、および z1d の 5 つの新しい Amazon EC2 ベアメタルインスタンスがご利用いたけるようになりました

本日、AWS は数ヵ月前にお約束した 5 つの新しい EC2 ベアメタルインスタンスの提供を開始します。オペレーティングシステムは基盤となるハードウェア上で実行され、プロセッサおよびその他ハードウェアに直接アクセスできます。これらのインスタンスは、持続的な全コアターボのパフォーマンスを提供する、AWS 向けにカスタマイズされた Intel® Xeon® Scalable Processor (Skylake) プロセッサで駆動します。 仕様は以下のとおりです。 インスタンス名 持続的な全コアターボ 論理プロセッサ メモリ ローカルストレージ EBS最適化帯域幅 ネットワーク帯域幅 m5.metal 最大 3.1 GHz 96 384 GiB – 14 Gbps 25 Gbps m5d.metal 最大 3.1 GHz 96 384 GiB 4 x 900 GB NVMe SSD 14 Gbps 25 Gbps r5.metal 最大 3.1 GHz 96 […]

Read More