Amazon Web Services ブログ

Jeff Barr

Author: Jeff Barr

Jeff Barr is Chief Evangelist for AWS. He started this blog in 2004 and has been writing posts just about non-stop ever since.

新登場 – Open Distro for Elasticsearch

Elasticsearch は、分散型ドキュメント指向の検索および分析エンジンです。これは構造化クエリと非構造化クエリをサポートし、事前にスキーマを定義しておく必要がありません。Elasticsearch は検索エンジンとして使用でき、ウェブスケールのログ分析、リアルタイムのアプリケーションモニタリング、およびクリックストリーム分析のために使用されることがよくあります。 元々は真のオープンソースプロジェクトとして開始されましたが、Elasticserach への最近の追加機能はプロプライエタリとなっています。私の同僚である Adrian が、彼の Keeping Open Source Open という記事で、私たちが Open Distro for Elasticsearch を始めた動機について説明しています。オープンソースソフトウェアに強い信念を持つ支持者として、私たちはこのプロジェクトがオープンソースの Elasticsearch イノベーションを促進し続けるために役立つと確信しています。 Open Distro for Elasticsearch 本日、私たちは Open Distro for Elasticsearch をローンチします。これは完全なオープンソース (Apache 2.0 ライセンス) で、AWS にサポートされる、Elasticsearch の付加価値ディストリビューションです。Open Distro for Elasticsearch は、Elasticsearch と Kibana 向けのオープンソースコードを活用します。これはフォークではありません。これらのプロジェクトを発展させるために、私たちは今後も引き続きコントリビューションとパッチをアップストリームに送り続けます。 Elasticsearch と Kibana に加えて、最初のリリースには高度なセキュリティ、イベントモニタリングとアラート、パフォーマンス分析、および SQL クエリの各機能一式が含まれます (詳細については少し後で説明します)。ソースコードリポジトリの他にも、Open Distro for Elasticsearch と Kibana は、SQL […]

Read More

新機能 – FreeRTOS カーネルでの RISC-V のサポート

FreeRTOS は、マイクロコントローラと呼ばれる小型でシンプルなプロセッサ用に設計された定評のあるオペレーティングシステムです。MIT オープンソースライセンスの下で利用可能であり、多くの異なる命令セットアーキテクチャ (ISA) で動作します。Amazon FreeRTOS は、Bluetooth Low Energy、Over-the-Air Updates (無線によるアップデート)、Wi-Fi のサポートを含む追加のネットワーキングおよびセキュリティ機能を提供する IoT 指向のライブラリのコレクションにより FreeRTOS を拡張します。 RISC-V は、シンプルで拡張性があり、実装が容易であるように設計された、無料でオープンな ISA です。RISC-V モデルのシンプルさと許容的な BSD ライセンスの組み合わせは、ライセンスコストをかけずに製造できる低コストのマイクロコントローラを含む、幅広い種類のプロセッサに最適です。RISC-V コアページから分かるように、RISC-V モデルはさまざまな方法で実装できます。シミュレータ、コンパイラ、デバッガなどの開発ツールも利用できます。 本日、FreeRTOS カーネルで RISC-V サポートを提供開始することを発表いたします。カーネルは RISC-V I プロファイル (RV32I と RV64I) をサポートし、任意の RISC-V マイクロコントローラをサポートするように拡張することができます。OpenISA VEGAboard、SiFive の HiFive ボード用の QEMU エミュレータ、Microchip M2GL025 Creative Board 用の Antmicro の Renode エミュレータの事前設定済みのサンプルが含まれています。 これまで以上に費用対効果が高いスマートデバイスを構築するための強力な新しいオプションになります! — Jeff; […]

Read More

新機能 – Amazon Elastic File System (EFS) の低頻度アクセスストレージクラス

Amazon Elastic File System で作成できるペタバイト規模のファイルシステムは、数百数千規模の EC2 インスタンスおよびオンプレミスサーバーからの大量の並列アクセスを処理可能なうえに、アプリケーションを中断させることなくオンデマンドでスケーリングできます。EFS では 2016 年半ばのサービス開始以来、保管および転送時のデータの暗号化、大量のスペースを占有することのないファイルセットに高スループットアクセスが求められる場合に使用できるプロビジョニングされたスループットオプション、AWS Direct Connect 経由のオンプレミスアクセス、EFS File Sync、AWS VPN およびインターリージョン VPC ピアリングのサポートなど、多数の新機能を追加提供してまいりました。 低頻度アクセスストレージクラス 今回は、AWS re:Invent でも予告しましたが、新しい Amazon EFS の低頻度アクセスストレージクラスについてお知らせいたします。EFS ファイルシステムのための新しいライフサイクル管理オプションの一環として、過去 30 日間アクセスされなかったファイルを、料金が 85% 低いストレージクラスに移動させたいと皆さんが意思表示できるようになりました。新しい EFS ファイルシステムを作成すると、ライフサイクル管理を使用できるようになっています。また、本日のローンチの時点とそれ以降に作成されたファイルシステムについてはあとで有効化できます。 新しいストレージクラスは完全に透過的です。ファイルには移動後も必要に応じて通常の方法でアクセスでき、コードまたは運用上の変更は必要ありません。 低頻度アクセスストレージクラスは、監査要件および記録保存要件への準拠、通常のファイル操作で復元可能なニアラインバックアップの作成、不定期ベースでデータでも手もとに置いておきたいようなケースに使用できます。 ここで、留意するべきことがいくつかあります。 対象ファイル – 128 KiB 以上で、少なくとも過去 30 日間にわたってアクセスも変更もないファイルは、新ストレージクラスに移行可能です。ファイルのメタデータの修正はファイル自体の変更ではないため、移行対象となります。 優先度 – 低頻度アクセスへファイルを移行するオペレーションは、ファイルシステム上のほかのオペレーションよりも低い優先度で実行されます。 スループット – ユーザーのファイルシステムがバースティングモードに設定されている場合は、標準クラスのストレージ量でスループットが決まります。設定されていない場合は、プロビジョニングされたスループットが適用されます。 ライフサイクル管理が実現 ライフサイクル管理を有効にして、低頻度アクセスストレージクラスのメリットを享受するにはワンクリックするだけです。 前述の通り、このファイルシステムを作成時にチェックを入れるか、今後作成するファイルシステムについてはあとで有効にできます。 30 日間一度も読み書きされなかったファイルは低頻度アクセスストレージクラスに移行されますが、皆さんのほうでやっていただくことは何もありません。標準アクセスクラスのファイルは 1 […]

Read More

M5、M5d、R5、R5d、および z1d の 5 つの新しい Amazon EC2 ベアメタルインスタンスがご利用いたけるようになりました

本日、AWS は数ヵ月前にお約束した 5 つの新しい EC2 ベアメタルインスタンスの提供を開始します。オペレーティングシステムは基盤となるハードウェア上で実行され、プロセッサおよびその他ハードウェアに直接アクセスできます。これらのインスタンスは、持続的な全コアターボのパフォーマンスを提供する、AWS 向けにカスタマイズされた Intel® Xeon® Scalable Processor (Skylake) プロセッサで駆動します。 仕様は以下のとおりです。 インスタンス名 持続的な全コアターボ 論理プロセッサ メモリ ローカルストレージ EBS最適化帯域幅 ネットワーク帯域幅 m5.metal 最大 3.1 GHz 96 384 GiB – 14 Gbps 25 Gbps m5d.metal 最大 3.1 GHz 96 384 GiB 4 x 900 GB NVMe SSD 14 Gbps 25 Gbps r5.metal 最大 3.1 GHz 96 […]

Read More

Amazon WorkLink – 内部ウェブサイトとアプリケーションにセキュアなワンクリックでモバイルアクセス

ユーザーとその同僚がモバイルデバイスを使用して社内ウェブサイトとアプリケーションに容易にアクセスできるようにします。当社の目標は、ワークフォースに貴重なインターネットコンテンツへの制御されたアクセスを提供する一方で、強力なセキュリティプロファイルを維持することです。 Amazon WorkLinkを紹介 今回は、Amazon WorkLink について説明したいと考えています。コンテンツを修正したり、移行する必要なく、社内ウェブサイトとアプリケーションにシームレスなアクセスが得られます。Amazon WorkLink は完全に管理された従量制のサービスで、組織のニーズに合わせてスケール自在です。セットアップと実行が容易で、既存のサイトやコンテンツを移行したり、修正したりする必要はありません。モバイルデバイスからアクセス可能なドメインに対して完全なコントロールを取得し、ユーザーベースを管理するために、既存の SAML ベースのアイデンティティプロバイダー (IdP) を使用できます。 Amazon WorkLink は、Virtual Private Cloud (VPC) を通じて社内リソースにアクセスできます。リソースは、その VPC 内 (たとえば、EC2 インスタンスでホストされるアプリケーション)、それとピアリングする別の VPC 内、またオンプレミスに存在することができます。オンプレミスの場合、リソースは IPsec トンネル、AWS Direct Connect、または新しい AWS Transit Gateway 経由でアクセスできなければりません。VPC で実行中のアプリケーションは、AWS ネットワークのすべてのトラフィックを維持しながら、AWS PrivateLink を使用して AWS サービスにアクセスできます。 お客様のユーザーはセキュアで、非侵襲的な閲覧経験が得られます。法人のコンテンツは AWS クラウド 内でレンダリングされ、セキュアな接続を通じて各デバイスに配信されます。今後数週間以内に iOS 12 を実行するデバイスのサポートを、Androind 6+ のサポートで開始します。 Amazon WorkLink の内部 Amazon WorkLink は、作成する各 WorkLink […]

Read More

新機能 – Network Load Balancer の TLS 終端

HTTPS プロトコルを使用してウェブサイトにアクセスすると、安全な通信チャネルを作成および維持するために、(正式には SSL/TLS ハンドシェイクとして知られている)興味深い作業が多く発生します。クライアント(ブラウザ)とウェブサーバーは、暗号に関してお互いの同意を得るために交渉し、キーを交換し、そしてセッションキーを設定するために協力します。確立されると、会話の両端にセッションキーを使用して、それ以降のトラフィックをすべて暗号化および復号化します。セッションキーはクライアントとサーバー間の会話固有のものであるため、第三者がトラフィックを復号化したり会話を妨害したりすることはできません。 新しい TLS の終端処理 今日は、Network Load Balancer で終了される TLS (Transport Layer Security) 接続を利用できるようにすることで、安全なウェブアプリケーションを構築するプロセスを簡略化しています(TLS は HTTPSで「S」を提供すると考えることができます)。これにより、バックエンドのサーバーは、トラフィックをすべて暗号化および復号化するコンピューティング集約型の作業から解放されます。また、その他にも多くの機能や利点を備えています。 ソース IP 保持 – NLB で TLS が終了されている場合でも、ソース IP アドレスとポートはバックエンドサーバーに提示されます。これは、同僚の Colm が言うように、「非常識な魔法」に近いです。 管理の簡素化 – 大規模の TLS を使用するということは、サーバー証明書を各バックエンドのサーバーに配布する責任があることを意味します。これにより、(場合によっては大量のプロキシサーバーを含む)余分な管理作業が発生し、また証明書のコピーが複数存在するため、攻撃対象領域が増大します。今日の発表は、複雑さをすべて取り除き、証明書の中央管理を可能にします。AWS Certificate Manager (ACM) を使用している場合、証明書は安全に保管され、定期的に期限切れとローテーションを管理し、何もしなくても自動的に更新されます。 ゼロデイパッチ – TLS プロトコルは複雑で、新たな脅威に対応するために実装が随時更新されます。NLB で接続を終了すると、バックエンドのサーバーが保護され、これらの脅威に対応する NLB を更新できるようになります。セキュリティを重視し、正式に検証された TLS/SSL プロトコルの実装である s2n を利用します。 コンプライアンスの向上 – 組み込みセキュリティポリシーを使用して、アプリケーションに適した暗号スイートとプロトコルバージョンを指定できます。これはお使いの PCI と […]

Read More

舞台裏のシークレット – AWS re:Invent 2018 の動力となった CenturyLink ネットワーク

長年のブログ読者なら、私が現代世界の大部分を可能にし、それらを動かしている舞台裏そして地下の活動に興味をそそられることをすでに把握しておられるかもしれません。例えば、私は昨年末、どのように AWS クラウドが re:Invent で地下に潜るかについて説明し、re:Invent の参加者と、遠方からキーノートとライブストリーミングをご覧になっていた皆さんに最高の接続性を提供するために使用された、通信およびネットワークインフラストラクチャに関する情報をお伝えしました。 Invent 2018 が過去のものとなり、来年の計画がすでに進められている今日、5 回に渡って re:Invent ネットワークサービスプロバイダーを務めた CenturyLink が、180 Gbps の帯域幅を提供するために AWS Direct Connect を使用する冗長性と回復性を備えたネットワークを設計して構築し、8 つの会場全体で接続された 81,000 個を超えるデバイスをサポートした方法について説明したいと思います。地上では、各会場における ShowNets のカスタムネットワークと WiFi デプロイメントを CenturyLink によって提供されたインフラストラクチャに接続するために、ShowNets と密接に連携しました。 2018 re:Invent のネットワーク 2018 年、このネットワークには、Sands Expo、Wynn Resort、Circus Circus、Mirage、Vdara、Bellagio、Aria、および MGM Grand の各施設を網羅した最新のマルチノードメトロファイバーリングによる、複数の AWS リージョンへの多様なルートが含まれていました。各会場、そして複数の AWS Direct Connect ロケーションに対する 10 Gbps の冗長接続が、優れた可用性を確保にするために使用されました。ネットワークは CenturyLink Cloud Connect Dynamic Connections […]

Read More

AWS Backup – バックアップの自動化と集中管理

AWS を使用すると、ファイルシステム、ブロックストレージボリューム、リレーショナルデータベース、NoSQL データベース、および貴重なデータを保存するその他のリソースを簡単かつ動的に作成できます。必要に応じてすぐに作成し、必要なだけストレージにアクセスできます。これにより、大規模なクラウド移行への扉を開くことができます。機密データをクラウドに移行する際に、ビジネス要件および法令遵守要件を引き続き満たしていることを確認する必要があります。また、間違いなくアプリケーションのエラーから保護されていることを確認する必要があります。 上記の多くのサービスに組み込まれている組み込みのスナップショット操作を使用して、独自のバックアップツールを作成することができます。ただし、企業全体のバックアップ戦略とそれを実装するツールを作成するには、まだ多くの作業が必要です。私たちは変化をもたらすために努めています。 新しい AWS バックアップ AWS Backup は、バックアップの自動化と集中管理を支援するように設計されています。中央コンソールを使用して、ポリシー主導のバックアッププランの作成、進行中のバックアップステータスのモニタリング、コンプライアンスの検証、バックアップの検索または復元をすべて行うことができます。既存の AWS スナップショット操作と新しい専用バックアップ操作の組み合わせ、そして古いバックアップを Amazon Glacier に階層化する機能を使用して、バックアップは EBS ボリューム、EFS ファイルシステム、RDS  データベース、DynamoDB テーブル、および Storage Gateway ボリュームを Amazon Simple Storage Service (S3) にバックアップします。バックアップには Storage Gateway ボリュームのサポートが含まれているため、作成したバックアップに既存のオンプレミスデータを含めることができます。 各バックアッププランには、1 つ以上のバックアップルールが含まれています。ルールは、バックアップスケジュール、頻度、およびバックアップウインドウを表します。バックアップするリソースは、タグを使用して明示的に、またはポリシー主導の方法で識別できます。ライフサイクルルールは、ストレージの階層化と古いバックアップの有効期限を制御します。バックアップは、回復ポイントを定義するコレクションに、一連のスナップショット、そしてスナップショットと共に移動するメタデータを集めます。毎日、毎週、毎月のバックアップ戦略を制御し、重要なデータが要件に従って確実にバックアップされていることを確認し、必要に応じてデータの復元機能を定義することができます。バックアップはボールトにグループ化され、それぞれが KMS キーで暗号化されます。 AWS バックアップの使用 数分で AWS Backup を始められます。AWS Backup コンソールを開き、[バックアッププランの作成] をクリックします。 最初からプランを立てるか、既存のプランから始めるか、または JSON を使用してプランを定義することができます。[新しいプランを立てる] を選択して、プランに名前をつけることから始めてみます。 今度はバックアッププランの最初のルールを作成します。これを MainBackup と呼ぶことにします。毎日実行し、(1 ヵ月後にコールドストレージに移行し、6 ヵ月後に期限切れにする)ライフサイクルを定義し、[デフォルト] ボールトを選択します。 […]

Read More

新規 – Amazon DocumentDB (MongoDB 互換): 高速、スケーラブル、高可用性

AWS データベースのページを見ると、私たちが信じられないほど幅広い種類のデータベースを提供していること、それぞれが特定のニーズに対応するために作られていることが分かるでしょう! 最も素晴らしく、最も強力なアプリケーションを構築するために、リレーショナルデータベース、キーバリューデータベース、インメモリデータベース、グラフデータベース、時系列データベース、台帳データベースを組み合わせることができます。 Amazon DocumentDB (MongoDB 互換) の概要 本日、既存の MongoDB アプリケーションおよびツールと互換であるように設計された、高速、スケーラブル、高可用性のドキュメントデータベース Amazon DocumentDB (MongoDB 互換) を開始します。Amazon DocumentDB は、専用の SSD ベースのストレージレイヤーを使用し、3 つの個別のアベイラビリティーゾーンにわたって 6 のレプリケーションを作成します。このストレージレイヤーは分散型で、耐障害性があり、自己修復型であるため、本稼働規模の MongoDB ワークロードを実行するために必要なパフォーマンス、スケーラビリティ、可用性が得られます。 それぞれの MongoDB データベースには、一連のコレクションが含まれています。それぞれのコレクション (リレーショナルデータベースのテーブルに類似) には、それぞれが JSON に似ている BSON フォーマットである、一連のドキュメントが含まれています。以下に例を挙げます。 { name: “jeff”, full_name: {first: “jeff”, last: “barr”}, title: “VP, AWS Evangelism”, email: “jbarr@amazon.com”, city: “Seattle”, foods: [“chocolate”, “peanut butter”] } […]

Read More

クラウド規模での Western Digital HDD シミュレーション – HPC タスク 250 万件、EC2 スポットインスタンス 4 万個

今月の初めに、同僚の Bala Thekkedath がエクストリームスケール HPC についての記事を公開し、AWS のお客様である Western Digital が AWS でクラウド規模の HPC クラスターを構築し、それを使用して次世代ハードディスクドライブ (HDD) のための将来のヘッドにおける極めて重要な要素をシミュレートした方法について語りました。 この記事で説明されているシミュレーションには 250 万強のタスクが含まれており、その実施は vCPU 100 万個の Amazon EC2 クラスター上でわずか 8 時間で完了しました。Bala がその記事で述べたように、Western Digital でのシミュレーション作業のほとんどが、HDD を包含するテクノロジーとソリューションの異なる組み合わせを評価する必要性を中心に展開されています。エンジニアはその過程において、ますます多くのデータを同じ領域に詰め込むこと、ストレージ容量を改善すること、そして転送速度を向上させることに焦点を当てます。材料、エネルギーレベル、および回転速度の何百万もの組み合わせのシミュレートすることは、Western Digital が最も高い密度と最も速い読み取り/書き込み時間を追求することを可能にし、結果をより迅速に得ることは、より良い判断を行うことを可能にすると共に、新しい製品を以前より速く市場に出すことができるようにします。 以下は、Western Digital のエネルギーによる記録処理が行われる様子を可視化したものです。上の横棒は磁気、中央の横棒は付加されたエネルギー (熱)、そして下の横棒は磁気と熱の組み合わせによって媒体に書き込まれた実際のデータを表しています。 先日、私は記録を塗り替えるこのシミュレーションを実現するために共に取り組んだ私の同僚、Western Digital のチーム、そして Univa に話を聞きました。私の目的は、このシミュレーションのための準備方法についての詳細を解明し、彼らが学んだ事柄を理解して、独自の大規模ジョブを実行する準備が整っている皆さんとそれらを分かち合うことでした。 規模の拡大 約 2 年前、Western Digital チームは、可能な限りコスト効率を良くするために、EC2 スポットインスタンスによって作動する、vCPU 8 万個もの大きさのクラスターを実行していました。クラスターは、8,000 個、1 万 6,000 個、および […]

Read More