Amazon Web Services ブログ

Category: AWS re:Invent

新発表 – Amazon FSx for Lustre

ペタバイト(PiB – 1,125,899,906,842,624 バイト)は驚異的なデータ量であり、ヒトの脳の記憶容量見積もりの半分近くに相当するほどです。データレイクや、HPC(High performance Computing)、EDA(Electronic Design Automation) といったアプリケーションは伝統的にこのようなスケールに対応する必要があり、更に近年では機械学習やメディア処理といったデータインテンシブなアプリケーションも加わっています。 Amazon FSx for Lustre 本日(2018年11月28日)私達は、このような今まで夢見ていたような需要に答えるため、Amazon FSx for Lustreをローンチいたしました。Amazon FSx for Lustreは、著名かつ成熟したオープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。 このサービスでは、数分でファイルシステムを作成し、すぐにでも多数のクライアントからマウントして利用を開始することが可能です。また、完全マネージド型のサービスのため、管理や保守に手間をかける必要はありません。さらにこのサービスでは一時的な用途のスタンドアローンなファイルシステムを作成するだけでなく、S3のバケットとシームレスに接続してコンテンツがLustreファイルシステム上にあるかのようにアクセスすることも可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 MBpsのスループット、10,000 IOPSを発揮できるようにデザインされています。

Read More

Amazon ECR をソースとしてコンテナイメージの継続的デリバリパイプラインを構築する

本日(11/28)、Amazon Elastic Container Registry (Amazon ECR) を AWS CodePipline のソースプロバイダとして利用可能になりました。これにより Amazon ECR に新しいイメージをアップロードすることにより、AWS CodePipelineを起動することができるようになります。AWS Developer Tools による CI/CD 実現が一段と容易になりました。 Amazon ECR をソースとして使うには、AWS CodePipline コンソールでAWS CodeDeploy による Blue/Green デプロイメントを実装している必要があります。CodePipelineを使わず、Amazon Elastic Container Service (Amazon ECS) コンソールを使って Blue/Green デプロイメントを実装するより詳しい情報については、AWS CodeDeploy による AWS Fargate と Amazon ECS でのBlue/Greenデプロイメントの実装を参照してください。 この投稿では Amazon ECR とAWS CodePipeline を使用してエンドツーエンドの継続的デリバリ (CD) パイプラインを構築する方法について解説します。ここではアップストリームのベースイメージが更新されたらコンテナイメージを更新ためのパイプラインを作る一連の流れを説明します。

Read More

新発表 – すべてのアプリケーションに可用性とパフォーマンスの向上を提供するAWS Global Accelerator

以前、法規制等によりユーザデータを地理的に分離してデータ主権法を遵守する必要がある分野で働いていた経験から、私は複数の国に展開されたインフラストラクチャを必要とするグローバルワークロードを実行することの複雑さを証明することができます。可用性、パフォーマンス、そしてフェイルオーバーなどすべての要素はヤクの毛をかる(モグラ叩きのように次から次に問題が発生して切りがないという意味)ような果てしない作業になります(まるであなたが過去にデータセンターを拡張したように)。お客様は我々に複数のリージョンでオペレーションを行う必要があると言います。それは可用性のためである場合もあれば性能のためでもあり、規制に対応するためである場合もあります。ワークロードをAWS CloudFormationでテンプレート化し、Amazon DynamoDB Global Tableを使うことでデータベースをレプリケーションできること。そして、AWS SAMを使ってサーバレスのワークロードをデプロイできることについてはとても満足いただいています。これらの作業の実施は短時間で実行することができるとともに、グローバルな体験を顧客に対して提供することができます。また、お客様には地理的な隔離により、AWSがblast radiusすなわち問題の地理的連鎖の排除が実現でき、その結果として可用性が向上することについても満足を頂いています。しかし一方で、お客様はアプリケーションの部分においてもう少し有効な機能を提供することを望まれています。

Read More

新発表 – 映像伝送の安定性を向上し機能拡張するAWS Elemental MediaConnect

AWS入社前、私はスポーツテレビチャンネルを所有し配信していた会社に勤めていました。数十箇所の拠点からのスポーツフィードを1つのチャンネルに集約して24時間配信をしておりました。 この規模の放送グレードのネットワークを運用するためのインフラストラクチャとロジスティクスは膨大であり、運用保守が困難であり高コストでした。 これは一部の地域や組織の問題ではなく、メディア企業は独自のネットワークインフラストラクチャで同様の課題に直面しています。 非都市部からの映像フィードを衛星通信経由で統合し、信頼性と放送機能を維持しながら映像信号を複数の地域や国に配信する事は難しい課題であり設備投資も必要でした。   Introducing AWS Elemental MediaConnect AWS Elemental MediaConnectはメディア企業がライブビデオをクラウドに確実に取り込む事ができ、AWSグローバルネットワークを通じて複数の宛先へ安全に送信できる新しいAWS Elementalサービスです。 AWS Elemental MediaConnectは衛星伝送で慣れ親しんだ信頼性、セキュリティ、可視性をお客様に提供します。柔軟性とコスト最適化はインターネットベースの伝送でのみ可能です。ローカルのスポーツイベントを扱う小規模のビデオ制作者から、複数の24時間365日のテレビチャンネルを持つ全国放送のテレビネットワーク、AWSクラウド以外のソース(スポーツ施設やテレビスタジオなど)からコンテンツを確実に取り込むことができます。放送局グレードの信頼性と運用上の可視性を備え複数の宛先へ安全に映像信号を伝送します。これらの目的地は、お客様独自のAWSベースのビデオ処理システムまたはインターネット上のサービスを指定することができます。   What you need to know: Broadcast Reliability – AWS Elemental MediaConnectは信頼性の高い放送局グレードの基準を満たすように設計されており、ジッタとバッファリングを削減するように最適化されています。そしてビデオプロフェッショナルが使用するビデオ伝送プロトコル(RTP、FEC付きRTP、Zixiプロトコルなど)に対応することで、信頼性を確保します。AWS Elemental MediaConnectは低レイテンシ、高帯域幅のAWSグローバルネットワークを使用して、AWSリージョン間で映像信号を伝送および複製します。 Industry-Grade Security – AWS Elemental MediaConnectはメディア企業のセキュリティ要件をサポートします。 AES-256暗号化を使用してストリームを暗号化するオプションを提供し、AWS Secrets Managerを用いて鍵を安全に保管します。 併せて複製機能を用いて、お客様はAWS内外の複数の関係会社様へコンテンツを安全に伝送できます。 Visibility & Operations  – 最後にAWS Elemental MediaConnectはお客様に映像信号の健全性を可視化します。サービス品質(QoS)アラーム、及びリアルタイム信号チェックを組み合わせミッションクリティカルな映像信号の健全性を 追加設定なしで確認できます。さらにAWS Elemental MediaConnectは他のAWS Media ServicesやCloudWatchと統合されており、ダッシュボードの作成やアラームの作成が容易です。 AWS Elemental MediaConnect in […]

Read More

新機能 – AWS MarketplaceにてPrivate Marketplaceによりソフトウェア入手の管理がより簡単になりました

6年以上前、私たちはビジネスを動かすのに必要なソフトウェアアプリケーションやインフラストラクチャをユーザに提供するという大きな目標のもと、AWS Marketplaceをラウンチしました。今日、200,000を超えるAWSのアクティブなお客様がAWS Marketplaceにあるセキュリティやデータおよび分析、ログ分析や機械学習などのカテゴリからソフトウェアを使用しています。これらのお客様はAWS Marketplaceにある製品を使うためにAmazon EC2を1カ月に6億5千万時間以上使用しており、95万を超えるアクティブなソフトウェアの購読がされています。AWS Marketplaceでは、 35カテゴリと1400以上の独立ソフトウェアベンダー(ISV)から提供される4500以上のソフトウェアを提供することで、さまざまなステージで、クラウドジャーニーのお手伝いをしています。 お客様は私たちにAWS Marketplaceが提供するフレキシビリティやさまざまなオプションを気に入っていると教えてくれてました。本日、Private MarketplaceのラウンチによりAWS Marketplaceに対して、より一層のフレキシビリティを提供することをアナウンスします。

Read More

新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析

多くのAWSサービスがログを生成します。すぐに思いつくものだけで VPC Flow ログ、Route 53 ログ、Lambda ログ、CloudTail ログ (AWS API 呼び出しのログ)、RDS ログ、IoT ログ、ECS ログ、API Gateway ログ、S3 サーバーアクセス ログ、EC2 インスタンスログ (CloudWatch Agent 経由)があります。EC2インスタンスの上で動くサービス(Apache、Tomcat、NGINXなど)もログを生成します。そしてあなたのアプリケーションコードもおそらく同じでしょう。 それらのログに含まれる、データ、パターン、傾向、洞察により、あなたのアプリケーションや AWS リソースの、振る舞い、改善すべき点、運用上の問題の検出が可能になります。しかし、いつものことですが落とし穴があります。フォーマットやデータ要素数が多様化し、生ログデータサイズが増加することで分析は困難になります。個別の AWS 利用者が定常的に100テラバイト以上のログファイルを毎日生成した場合、find や grepといった従来のツールではもはや分析することはできません。 CloudWatch Logs Insights 新しいサービス CloudWatch Logs Insights がお役に立ちます。これはクラウドスケールで動作するよう設計され、セットアップやメンテナンスが不要なフルマネージドのサービスです。これは大量のログを数秒で走査し、インタラクティブなクエリの実行と可視化を提供します。あらゆるログフォーマットや、JSON ログから自動検出したフィールドを扱えます。使ってみると分かるように、これは大変フレキシブルであり、ログを調査するためのお気に入りのツールの一つになるでしょう。

Read More

新機能 – Amazon Comprehend Medical – ヘルスケア業界のお客様のための自然言語処理

私は胃腸科医と皮膚科医の息子で、解剖学的構造、手術手順、投薬名、またそれらの略語など、複雑な医学用語が飛び交う、専門外には理解できない会話を聞きながら育ちました。好奇心を抱いた子供にとってこの経験はとても魅惑的で、両親がある種の魔法使いのようなものなのか、またはとってもちんぷんかんぷんなことを言っているのか、と不思議に思っていました。 このような理由から、Amazon Comprehend の拡張版である、ヘルスケア業界のお客様向けの Amazon Comprehend Medical をご紹介できることは、とても嬉しく思います。   Amazon Comprehend の簡単な振り返り Amazon Comprehend は、昨年の AWS re:Invent でローンチされたものです。簡単にいうと、言語検出、エンティティのカテゴリ分類、感情分析、キーフレーズ抽出などの、シンプルなリアルタイム API を提供する自然言語処理サービスです。さらに、テキストドキュメントを自動的に整理する、教師なし学習である「Topic modeling」もお使いいただけます。

Read More

Firecracker – サーバーレスコンピューティングのための軽量な仮想化機能

私の好きなAmazonリーダーシッププリンシプルの1つはCustomer Obsessionです。 私たちがAWS Lambdaをローンチしたとき、私たちは開発者にセキュアなサーバーレス体験を提供し、インフラストラクチャの管理を避けることに重点を置いていました。 目的のレベルの分離を達成するために、我々は各顧客に専用のEC2インスタンスを使用しました。 このアプローチにより、私たちはセキュリティ目標を達成することができましたが、私たちがLambdaを裏で管理する方法に関していくつかのトレードオフを余儀なくされました。 また、新しいAWSサービスの場合と同様に、顧客がLambdaをどのように使用するのか、あるいはサーバーレスモデル全体をどのように考えているのかもわかりませんでした。 私たちの計画は、時間の経過とともにバックエンドをより効率的にすると同時に、優れたカスタマーエクスペリエンスを提供することに重点を置くことでした。 ちょうど4年後 (Lambdaはre:Invent 2014でローンチされました)、サーバーレスモデルが普及したことは明らかです。 現在Lambdaは毎月何十万人ものアクティブな顧客に対して数兆件の処理を実行しています。 昨年、我々はAWS Fargateのローンチによりサーバーレスの利点をコンテナにまで拡張し、毎週AWSの顧客に数千万のコンテナを提供しています。 私たちの顧客がサーバーレスでの採用を進める中で、効率の問題を再検討する時が来ました。 Invent and Simplifyの原則を念頭に置いて、今のコンテナやファンクションの世界のための設計として仮想マシンがどのように見えるのか自分自身に尋ねました。 Firecrackerの紹介 本日、KVMを利用する新しい仮想化技術であるFirecrackerについてお話したいと思います。 仮想化されていない環境では、軽量のマイクロ仮想マシン(microVM)を数秒で起動することができ、従来のVMで提供されているセキュリティとワークロードの分離と、コンテナに伴うリソース効率性を向上しています。 Firecrackerについて知っておくべきことは次のとおりです: セキュア – これは常に最優先事項です! Firecrackerは複数レベルの分離と保護を使用し、攻撃面は最小限に抑えられています。 ハイパフォーマンス – 今日時点でわずか125ミリ秒 (さらに2019年に高速化予定) でmicroVMを立ち上げることができ、一時的なものや短命のものを含む多くの種類のワークロードに最適です。 Battle-Tested – FirecrackerはBattle-Testedであり、既にAWS LambdaとAWS Fargateを含む複数のハイボリュームなAWSサービスに利用されています。 低オーバーヘッド – Firecrackerは、microVMあたり約5 MiBのメモリを消費します。 同じインスタンス上で、さまざまなvCPUとメモリ構成を持つ数千のセキュアなVMを実行できます。 オープンソース – Firecrackerはアクティブなオープンソースプロジェクトです。私たちはすでにpullリクエストを確認して受け入れる準備を完了しており、世界中の寄稿者とのコラボレーションを楽しみにしています。 Firecrackerは最小限主義の流儀で造られました。 私たちはオーバーヘッドを減らし安全なマルチテナンシーを可能にするために、crosvmからスタートし、最小限のデバイスモデルを設定しました。 FirecrackerはRustで書かれており、その最新のプログラミング言語はスレッドの安全性を保証し、セキュリティの脆弱性を引き起こす可能性があるさまざまなタイプのバッファオーバーランエラーを防止します。 Firecrackerのセキュリティ 前述のように、Firecrackerには多数のセキュリティ機能が組み込まれています! ここに部分的なリストがあります: Simple Guest Model – Firecrackerのゲストには、ネットワークデバイス、ブロックI […]

Read More

新機能 – 100Gbpsのネットワーク帯域に対応するC5nインスタンス

私たちは昨年、強力なコンピューティング集約型のC5インスタンスを立ち上げ、今年初めにはローカルNVMeストレージを追加したC5dインスタンスをフォローアップしました。 どちらのインスタンスもAWS Nitroシステム上に構築されており、AWSカスタムの3.0Ghz Intel Xeon Platinum 8000シリーズプロセッサを搭載しています。 それはバッチ処理、分散解析、ハイパフォーマンスコンピューティング(HPC)、広告配信、ハイスケーラブルなマルチプレーヤゲーミング、ビデオエンコーディングなどのコンピューティング重視のアプリケーション用に設計されています。 新しい100 Gbpsのネットワーク 本日私たちはさらに強力な変種であるC5nのインスタンスを追加しました。 最大100 Gbpsのネットワーク帯域幅で、シミュレーション、インメモリキャッシュ、データレイク、その他の通信集約型アプリケーションがこれまで以上に優れたパフォーマンスを発揮します。 スペックは以下の通りです: Instance Name vCPUs RAM EBS Bandwidth Network Bandwidth c5n.large 2 5.25 GiB Up to 3.5 Gbps Up to 25 Gbps c5n.xlarge 4 10.5 GiB Up to 3.5 Gbps Up to 25 Gbps c5n.2xlarge 8 21 GiB Up to 3.5 Gbps Up […]

Read More

新発表 – AWS DataSync – 自動化・高速化されたデータ転送

これまで多くの AWS のお客様から AWS Cloud の内外へ大量のデータを移動させる必要があると言われてきました。そのユースケースには以下のものが挙げられます : Migration – 常に変化し続ける大きなデータセットをお持ちのお客様もいます。一度限りの転送を行うため、中断や停止は許されません。 Upload & Process – クラウド上で処理するために大規模データセットをオンプレミスで定期的に生成するお客様もいます。これには Media & Entertainment 業界や Oil & Gas 業界、Life Science 業界の我々のお客様があげられます。 Backup / DR – 最後に、オンプレミス上の貴重なデータを災害対策やビジネス継続性のためにクラウドにコピーするお客様もいます。 これらのお客様は大規模データで利用しています。数十 TB から数百 TB の一度限りや定期的な転送は日常的に行われています。この規模では、ネットワーク帯域を効果的に使用し、高いスループットを得ることは必要不可欠で、信頼性やセキュリティ、使い勝手の良さも同様に重要です。 Introducing AWS DataSync 今日、我々のデータ転送サービスのポートフォリオに AWS DataSync が加わりました。AWS Snowball, AWS Snowmobile, Kinesis Data Firehose, S3 Transfer Acceleration, AWS Storage Gateway に加わる […]

Read More