Amazon Web Services ブログ

新機能 – キャパシティに関わらずパフォーマンスをプロビジョニングできる Amazon EBS gp3 ボリューム

Amazon Elastic Block Store (EBS) は、あらゆる規模のスループット集約型のワークロードとトランザクションを集中的に使用するワークロードの両方で Amazon EC2 インスタンスとともに使用するために設計された、使いやすく高性能なブロックストレージサービスです。既存の汎用ソリッドステートドライブ (SSD) gp2 ボリュームを使用すると、ストレージキャパシティーに応じてパフォーマンスをスケールできます。より大きなストレージボリュームのサイズをプロビジョニングすることで、アプリケーションの 1 秒あたりの入力/出力オペレーション (IOPS) とスループットを向上させることができます。 ただし、MySQL、Cassandra、Hadoop クラスターなどの一部のアプリケーションは、高パフォーマンスを必要としますが、高キャパシティーストレージは必要としません。お客様は、必要以上のストレージボリュームに料金を支払うことなく、このようなタイプのアプリケーションのパフォーマンス要件を満たすことを望んでいます。 本日は、ストレージキャパシティーに関係なくパフォーマンスをプロビジョニングでき、既存の gp2 ボリュームタイプよりも 20% 低い価格で提供される、新しいタイプの SSD EBS ボリュームである gp3 について説明したいと思います。

Read More

新登場 – アプリケーションのエラーと修正の特定に役立つ Amazon DevOps Guru

本日、完全マネージド型運用サービスの Amazon DevOps Guru を発表します。Amazon DevOps Guru は、運用上の問題を自動的に検出して修正を推奨することで、デベロッパーやオペレーターがアプリケーションの可用性を容易に向上させることができるようにするサービスです。DevOps Guru は、Amazon.com とアマゾン ウェブ サービス (AWS) の長年にわたるオペレーショナルエクセレンスを習得した機械学習を適用し、アプリケーションメトリクス、ログ、イベントなどのデータを自動的に収集および分析し、通常の運用パターンから逸脱した動作を特定します。 動作が運用上の問題またはリスクとして特定されると、DevOps Guru はデベロッパーとオペレーターに問題の詳細を通知し、問題の範囲と原因の可能性を迅速に把握できるようにします。DevOps Guru では問題を解決するためのインテリジェントな推奨事項が提供されるため、解決までにかかる時間を節約できます。DevOps Guru では、ハードウェアやソフトウェアをデプロイする必要はなく、分析されたデータに対してのみ課金されます。前払いコストやコミットメントは発生しません。 分散された/複雑なアーキテクチャとオペレーショナルエクセレンス アプリケーションの分散化と複雑化が進むにつれ、オペレーターはアプリケーションの可用性を維持し、運用上の問題の検出、デバッグ、および解決に費やす時間と労力を削減するために、より自動化されたプラクティスを必要とします。例えば、設定ミス、不均衡なコンテナクラスター、またはリソースの枯渇などによるアプリケーションのダウンタイムは、企業にとって大きな収益損失につながる可能性があります。

Read More

プレビュー開始 – より優れたスループットを提供する、さらに大規模で高速な io2 Block Express EBS ボリューム

Amazon Elastic Block Store (EBS) ボリュームは、2008 年の発売以来、EC2 の必要不可欠なコンポーネントです。現在、特定のユースケースに対応し、指定されたパフォーマンスが得られるように設計された 6 種類の HDD ボリュームおよび SSD ボリュームから選択できます。 今年初めに、以前の io1 ボリュームよりも 100 倍高い耐久性と 10 倍の IOPS/GiB を備えた io2 ボリュームを発売しました。io2 ボリュームは、ハイパフォーマンスでビジネスクリティカルなワークロードなど、I/O 負荷が高くレイテンシーの影響を受けやすいアプリケーションに最適です。 さらに進化 本日から、さらに優れたパフォーマンスを提供する io2 Block Express ボリュームのプレビューを開始します! このボリュームは、AWS Nitro System の一部として実装された高度な通信プロトコルを活用した新しい EBS Block Express アーキテクチャに基づいて構築され、最大 256 K IOPS と 4000 MBps のスループット、最大 64 TiB のボリュームサイズを実現します。すべてミリ秒未満で、低分散 I/O レイテンシーです。スループットは、プロビジョンド IOPS ごとに […]

Read More

AWS Lambda の新機能 – コンテナイメージのサポート

AWS Lambda では、サーバーについて気にすることなくコードをアップロードして実行できます。多くのお客様に Lambda のこの仕組みをご活用いただいていますが、開発ワークフローのためにコンテナツールに投資した場合は、Lambda でのアプリケーションの構築に同じアプローチを使用することが難しくなります。 この問題に対応するため、Lambda 関数を最大 10 GB のコンテナイメージとしてパッケージ化し、デプロイできるようになりました。これにより、機械学習やデータ集約型のワークロードなど、大きな依存関係に頼る大規模なワークロードを簡単に構築してデプロイできます。ZIP アーカイブとしてパッケージ化された関数と同様に、コンテナイメージとしてデプロイされた関数は、同様の操作のシンプルさ、自動スケーリング、高可用性、多数のサービスとのネイティブ統合による恩恵を受けます。 当社では。サポートされているすべての Lambda ランタイム (Python、Node.js、Java、.NET、Go、Ruby) のベースイメージを提供しているため、コードと依存関係を簡単に追加することができます。Amazon Linux ベースのカスタムランタイム用のベースイメージも用意しており、これを拡張して Lambda ランタイム API を実装する独自のランタイムを含めることができます。 Alpine や Debian Linux をベースにしたイメージなど、独自のベースイメージを任意で Lambda にデプロイできます。Lambda を操作するには、これらのイメージに Lambda ランタイム API を実装する必要があります。独自のベースイメージの構築を容易にするため、当社ではサポートされているすべてのランタイムにランタイム API を実装する Lambda Runtime Interface Clients をリリースしています。これらの実装は、ネイティブのパッケージマネージャーを介して利用できるため、イメージ内で簡単に取得でき、オープンソースライセンスを使用してコミュニティと共有されます。 また、Lambda Runtime Interface Emulator をオープンソースとしてリリースします。これにより、コンテナイメージのローカルテストを実行して、Lambda にデプロイした際に実行されることを確認することができます。Lambda Runtime Interface Emulator は、AWS が提供するすべてのベースイメージに含まれており、任意のイメージでも使用できます。 コンテナイメージは、Lambda Extensions […]

Read More

【開催報告】 e コマース業界における フェーズ別 ML/ANALYTICS 活用セミナー

こんにちは!アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクトの石本です。 2020/11/25 に、 e コマース業界におけるフェーズ別 ML/ANALYTICS 活用セミナーを開催いたしました。セミナーの開催報告として、セミナーでご紹介した内容や、当日の資料・収録動画などを公開いたします。 開催の背景 私たちが普段お客様と接する中で、 e コマース事業に必要となる機能が共通的に存在し、多くのお客様の中で課題になっていることを認識しています。 そこで、みなさまの課題やお悩みを迅速に解決し、 e コマースサイトをさらに成長していただくため、 AWS ユーザー様からご相談の多かった機能にフォーカスして、実現方法やソリューション、事例などをご紹介するセミナーを実施しました。セッションでは、 “画像検索、レコメンド・プッシュ通知を用いた広告ソリューション、次世代カスタマーサポート、不適切コンテンツ・不正行動検知、ライブコマース” と、6つの機能群を取り上げております。 セミナーの内容 / 収録動画 / スライド それぞれのセッションでは、お客様が直面されるであろう課題や、昨今よく話題にあがっているトピックにフォーカスして、課題を解決するソリューション、必要となるデータ、実装に向けたステップ、事例などをご紹介しています。各セッションの概要を下記に記載しておりますので、ご関心をお持ちの内容があれば資料もご覧いただれば幸いです。 画像検索ソリューション (SA 半場 光晴) 20201125 EC Solution Seminar Image Search サイトに訪れたエンドユーザが商品検索時に使うだけではなく、“お客様が興味を示した商品の画像“から、”類似する画像の商品“ をレコメンドするためのバックエンド処理として使われるようなユースケースがあります。また実現方法として、画像をそのまま検索するのではなく、検査される画像群の特徴量を抽出して Indexing しておき、検索対象の画像の特徴量を使って検索する手法をとること、またそれらをサポートする MobileNet や Faiss などの OSS フレームワークが存在することや、 Amazon Elasticsearch Service との連携など、 AWS 上での実現方法を説明しました。 レコメンド・プッシュ通知を用いた広告ソリューション (SA 黄 光川, […]

Read More

新機能 – Amazon S3 Replication が複数の宛先バケットのサポートを開始しました

Amazon Simple Storage Service (S3) は、2019 年にローンチされた S3 Same-Region Replication (SRR)、および 2015 年から利用され続けている S3 Cross-Region Replication (CRR) などの数多くのレプリケーションタイプをサポートします。本日、AWS は複数の宛先バケットに対する S3 Replication のサポートを発表します。これにより、S3 Replication は、1 つのソースバケットから複数の宛先バケットにデータをレプリケートできるようになりました。S3 Replication (複数宛先) を使用すると、同じ AWS リージョン内のデータの場合は S3 SRR、異なる AWS リージョンにまたがるデータの場合は S3 CRR を使用してデータをレプリケートでき、これらの組み合わせを使用することもできます。 このローンチまでは、異なる S3 バケットにあるデータの複数のコピーを作成する必要がある場合、S3 イベントを監視し、作成されたオブジェクトを識別して、各宛先バケットにオブジェクトをコピーするための AWS Lambda 関数を使用することによって、独自の S3 Replication サービスを構築しなければなりませんでした。 このローンチによって、複数の宛先全体へのデータのレプリケーションに独自のソリューションを開発する必要がなくなります。S3 Replication (複数宛先) の柔軟性は、用途に応じて異なるストレージクラス、異なる暗号化タイプ、または異なるアカウント全体でデータの複数のコピーを保存するために利用できます。さらに、複数の宛先にレプリケートするときは、CloudWatch メトリクスを使用して各リージョンペアのレプリケーションの進行状況を追跡できます。 S3 Replication (複数宛先) […]

Read More

Amazon S3 アップデート – 強力な書き込み後の読み取り整合性

2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要するに、PUT などのデータを格納または変更する S3 API 関数を呼び出した後には、データが受け入れられ、永続的に保存されたものの、まだどの GET または LIST リクエストも参照できない短い期間があるということです。これは、以下の図のようになります。 S3 のこの側面は、書き込み直後に最新のデータにアクセスする必要があるビッグデータワークロード (そのほとんどが Amazon EMR を使用) とデータレイクにとって極めて困難なものになり得ます。お客様がクラウドでビッグデータワークロードを実行できるようにするため、Amazon EMR は EMRFS Consistent View、およびオープンソースの Hadoop デベロッパーは S3Guard を構築して、これらのアプリケーションに強力な整合性レイヤーを提供しました。 S3 の整合性が強力になりました 前置きが長くなってしまいましたが、良いニュースをいくつかお知らせしたいと思います! 本日から、S3 の GET、PUT、LIST 操作のすべて、およびオブジェクトタグ、ACL、またはメタデータを変更する操作に強力な整合性が適用されます。書き込む内容をすぐさま読み取ることができるようになり、LIST の結果はバケットの内容を正確に反映するようになります。これは、既存および新規の S3 オブジェクトすべてに適用され、全リージョンで機能し、追加料金なしでご利用いただけます! パフォーマンスへの影響はなく、必要に応じてオブジェクトを毎秒何百回でも更新でき、グローバルな依存関係はありません。 この改善はデータレイクにとってすばらしいメリットですが、他のアプリケーションタイプにもメリットがあります。強力な整合性を備えた S3 により、オンプレミスワークロードの移行と AWS へのストレージもこれまで以上に容易になります。 私たちは、お客様がそれぞれのビッグデータワークロードでこの更新を活用できることを確実にするため、Amazon […]

Read More
Amazon ECS Anywhere のご紹介

Amazon ECS Anywhere のご紹介

この記事は、Introducing Amazon ECS Anywhere を翻訳したものです。 2014 年、AWS は EC2 インスタンス上で稼働する様々な規模のコンテナの管理を簡潔にするために Amazon Elastic Container Service (Amazon ECS) を発表しました。Amazon ECS の採用が増えるにつれて、お客様は「Undifferentiated Heavy Lifting」(差別化につながらない重労働) である、コンテナを実行するための EC2 インスタンスの管理を取り除くという新しい問題に対応していました 。そして 2018 年、AWS はコンテナを実行するためのインフラストラクチャの管理が不要なサーバーレスプラットフォームである AWS Fargate を発表しました。 この 2 年間、お客様は Amazon ECS を利用したコンテナのデプロイが、より多くの場所で行える柔軟性を求めていました。AWS リージョンの外部で、他の連携するサービスの近くでアプリケーションを実行するようなユースケースが増えていました。2019 年と 2020 年に、AWS は Amazon ECS のタスクを AWS リージョンの外部で実行可能にするオプションに関する一連の発表を行いました。AWS Outposts は、AWS が所有・管理するハードウェアを利用して、AWS のインフラストラクチャ、サービス、API、そしてツールをお客様のオンプレミス環境に拡張します。AWS Wavelength と AWS Local […]

Read More

AWSが支えるCOVID-19との闘い③─刻々と変わる可視化ニーズをAWSクラウドでどう実現したか?― IQVIAジャパンに訊くELT処理・BIダッシュボードの実装・運用

全4回に渡ってお届けする連載ブログ「AWSが支えるCOVID-19との闘い」。前回に引き続き、第3回では、システム実装を担当したIQVIAジャパン様に実装の工夫、AWSクラウドによるサーバーレスな実装の詳細についてご説明いただきます。 プロジェクトへの参画と難局打開を志すデータサイエンティストによるチーム結成 「LINEパーソナルサポートに集積された情報を解析して都道府県にフィードバックしたいが、これを手伝ってもらうことは可能か?」と宮田先生から電話いただいたのは土曜の朝でした。新型コロナウィルスという難局の打開に貢献したいと思っていた矢先だったので即決で快諾しました。 すぐに社内のデータサイエンティストや技術者に声をかけたところ、休日だったにも関わらず、皆から参加表明の返信があったのに感動したのを覚えています。 まずは都道府県へのフィードバック内容を決める必要があったので、慶應義塾大学の先生方と打ち合わせを繰り返しながら、フィードバックレポートのイメージ(図1参照)を数日で作り上げました。 図1:実装前の議論に利用したフィードバックレポートの提案資料 当初は週単位でのレポートでのフィードバックを想定していましたが、陽性患者数が急増するという切迫した状況だったため、「日単位での更新」「都道府県のユーザーによる自由解析」が望ましいというのが関係者の総意となりました。 そこで、IQVIAジャパンは医療ビッグデータの解析ツールを多く開発していたので、そのノウハウを活かしたBIツールによるダッシュボード開発を慶應義塾大学に提案し、その方針について快諾いただいたところから開発が始まりました。 各都道府県に迅速に展開できるBIツール/ダッシュボードの選定 開発にあたってまず決断しなければならなかったのは、各都道府県に公開するダッシュボードを何で作るか、ということでした。社内に豊富なナレッジが蓄積されたBIツールを中心に検討していたところ、AWS に造詣の深い部門からAmazon QuickSight (WEB/ブラウザベースのクラウド駆動の高速なビジネスインテリジェンスサービス)の機能および、SPICE (インメモリ計算エンジン) によるパフォーマンス向上について情報共有をしてもらったことをきっかけに、QuickSight に興味を持つようになりました。データ処理基盤と同じプラットフォームのサービスの一つとして運用できる点にも魅力があり、プロトタイピングという位置づけで QuickSight を使ったレポートを作り始めました。 実際に作業を始めてみると、Web ベースでありながら、動作はデスクトップのソフトウェアと同じくらい軽快で、操作結果がリアルタイムにフィードバックされるので、開発効率という観点では嬉しい驚きでした。また、ダッシュボード、チャート、フィルタなどの機能は他の BI ツールと遜色なく、一部の複雑なビジュアルを除いて機能面で困ることはありませんでした。このため、当初想定していたよりも形になるスピードが速く、また各方面からのフィードバックが良かったこともあって、QuickSight で開発を維持することに決めた、という経緯がありました。 都道府県の担当者の方々からは、公開当初から「直感的で分かりやすい」というフィードバックをいただいていました(図2参照)。アマゾン ウェブ サービス ジャパンのコンサルタントから、QuickSight 自体、ユーザーが直感的・探索的に操作できることを重視してデザインしていると伺いましたが、今回はこのデザインポリシーがうまく機能した好例と言えます。 この分かりやすさを最大化するため、表示する内容にもこだわりました。1つのダッシュボードに掲載する情報を都度十分に吟味し、回答者数・有症率・推定感染率という指標を、デモグラフィック・時系列・地理の3つの観点に分類して表示することで、1つ1つのダッシュボードが明確なメッセージを提供するようになっています。 図2:Quicksightにより各都道府県の担当者へ提供したダッシュボード(サンプル) 一方、各都道府県が他県のデータが見られないようにしたい、というセキュリティ要件もありました。これについては QuicksightのRLS機能(Row-Level Security:行レベルセキュリティ)や QuickSight の動的パラメータ機能を使うことで実現でき、わずか数クリックの設定だけで実装できるため、優位性がある機能だと思います。 ビジュアル面では、プリセットされたテーマの中から「Midnight」を選択し、ダークネイビーをバックにネオン系のアクセントカラーという今風のテーマのおかげで、デザイナーが設計したかのようなモダンなダッシュボードを数クリックで作ることができました。 ダッシュボードの裏側のデータ処理は、データの規模や開発効率、運用のしやすさを考慮して、Amazon Relational Database Service(RDS)(クラウド上で稼働するリレーショナルデータベース) を使用した SQL ベースの ELT処理 (Extract:抽出、 Load:書き出し、Transform:変換 )で実装し始めました。33都道府県向け(11月末時点:自治体や省庁の公式アカウント一覧)のダッシュボードに必要な機能のうち、実に3分の2を、ボランティアの開発者2~3名と少ないメンバーでかつ、開始から2ヶ月というスピードで提供できたのは、QuickSight のWEBベースで開発/共有できる使い勝手の良さとインメモリエンジンSPICEによる動作の軽さ、形にこだわらず結果を出力し、先生方のフィードバックをすぐに反映する事を優先した実装メンバーの方式選択の賜物と言えます。ただ、その裏でバッチ処理のコントロールはすべて手動で行っていました。想定外のデータの混入によるエラーなどで開発者が夜間や土日を使ってサポートしていたこともあり、その負担の軽減が大きな課題でした。 運用負荷低減やユーザニーズへの柔軟な対応の為にサーバーレスアーキテクチャへ移行 開発がひと段落したところ見計らって、AWS の Solution Architect にアドバイスをいただきながら、AWS Step […]

Read More

EC2 更新 – D3/D3en 高密度ストレージインスタンス

2012 年の HS1 や 2015 年の D2 を含む、高密度ストレージを持つ EC2 インスタンスを数世代立ち上げてきました。この名前から推測できるように、お客様は、データウェアハウス、データレイク、ネットワークファイルシステム、Hadoop クラスターなどに、非常に経済的なオンインスタンスストレージを大量に必要とする場合に、これらのインスタンスを利用しています。このようなワークロードには、大量の I/O とネットワークスループットが必要ですが、コンピューティング能力に対するストレージ比率が高いと正常に動作します。 新しい D3 インスタンスおよび D3en インスタンス 本日、D3 インスタンスおよび D3en インスタンスをローンチします。以前のインスタンスと同様に、これらのインスタンスにより、大量の低コストオンインスタンス HDD ストレージにアクセスできます。D3 インスタンスには 4 つのサイズがあり、最大 32 個の vCPU と 48 TB のストレージを利用できます。仕様は以下のとおりです。 インスタンス名 vCPU RAM HDD ストレージ ディスクスループットの総計 (128 KiB ブロック) ネットワーク帯域幅 EBS 最適化帯域幅 d3.xlarge 4 32 GiB 6 TB (3 x 2 […]

Read More