Amazon Web Services ブログ

Category: News

Amazon DynamoDB On-Demand – 事前のキャパシティプランニングが不要のリクエスト課金が可能になりました。

少し前まで、あなたのビジネスに合わせていつでもスケールし安定した低いレイテンシを提供するデータベースを作成することは困難でした。2012年にWerner VogelsがpostしたブログでAmazon DynamoDBがアナウンスされました。(これは私がAWSに入る数ヶ月前の事でした。)DynamoDBは2007年にAmazonが公表したDynamoの論文に基づいて設計されています。それから数年、多くの新機能がAWSの顧客が利用するデータベースを更に簡略化するために導入されました。今、フルマネージドかつマルチリージョン、マルチマスターデータベースとencryption at rest、point-in-time recovery、in-memory cachingなどの機能、そして99.99%のuptime SLAを提供しています。 Amazon DynamoDB On-Demand 今日我々はAmazon DynamoDB on-demand、事前のキャパシティプランニングが不要で1秒あたり数千リクエストのトラフィックにも対応が出来るフレキシブルな課金を実現する新しいオプションを案内します。DynamoDB on-demandはシンプルなpay-per-request課金モデルを提供しreadリクエストとwriteリクエストを使った分に応じて支払うだけになります。これによりシンプルなコスト計算とパフォーマンス管理を実現します。例えばtableにon-demanmd modeを適用すると、DynamoDBは即座に対応しワークロードに応じて以前に観測されたトラフィックレベルまで処理できるようにパフォーマンスを調整します。また新たなピークトラフィックが観測されたときはDynamoDBはワークロードに対応するために迅速に適応します。(翻訳者注: DynamoDBは内部的にパーテーションという概念で負荷を分散します。そのため一度拡張されたテーブルは内部的に何もしなくても拡張された状態を維持している事と、新たな負荷が発生したときも自動的に拡張して対応します。) DynamoDBのコンソールを見るとon-demand read/wriite capacity modeが新規テーブル作成時と既存テーブルのCapacityタブに追加されている事が確認出来ます。 on-demand modeを適用したTableは全てのDynamoDBの機能がサポートされ(例としてencryption at rest、point-in-time recovery、global tablesなど)、例外としてauto scalingはこのmodeでは無効になります。 on-demand modeが有効な状態でセカンダリインデックスを構築した場合も同じスケーラビリティと課金モデルが適用されます。セカンダリインデックスへも使った分だけお支払い頂き事前にキャパシティプロビジョニングする必要はありません。もしon-demand modeが有効なtableでread/writeリクエストが発生しなかった場合、支払う必要があるのはストレージ課金のみになります。 DynamoDBは予測困難なアプリケーショントラフィックへの対応や短期間で大きなスパイクが発生するワークロード、もしくはあなたのテーブルの使用率が平均では低い場合にとても有効です。例えば以下のようなユースケースです。 新たなアプリケーション開発時、もしくはワークロードが複雑で予測が困難な場合 pay-per-use な課金モデルのサーバレスサービスとの組み合わせ SaaSプロバイダやソフトウェアベンダーでシンプルかつリソース分離を必要とするようなアプリケーションを開発している on-demand modeへの変更は1日1回可能です。on-demandからprovisioned modeへの変更も可能です。 簡単にパフォーマンステストをやってみましょう では早速新たに作ったDynamoDB on-demand modeのtableに対して負荷テストを実施してみましょう。 私は2つのサーバレスアプリケーションを作ってみました。 1つ目のアプリケーションはAmazon API GatewayとAWS LambdaでHTTPインターフェイスによるDynamoDBに対してread/writeする処理を実装しています。 2つ目のアプリケーションはLambdaで1000個の並行に同時実行でランダムにHTTPメソッドを生成しendpointに各Itemに操作リクエストを生成するファンクションです。 全てのファンクションは同時実行数100でリクエストを実行し、終了するとすぐにまた別の100同時実行がスタートする処理を一分間行います。ランプアップするために必要な時間は無く、負荷の生成はフルスピードで実行されます!! DynamoDB コンソールのメトリクス tabから、ピーク時には5000request/secの負荷が流れていることとスロットリングが発生しないことをメトリクスから確認ができます。 サーバレスアプリケーションがscalingするか、API GatewayとLambdaとDynamoDBはフルマネージドで対応が出来ています。スループットやアプリケーションロジックに寄る課金の仕組みを計画する事はなく実現出来ました。 […]

Read More

新発表 – Amazon FSx for Windows ファイルサーバー – 高速・完全マネージド型・セキュアなファイルサーバー

クラウド上で Windows アプリケーションを利用しようとしている組織では、通常、既存のアプリケーションや Windows 環境と完全に互換性のあるネットワークストレージを探します。例えば、エンタープライズ企業では ID 管理目的で Active Directory を使用し、フォルダやファイルへのきめ細かなアクセス制御のために Windows Access Control List を使用し、これらの企業のアプリケーションは Windows ファイルシステム (NTFS ファイルシステム) と完全互換のストレージに頼った作りになっています。 Amazon FSx for Windows ファイルサーバー Amazon FSx for Windows ファイルサーバーはこれら全てのニーズに対応しています。既存の Windows アプリケーションや Windows 環境で作業することを前提に設計されており、Windows ワークロードのクラウドへの Lift-and-Shift を非常に簡単にしてくれます。完全マネージド型の Windows ファイルサーバーに裏付けられたネイティブ Windows ファイルサーバーに、広く採用されている SMB (Server Message Block) プロトコルを介してアクセスできます。SSD ストレージで構築されている Amazon FSx for Windows ファイルサーバーは、皆さん (と皆さんの Windows アプリケーション) […]

Read More

新発表 – Amazon FSx for Lustre

ペタバイト(PiB – 1,125,899,906,842,624 バイト)は驚異的なデータ量であり、ヒトの脳の記憶容量見積もりの半分近くに相当するほどです。データレイクや、HPC(High performance Computing)、EDA(Electronic Design Automation) といったアプリケーションは伝統的にこのようなスケールに対応する必要があり、更に近年では機械学習やメディア処理といったデータインテンシブなアプリケーションも加わっています。 Amazon FSx for Lustre 本日(2018年11月28日)私達は、このような今まで夢見ていたような需要に答えるため、Amazon FSx for Lustreをローンチいたしました。Amazon FSx for Lustreは、著名かつ成熟したオープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。 このサービスでは、数分でファイルシステムを作成し、すぐにでも多数のクライアントからマウントして利用を開始することが可能です。また、完全マネージド型のサービスのため、管理や保守に手間をかける必要はありません。さらにこのサービスでは一時的な用途のスタンドアローンなファイルシステムを作成するだけでなく、S3のバケットとシームレスに接続してコンテンツがLustreファイルシステム上にあるかのようにアクセスすることも可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 MBpsのスループット、10,000 IOPSを発揮できるようにデザインされています。

Read More

新発表 – Amazon Kinesis Data Analytics for Java

お客様は、リアルタイムなストリーミングデータを収集・処理・分析するために、Amazon Kinesisを活用しています。これによって、みなさまのビジネスやインフラストラクチャ、顧客から得られる情報に対して、迅速に反応することができます。例えば、Epic Gamesの人気オンラインゲーム『フォートナイト』では、1秒間に150万を超えるゲームイベントを取り込んでいます。 Amazon Kinesis Data Analyticsを活用すれば、標準SQLでリアルタイムなデータ処理を行うことができます。SQLは、新しいフレームワークや言語を学ぶ必要なしに、大規模なストリーミングデータに対して迅速にクエリをかける簡易な手段を提供します。一方で多くのお客様は、汎用的なプログラミング言語を使用して、より複雑なデータ処理を実装することも求めています。 Amazon Kinesis Data AnalyticsでJavaを活用 2018年11月27日、私たちはAmazon Kinesis Data AnalyticsでJavaをサポートすることを発表します。これによって、開発者はJavaで書かれた独自のコードを使用して、強力なリアルタイム処理アプリケーションを実装することが出来ます。アプリケーションでは、ストリーミングデータを連続的に変換してデータレイクに取り込んだり、リアルタイムにゲームのリーダーボードを更新したり、IoTデバイスから取得したデータストリームに機械学習モデルを適用して推論を実行したりと、様々な処理を行えます。

Read More

新発表 – すべてのアプリケーションに可用性とパフォーマンスの向上を提供するAWS Global Accelerator

以前、法規制等によりユーザデータを地理的に分離してデータ主権法を遵守する必要がある分野で働いていた経験から、私は複数の国に展開されたインフラストラクチャを必要とするグローバルワークロードを実行することの複雑さを証明することができます。可用性、パフォーマンス、そしてフェイルオーバーなどすべての要素はヤクの毛をかる(モグラ叩きのように次から次に問題が発生して切りがないという意味)ような果てしない作業になります(まるであなたが過去にデータセンターを拡張したように)。お客様は我々に複数のリージョンでオペレーションを行う必要があると言います。それは可用性のためである場合もあれば性能のためでもあり、規制に対応するためである場合もあります。ワークロードをAWS CloudFormationでテンプレート化し、Amazon DynamoDB Global Tableを使うことでデータベースをレプリケーションできること。そして、AWS SAMを使ってサーバレスのワークロードをデプロイできることについてはとても満足いただいています。これらの作業の実施は短時間で実行することができるとともに、グローバルな体験を顧客に対して提供することができます。また、お客様には地理的な隔離により、AWSがblast radiusすなわち問題の地理的連鎖の排除が実現でき、その結果として可用性が向上することについても満足を頂いています。しかし一方で、お客様はアプリケーションの部分においてもう少し有効な機能を提供することを望まれています。

Read More

新発表 – 映像伝送の安定性を向上し機能拡張するAWS Elemental MediaConnect

AWS入社前、私はスポーツテレビチャンネルを所有し配信していた会社に勤めていました。数十箇所の拠点からのスポーツフィードを1つのチャンネルに集約して24時間配信をしておりました。 この規模の放送グレードのネットワークを運用するためのインフラストラクチャとロジスティクスは膨大であり、運用保守が困難であり高コストでした。 これは一部の地域や組織の問題ではなく、メディア企業は独自のネットワークインフラストラクチャで同様の課題に直面しています。 非都市部からの映像フィードを衛星通信経由で統合し、信頼性と放送機能を維持しながら映像信号を複数の地域や国に配信する事は難しい課題であり設備投資も必要でした。   Introducing AWS Elemental MediaConnect AWS Elemental MediaConnectはメディア企業がライブビデオをクラウドに確実に取り込む事ができ、AWSグローバルネットワークを通じて複数の宛先へ安全に送信できる新しいAWS Elementalサービスです。 AWS Elemental MediaConnectは衛星伝送で慣れ親しんだ信頼性、セキュリティ、可視性をお客様に提供します。柔軟性とコスト最適化はインターネットベースの伝送でのみ可能です。ローカルのスポーツイベントを扱う小規模のビデオ制作者から、複数の24時間365日のテレビチャンネルを持つ全国放送のテレビネットワーク、AWSクラウド以外のソース(スポーツ施設やテレビスタジオなど)からコンテンツを確実に取り込むことができます。放送局グレードの信頼性と運用上の可視性を備え複数の宛先へ安全に映像信号を伝送します。これらの目的地は、お客様独自のAWSベースのビデオ処理システムまたはインターネット上のサービスを指定することができます。   What you need to know: Broadcast Reliability – AWS Elemental MediaConnectは信頼性の高い放送局グレードの基準を満たすように設計されており、ジッタとバッファリングを削減するように最適化されています。そしてビデオプロフェッショナルが使用するビデオ伝送プロトコル(RTP、FEC付きRTP、Zixiプロトコルなど)に対応することで、信頼性を確保します。AWS Elemental MediaConnectは低レイテンシ、高帯域幅のAWSグローバルネットワークを使用して、AWSリージョン間で映像信号を伝送および複製します。 Industry-Grade Security – AWS Elemental MediaConnectはメディア企業のセキュリティ要件をサポートします。 AES-256暗号化を使用してストリームを暗号化するオプションを提供し、AWS Secrets Managerを用いて鍵を安全に保管します。 併せて複製機能を用いて、お客様はAWS内外の複数の関係会社様へコンテンツを安全に伝送できます。 Visibility & Operations  – 最後にAWS Elemental MediaConnectはお客様に映像信号の健全性を可視化します。サービス品質(QoS)アラーム、及びリアルタイム信号チェックを組み合わせミッションクリティカルな映像信号の健全性を 追加設定なしで確認できます。さらにAWS Elemental MediaConnectは他のAWS Media ServicesやCloudWatchと統合されており、ダッシュボードの作成やアラームの作成が容易です。 AWS Elemental MediaConnect in […]

Read More

新機能 – AWS MarketplaceにてPrivate Marketplaceによりソフトウェア入手の管理がより簡単になりました

6年以上前、私たちはビジネスを動かすのに必要なソフトウェアアプリケーションやインフラストラクチャをユーザに提供するという大きな目標のもと、AWS Marketplaceをラウンチしました。今日、200,000を超えるAWSのアクティブなお客様がAWS Marketplaceにあるセキュリティやデータおよび分析、ログ分析や機械学習などのカテゴリからソフトウェアを使用しています。これらのお客様はAWS Marketplaceにある製品を使うためにAmazon EC2を1カ月に6億5千万時間以上使用しており、95万を超えるアクティブなソフトウェアの購読がされています。AWS Marketplaceでは、 35カテゴリと1400以上の独立ソフトウェアベンダー(ISV)から提供される4500以上のソフトウェアを提供することで、さまざまなステージで、クラウドジャーニーのお手伝いをしています。 お客様は私たちにAWS Marketplaceが提供するフレキシビリティやさまざまなオプションを気に入っていると教えてくれてました。本日、Private MarketplaceのラウンチによりAWS Marketplaceに対して、より一層のフレキシビリティを提供することをアナウンスします。

Read More

新機能 – DynamoDB Transactions

Amazon DynanmoDBがローンチされてから多くのユースケースで使われてきました。microservicesやゲームなどのモバイルバックエンドシステム、IoTソリューションなど様々です。例えばCapital Oneのユースケースではモバイルアプリケーションから使われていたメインフレームの処理をサーバレスアーキテクチャに移行しレイテンシの軽減にもなりました。TinderはDynamoDBにゼロダウンタイムで移行し、世界中のユーザーのために必要なスケーラビリティを獲得しました。 開発者の多くはビジネスロジックの実装に複数のItemを操作し、all-or-nothingな結果を一つか複数のtableにまたがって行いたいと思う場面があると思います。要件によっては実装に不必要な複雑さが加わることがあります。今日、我々はこのユースケースに対応するためにDynamoDBにtransaction機能をネイティブサポートしました! Amazon DynamoDB Transactionsについて DynamoDB transactionsは開発者に原子性、一貫性、分離性、永続性(ACID)を保証した操作を一つか複数のテーブルに対して提供します。一つのAWSアカウントの単一リージョンで行います。アプリケーションからinsert、delete、updateを複数のアイテムに対して実施出来る事でビジネスロジックの操作を一回のリクエストで実行出来ます。DynamoDBは、複数のパーティショニングとテーブル間でトランザクションをサポートする唯一の非リレーショナルDBです。 TransacstionsはDynamoDBを利用してより広いワークロードに対してエンタープライズレベルでのbenefitとスケール、パフォーマンスをもたらします。多くのユースケースではすぐに簡単にtransactionsを利用することが可能です。例えば 金融取引 商品の受注から決済までの管理 マルチプレイヤーでの操作を提供するゲーム 複数のコンポーネントによる操作を行うシステム 2つ目にDynamoDBのオペレーションでどうtransactionsを扱うのか紹介します。 TransactWriteItems 書き込みを含む操作で利用します。一つか複数のPutItem、UpdateItem、そしてDeleteItemオペレーションをサポートします。TransactWriteItemsは指定した前提条件にマッチするかをチェックしてから更新することも可能です。これらの条件には書き込みセット内で同一Itemや異なるItemが含まれる場合があります。いずれかの条件が満たされない場合トランザクションはリジェクトされ失敗します。 TransactGetItems 読み込みを含む操作で利用します。一つか複数のGetItemオペレーションをサポートします。もしTransactGetItemsリクエストで対象となっているItemがTransactWriteItemsで書き込まれている最中は読み込みトランザクションはキャンセルされます。書き込みトランザクション処理前の値は取得可能なので通常の読み込み操作は可能です。 これらのトランザクションはユニークな10個のItemと最大4MBのデータ、条件付き書き込みがサポートされます。 この機能を利用してDynamoDBは、さまざまなアプリケーション要件を満たす複数の読み取りと書き込みのオプションを提供し、複雑なデータ駆動型ビジネスロジックを実装する開発者に大きな柔軟性を提供します。 3種類の読み込みオプション – 結果整合性の読み込み、強力な整合性のある読み込み、そしてトランザクションによる読み込み 2種類の書き込みオプション – 通常書き込みとトランザクションによる書き込み たとえば、仮想コインでアイテムを購入できるゲームを構築しているとします。 player tableでは、各playerは多数のコインと購入したアイテムの在庫を持っています。 itemsテーブルでは、各アイテムに価格が設定され、boolean値で使用可能(または使用不可)としてマークされます。 ゲーム内で商品を購入するフローの場合にアトミックトランザクション処理を実装出来ます。 始めに商品があるかを確認し、プレイヤーに必要な残高があるか確認する これらの条件が満たされている場合、商品を在庫無しに変更し所有者をプレイヤーに変更 支払ったアイテムをプレイヤーの持ち物リストに追加する JavaScriptを用いた例として、AWS SDK for JavaScript in Node.jsで例を見てみましょう。 data = await dynamoDb.transactWriteItems({ TransactItems: [ { Update: { TableName: ‘items’, Key: { id: […]

Read More

新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析

多くのAWSサービスがログを生成します。すぐに思いつくものだけで VPC Flow ログ、Route 53 ログ、Lambda ログ、CloudTail ログ (AWS API 呼び出しのログ)、RDS ログ、IoT ログ、ECS ログ、API Gateway ログ、S3 サーバーアクセス ログ、EC2 インスタンスログ (CloudWatch Agent 経由)があります。EC2インスタンスの上で動くサービス(Apache、Tomcat、NGINXなど)もログを生成します。そしてあなたのアプリケーションコードもおそらく同じでしょう。 それらのログに含まれる、データ、パターン、傾向、洞察により、あなたのアプリケーションや AWS リソースの、振る舞い、改善すべき点、運用上の問題の検出が可能になります。しかし、いつものことですが落とし穴があります。フォーマットやデータ要素数が多様化し、生ログデータサイズが増加することで分析は困難になります。個別の AWS 利用者が定常的に100テラバイト以上のログファイルを毎日生成した場合、find や grepといった従来のツールではもはや分析することはできません。 CloudWatch Logs Insights 新しいサービス CloudWatch Logs Insights がお役に立ちます。これはクラウドスケールで動作するよう設計され、セットアップやメンテナンスが不要なフルマネージドのサービスです。これは大量のログを数秒で走査し、インタラクティブなクエリの実行と可視化を提供します。あらゆるログフォーマットや、JSON ログから自動検出したフィールドを扱えます。使ってみると分かるように、これは大変フレキシブルであり、ログを調査するためのお気に入りのツールの一つになるでしょう。

Read More

新機能 – Amazon Comprehend Medical – ヘルスケア業界のお客様のための自然言語処理

私は胃腸科医と皮膚科医の息子で、解剖学的構造、手術手順、投薬名、またそれらの略語など、複雑な医学用語が飛び交う、専門外には理解できない会話を聞きながら育ちました。好奇心を抱いた子供にとってこの経験はとても魅惑的で、両親がある種の魔法使いのようなものなのか、またはとってもちんぷんかんぷんなことを言っているのか、と不思議に思っていました。 このような理由から、Amazon Comprehend の拡張版である、ヘルスケア業界のお客様向けの Amazon Comprehend Medical をご紹介できることは、とても嬉しく思います。   Amazon Comprehend の簡単な振り返り Amazon Comprehend は、昨年の AWS re:Invent でローンチされたものです。簡単にいうと、言語検出、エンティティのカテゴリ分類、感情分析、キーフレーズ抽出などの、シンプルなリアルタイム API を提供する自然言語処理サービスです。さらに、テキストドキュメントを自動的に整理する、教師なし学習である「Topic modeling」もお使いいただけます。

Read More