Amazon Web Services ブログ

新機能 – EBS Direct API – EBS スナップショットコンテンツへのプログラムによるアクセス

 EBS スナップショットは実に有能です。 これは、AWS マネジメントコンソール を通じて双方向的に作成できます。 作成するには、コマンドライン (create-snapshot) を使うか、CreateSnapshot 関数を呼び出します。また、Data Lifecycle Manager (DLM) により、スナップショット自動管理の設定が行えます。 スナップショットについて スナップショットは Amazon Simple Storage Service (S3) に保存され、これにより、必要に応じて新しい EBS ボリュームを素早く作成できます。ボリュームの最初のスナップショットには、ボリューム上にある 512K サイズのブロックすべてのコピーが含まれます。その後のスナップショットには、前のスナップショット以降に変更されたブロックのみがふくまれます。スナップショットが増分を扱うこの性質により、コスト効率が非常に高くなります。(統計的にいって) EBS ボリューム上にあるブロックの多くは、ほとんど変更されることがないからです。 その手短な例をご覧いただきましょう。今、8 個のブロックがある EBS ボリュームを作成およびフォーマットしたと考えます (これは許可された最小サイズより小さいですが、例としてお許しください) 。これにいくつかファイルをコピーした後、最初のスナップショット (Snap1) を作成します。このスナップショットには、次に示すようにすべてのブロックが含まれます。 次に、いくつかのファイルをさらに追加し、1 つのファイルを削除してから、2 つめのスナップショット (Snap2) を作成します。このスナップショットには、1 つめを作成した後に修正されたブロックのみが含まれ、それは次のようになります。 さらに、いつくかの変更を加えた後、3 つめのスナップショット (Snap3) を作成します。 現実には、ディレクトリー、ファイル、そして下層ブロックの間の関係性はファイルシステムで制御されており、一般的にかなり複雑なものになることは、心に留めておいてください。 さて、3 つのスナップショットができましたので、これらを使って新しくボリュームを作成したいと思います。EBS ボリュームのスナップショットを作成するたび、前のスナップショットへの内部参照も作成されます。これにより、CreateVolume が各ブロックについて最新のコピーを見つけられるようになっています。次に示すような関係です。 詳細な管理は、この背景にある EBS が受け持ってくれます。たとえば、Snap2 を削除するとそれに含まれる […]

Read More

Amplify DataStore – GraphQL でオフラインアプリの開発を簡素化

 オープンソースの Amplify Framework は、ウェブおよびモバイル開発者がクラウドベースのサービスを簡単にプロビジョニングおよびアクセスできるようにするコマンドラインツールおよびライブラリです。たとえば、モバイルアプリケーション用に GraphQL API を作成したければ、開発マシンで amplify add api を使用してバックエンド API を設定します。いくつかの質問に答えた後、amplify push と入力して、クラウドで AWS AppSync API バックエンドを作成します。Amplify はコードを生成し、アプリが新しく作成された API に簡単にアクセスできるようにします。Amplify は Angular、React、Vue などの一般的なウェブフレームワークをサポートしています。また、React Native、iOS 用の Swift、Android 用の Java で開発されたモバイルアプリケーションもサポートしています。モバイルアプリケーションで Amplify を使用する方法について詳しく知りたい場合は、re:Invent 2019 カンファレンス向けに準備したワークショップ (iOS または React Native) にお気軽にご参加ください。 AWS のお客様は、ウェブおよびモバイルアプリケーションを開発する際に最も難しいタスクは、デバイス間でデータを同期し、オフライン操作を処理することだと語っています。理想的には、デバイスがオフラインのときも、お客様はデータにアクセスするだけでなく、データを作成および変更するためにアプリケーションを引き続き使用できる必要があります。デバイスがオンラインに戻ると、アプリケーションはバックエンドに再接続し、データを同期して、競合がある場合は解決する必要があります。AWS AppSync SDK のオンデバイスキャッシュをオフラインミューテーションとデルタ同期で使用している場合でも、すべてのエッジケースを正しく処理するには、多くの未分化コードが必要です。 本日、Amplify DataStore を導入いたします。これは、開発者がデータへの変更を書き込み、読み取り、監視するための永続的なオンデバイスストレージリポジトリです。Amplify DataStore を使用すると、開発者は、オフラインまたはオンラインシナリオ用の追加コードを作成することなく、分散データを活用するアプリを作成できます。Amplify DataStore は、クラウドへの接続や AWS アカウントを必要とせずに、ウェブおよびモバイルアプリケーションでスタンドアロンのローカルデータストアとして使用できます。ただし、クラウドバックエンドで使用する場合、Amplify DataStore は、ネットワーク接続が利用可能であれば、データを […]

Read More

re:Invent 2019 12月5日のまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019 4日目(12月5日)が終了しました。今日はWerner Vogelsによるre:Invent 2019 最後の基調講演がありました。 Deep Racer リーグ決勝戦では、日本からの参加者がワンツーフィニッシュとなりました。   そしてこの後は最後の Have Fun Event、re:Playがあります。 12月5日ですが、アップデートは1つでした。 Amazon Builders’ Libraryがリリースされました Amazon Builders ‘Libraryは、AmazonがAmazon.comとAWSを支えるソフトウェアをどのように設計、リリース、運用するかを読者に紹介する生きた記事のコレクションです。ビルダーズライブラリの記事は、Amazonのシニアテクニカルリーダーとエンジニアによって書かれており、アーキテクチャ、ソフトウェア配信、運用に関するトピックをカバーしています。たとえば、読者はAmazonがソフトウェア配信を自動化して年間1億5千万件以上の展開を達成する方法や、Amazonのエンジニアがシャッフルシャーディングなどの原則を実装して、可用性とフォールトトレラントな復元力のあるシステムを構築する方法を見ることができます。 – シニアエバンジェリスト 亀田

Read More

UltraWarm for Amazon Elasticsearch Service を使用して少ないコストでより多くのデータを維持する

機械によって生成されたデータは、ソリューションを強化すると共に問題も引き起こします。これは今日の最新ソフトウェアアプリケーションで運用上の問題を特定するために必要不可欠ですが、それをリアルタイムで分析するには Amazon Elasticsearch Service のような柔軟でスケーラブルなツールが必要です。このログデータは極めて貴重であるため、ホットストレージから削除したくはないのですが、大量にありすぎるので削除するしかありません。ログ分析には、潜在的な価値と実費をてんびんにかけるという本質的な葛藤があります。 過去数日間からのログに価値があることは分かっています。最高のインデックスおよび検索パフォーマンスを提供するホットストレージに料金を支払うことは道理にかないます。6 週間前、または数か月前からのログには価値が出る可能性もありますが、これからどのくらいで価値が出るのでしょうか? その一方で、それらをホットストレージに維持するコストは正当化できるのでしょうか? Amazon Elasticsearch Service の新しいストレージ階層である UltraWarm は、この葛藤を取り除き、ホットストレージと比較してデータ保持期間を劇的に延長し、コストを最大 90% 削減することを可能にします。何よりも素晴らしいのは、インタラクティブな分析経験はそのまま変わらないところです。ウォームインデックスは、他のインデックスと同様にクエリしたり、それらを使用して Kibana ダッシュボードを構築したりします。 仕組み 従来のウォームストレージソリューションには制限がありました。オープンソースの Elasticsearch クラスターは高密度ストレージの D2 インスタンスを使用することができますが、これらのノードを追加しても同じ基本的な Elasticsearch アーキテクチャが維持されます。引き続きオペレーティングシステムオーバーヘッド、ディスクウォーターマーク、およびインデックスレプリカを考慮しなくてはなりません。使用分だけを支払うのではなく、プロビジョニングした分の料金を支払い続けます。 UltraWarm は違います。これは、Amazon S3 と AWS Nitro System 駆動のノードの組み合わせを使用して、集約と可視化にホットストレージのような経験を提供します。S3 は耐久性に優れた低コストのストレージを提供し、レプリカの必要性を排除します。S3 はまた、オーバーヘッドという概念を取り去るので、各 UltraWarm ノードは利用可能なストレージを 100% 使用することができます。これらのノードには、クエリ処理最適化、およびデータをプリフェッチする高度なキャッシングソリューションが含まれています。従来のウォームストレージソリューションと比較して、UltraWarm のパフォーマンスは通常それらと同様、またはそれらより優れています。 具体的な料金例について、3 つのultrawarm1.large ノードを検討しましょう。すべてのノードと同様に、各ノードには時間レートの料金を支払います。今回の場合のレートは 2.680 USD です。これらのノードを合わせると、毎月 GiB あたり 0.024 USD で最大 60 TiB の […]

Read More

新機能 – Lambda 関数のプロビジョニングされた同時実行性

特にサーバーについて考える必要がない場合は、時間はあっと言う間に過ぎていきます。AWS Lambda は 5 年目を迎えました。チームは常に、顧客がより簡単な方法で、アプリケーションを構築して実行できるようにする新しい方法を探しています。 ミッションクリティカルなアプリケーションがサーバーレスに移行するにつれて、顧客はアプリケーションのパフォーマンスをさらに制御する必要があります。 本日、プロビジョニングされた同時実行数を開始します。これは、関数を初期化し、2 桁のミリ秒以内に応答するためのハイパーレディを維持する機能です。 ウェブおよびモバイルバックエンド、レイテンシーの影響を受けやすいマイクロサービス、同期 API などの対話型サービスの実装に最適です。 Lambda 関数を呼び出すと、呼び出しは実行環境にルーティングされ、リクエストが処理されます。関数がしばらく使用されていない場合、より多くの同時呼び出しを処理する必要がある場合、または関数を更新する場合、新しい実行環境が作成されます。実行環境の作成は、関数コードのインストールとランタイムの開始を処理します。デプロイパッケージのサイズやランタイムとコードの初期化時間に応じて、新しい実行環境にルーティングされる呼び出しのレイテンシーーが発生する可能性があります。このレイテンシーは通常、「コールドスタート」と呼ばれます。 ほとんどのアプリケーションでは、この追加のレイテンシーは問題になりません。ただし、一部のアプリケーションでは、このレイテンシーは許容されない場合があります。 関数のプロビジョニングされた同時実行を有効にすると、Lambda サービスは実行環境のリクエスト数を初期化して、呼び出しに応答する準備ができるようにします。 プロビジョニングされた同時実行の設定 同じ Java コードを使用し、Amazon API Gateway によってトリガーできる 2 つの Lambda 関数を作成します。本番稼働ワークロードをシミュレートするために、これらの関数は、初期化段階で 1,000 万回、呼び出しごとに 20 万回の数学的計算を繰り返しています。計算は java.Math.Random と条件 (if …) を使用して、コンパイラの最適化 (反復の「ループ解除」など) を回避します。各関数には 1 GB のメモリがあり、コードのサイズは 1.7 MB です。 2 つの関数のいずれかでのみプロビジョニングされた同時実行を有効にして、同様のワークロードに対する反応を比較できるようにします。Lambda コンソールで、いずれかの機能を選択します。構成タブに、新しいプロビジョニングされた同時実行設定が表示されます。 設定を追加を選択します。プロビジョニングされた同時実行は、特定の Lambda 関数バージョンやエイリアスに対して有効にできます ($LATEST は使用できません)。関数のバージョンごとに異なる設定を指定できます。エイリアスを使用すると、これらの設定を適切な関数バージョンに簡単に有効化できます。私の場合、AWS SAM AutoPublishAlias 関数設定を使用して、最新バージョンに更新し続けるエイリアスライブを選択します。プロビジョニングされた同時実行の場合、500 と保存を入力します。 現在、プロビジョニングされた同時実行の構成は進行中です。実行環境は、私の入力に基づいて同時に着信するリクエストを処理する準備ができています。 この間、関数は利用可能なままで、トラフィックを処理し続けます。 数分後、同時実行が準備状態になります。これらの設定により、最大 500 件の同時実行リクエストで、それらを処理するための準備が整った実行環境が見つかります。それを超えても、Lambda […]

Read More

新機能 – AWS Step Functions 高速ワークフロー: 高パフォーマンスと低コスト

re:Invent 2016 では AWS Step Functions を開始しました。お客様はすぐにサービスを利用して、多段階ワークフローのコア要素として使用しました。現在、機械学習トレーニング、レポート生成、注文処理、IT オートメーション、およびその他の多くの多段階プロセスを調整するサーバーレスワークフローを構築しているお客様もいらっしゃいます。これらのワークフローは最大 1 年間実行でき、チェックポイント、一時的な障害の再試行、監査目的での詳細状態の追跡を含むワークフローモデルを中心に構築されます。 使用状況とフィードバックから、お客様方がコアな Step Functions モデルを非常に好んでいることがわかります。お客様は、宣言仕様と、ワークフローを簡単に構築、テスト、スケーリングできることを気に入っています。実際、お客様は Step Functions が非常にお気に入りのため、IoT データの取り込み、ストリーミングデータ処理、モバイルアプリケーションバックエンドなどの大容量で短期間のユースケースに使用したいと考えています。 新しい高速ワークフロー 本日、既存の標準ワークフローのオプションとして高速ワークフローを開始しました。高速ワークフローは同じ宣言仕様モデル (Amazon States Language) を使用しますが、これらの大容量で短期間のユースケース向けに設計されています。知っておくべきことは、次のとおりです。 トリガー – AWS サービスの長いリストに関連付けられたイベントと読み取り/書き込み API 呼び出しを使用して、高速ワークフローの実行をトリガーできます。 実行モデル – 高速ワークフローは 1 回以上実行モデルを使用し、失敗したステップを自動的に再試行することはありませんが、エラー処理で説明されているように、再試行とキャッチを使用できます。ステップはチェックポイントとして表示されないため、ステップごとのステータス情報は利用できません。成功と失敗は CloudWatch Logs に記録され、ログ記録レベルを完全に制御できます。 ワークフロー段階 – 高速ワークフローは、アクティビティタスクを除き、標準ワークフローと同じサービス統合の多くをサポートします。AWS Batch、AWS Glue、Amazon SageMaker などの長期実行サービスを開始できます。とても待ち遠しいことでしょう。 期間 – 高速ワークフローは、実際の経過時間で最大 5 分間実行できます。他の高速ワークフローまたは標準ワークフローを呼び出すことはできますが、とても待ちきれないでしょう。また、標準ワークフローから高速ワークフローを呼び出して、アプリケーションのニーズを満たすために両方のタイプを構成することもできます。 イベント料金 – 高速ワークフローは、1 秒あたり 100,000 […]

Read More

Amazon Athena を Apache Hive メタストアに接続し、ユーザー定義関数を使用する

Amazon Athena は、標準 SQL を使用して Amazon S3 のデータを簡単に分析できるインタラクティブなクエリサービスです。Athena はサーバーレスであるため、インフラストラクチャの管理は不要であり、実行したクエリにのみ課金されます。この投稿では、現在プレビュー中である2つの新しい機能、Apache Hive Metastore への接続と、ユーザー定義関数の使用について詳しく説明しています。これらは本日から使い始めることができます。 Athena を自分の Apache Hive Metastore に接続する Hive Metastore を、自分のビッグデータ環境に共通のメタデータカタログとして使っているお客様が複数いらっしゃいます。このようなお客様は、Amazon EC2 や Amazon EMR クラスター上で Apache Spark、Presto、Apache Hive を実行していて、共通カタログとして Hive Metastore を自身でホストしています。またAWS は、完全に管理されたカタログで、 Hive メタストアをドロップインで置き換える AWS Glue Data Catalog も提供しています。この記事がリリースされた時点で、Athena の Data Catalog に加えて Hive メタストアも利用できます。Athena によって、既存の Data Catalog に加えて複数の Hive メタストアに接続できます。 ご自身でホストしている Hive […]

Read More

Amazon Builders’ Library をご覧ください–これが私たちのやり方です!

Amazonのお客様は、私たちがビジネスをどのように構築し、運営しているかについてもっと知りたいとよく言っています。小売業では、Amazon Fulfillment Centerを視察し、倉庫の整理方法を確認します。法人のお客様は、しばしば当社のリーダーシップ原則について質問し、時には彼ら自身の使用のためにそれらを採用します(そしてそれから適応させます)。私は定期的に彼らを私たちのエグゼクティブ・ブリーフィング・センター(EBC)にお迎えし、長期的な成功の一環として失敗を受け入れる、考え方や、私たちの技術革新の軽いチャーなどについて話をしています。 私たちのビジネスを取り巻く同じ好奇心が開発文化を取り囲んでいます。Amazon.com、AWS、その他のビジネスの根底にあるハードウェアおよびソフトウェアシステムをどのように設計、構築、測定、実行、スケーリングするかをよく聞かれます。 新しいビルダーズライブラリー 今日、Amazon Builders’ Libraryを発表できてうれしいです。システムの構築および実行方法を正確に説明する詳細な記事のコレクションを開始します。各記事は、ビジネスのその部分で深い専門知識を持つシニアテクニカルリーダーによって書かれています。 このライブラリは、私たちの仕事の根底にある理論と実践に直接アクセスできるように設計されています。学生、開発者、開発マネージャー、アーキテクト、およびCTOはすべて、このコンテンツが役立つと感じるでしょう。これは、「店舗で販売されていない」学校で教えられていないコンテンツです! ライブラリはカテゴリ別に整理されています。 アーキテクチャ –セキュリティ、耐久性、高可用性、パフォーマンスの最適化を支援するクラウドサービスを設計する際に行う設計上の決定。 Software Delivery&Operations –新しいソフトウェアをクラウドにリリースし、その後ヘルスと高可用性を維持するプロセス。 ライブラリ内で、この投稿を書いている間に2つの記事を簡単に見て、多くのことを学びました! 乗り越えられないキューバックログの回避 –プリンシパルエンジニアのDavid Yanacekは、メッセージキューの内外を調査し、発生する可能性のある障害モードの多くを含む利点とリスクを調査します。彼は、キューを使用してAWS LambdaとAWS IoT Coreを強化する方法について説明し、レスポンシブを維持し、「言葉で言えば」「魔法のリソースの分離」を実装するために使用される高度な戦略について説明します。Davidは、複数のキューの使用、シャッフルシャーディング、遅延キュー、バックプレッシャーなどを含む、復元力のある非同期マルチテナントシステムについても解説しています。 分散システムの課題 –シニアプリンシパルエンジニアのJacob Gabrielson は、分散システムが失敗する多くの方法について説明します。3つの異なるタイプ(オフライン、ソフトリアルタイム、およびハードリアルタイム)のシステムを定義した後、彼はBizarroとの類推を使用して、なぜハードリアルタイムシステムが(再び、彼の言葉で)「率直に言って」パックマンに基づいた例を使い、要求/応答通信を追加し、成功または失敗する可能性のあるすべての方法を列挙します。彼は、テストケースの数を減らす方法について議論し、分散システムのテストに伴う他の多くの問題についても話しました。 これらは2つの記事にすぎません。コレクション全体をチェックアウトしてください。 Welcome 私たちは、より多くのコンテンツを持っています。そして我々はまた、あなたの話に興味を持っています。この投稿に関するフィードバックをお気軽にお寄せください。ご連絡いたします。 – Jeff;

Read More

Amazon SageMaker Operators for Kubernetes のご紹介

AWS より、Amazon SageMaker Operators for Kubernetes をご紹介いたします。この新機能を使用すると、開発者およびデータサイエンティストは、Amazon SageMaker における 機械学習 (ML) モデルのトレーニング、チューニング、デプロイを、Kubernetes を介して簡単に行うことができます。Kubernetes クラスターに Amazon SageMaker Operators をインストールすると、Kubernetes API や “kubectl” といったコマンドラインの Kubernetes ツールをネイティブに使用して Amazon SageMaker ジョブを作成することが可能です。 多くの AWS のお客様が、Amazon Elastic Kubernetes Service (EKS) といったマネージドサービスがよく使用されるコンテナ化アプリケーションをデプロイおよび管理するために、オープンソースの汎用コンテナオーケストレーションシステムである Kubernetes を使用しています。これにより、データサイエンティストおよび開発者は、反復可能な ML パイプラインのセットアップ、トレーニングや推論のワークロードに対する制御能力の向上などが可能です。しかし ML ワークロードをサポートするには、カスタムコードの記述による基盤となる ML インフラストラクチャの最適化、高可用性と高信頼性の確保、データサイエンスに対する生産性向上ツールの提供、しかるべきセキュリティ要件および規制要件への準拠が依然必要です。例えば、Kubernetes ユーザーがトレーニングや推論に GPU を使用する際、Kubernetes による GPU ワークロードのスケジューリングとスケーリングの設定を変更して、使用率、スループット、可用性を向上させる必要が出てくるケースが多々あります。また、Kubernetes ユーザーはトレーニング済みモデルを本番環境にデプロイして推論を実行する際に、複数のアベイラビリティーゾーンに存在する Auto Scaling クラスターのセットアップおよび最適化に余計な時間を取られてしまいます。 Amazon SageMaker […]

Read More

Amazon Transcribe Medical を使用した医療音声文字変換の紹介

開発者がアプリケーションに医療音声テキスト変換機能を追加できるようにする新しい HIPAA 適格の機械学習自動音声認識 (ASR) サービスである Amazon Transcribe Medical を発表いたします。Transcribe Medical は、正確で手頃な価格の医療向け文字起こしを提供し、医療従事者、IT ベンダー、保険会社、製薬会社が、医師、看護師、研究者、請求代理人が医療記録の効率を改善するのを支援するサービスを構築できるようにします。この新しいサービスを使用すると、臨床医のオフィス、研究室、保険請求代理人との電話などで、より少ない労力で、より速く、より正確に、安全に臨床文書を完成させることができます。 ヘルスケアやライフサイエンスでの課題 HITECH (経済的および臨床的健全性のための医療情報技術) 法の実施に従って、医師は電子健康記録 (EHR) システムへの詳細なデータ入力を行う必要があります。ただし、臨床医は、EHR データ入力のメモを書くだけで、既存の医療業務に加えて、平均で 1 日 6 時間の追加勤務となることもあります。このプロセスは医師にとって時間と労力がかかるだけでなく、職場での燃え尽き症候群やストレスの主な要因であり、医師が患者を注意深く診察することを妨げ、結果として患者のケアが不十分になり、来院が急増します。手書きのメモ作成を支援するために医療書記が採用されていますが、このソリューションは高価であり、数千の医療施設に拡張するのが難しく、一部の患者は医療書記の存在を不快に感じ、症状に関する率直な議論につながりません。また、既存のフロントエンド口述ソフトウェアでは、破壊的で非効率的な句読点を明示的に発声するなど、医師がトレーニングを受けるか不自然に話す必要があります。さらに、メモを取ることの負担を軽減するために、多くの医療事業者が医師の音声メモを手動転写サービスに送っていますが、これは 1〜3 営業日かかる場合があります。 加えて、ライフサイエンス業界が精密医療に移行するにつれて、製薬会社は医薬品の有効性や潜在的な副作用を引き起こす可能性に関してリアルワールドエビデンス (RWE) を収集する必要性が高まっています。ただし、RWE は電話での会話に取得されることが多く、その場合は文字起こしする必要があります。 Transcribe Medical は、正確で手頃な価格の使いやすい医療用音声認識サービスを実現することにより、こうした課題に対処するのに役立ちます。 機械学習による医療用文字起こしの改善 Transcribe Medical は、あらゆる音声対応アプリケーションに統合できて、マイクを備えたほぼすべてのデバイスで動作する使いやすいストリーミング API を提供します。このサービスは、プライマリケアのための医療音声を文字起こしするように設計されており、数千の医療提供者に大規模にデプロイして、臨床スタッフと施設に手頃な価格で一貫性のある安全で正確なメモを取る機能を提供できます。自動句読点やインテリジェントな句読点などの追加機能を使用すると、「カンマを追加」や「感嘆符」など、議論の一部として厄介で明示的な句読点コマンドを発声することなく、自然に話すことができます。 さらに、このサービスは、医療用口述筆記と会話文字起こしの両方をサポートしています。 Transcribe Medical は完全マネージド型 ASR サービスであるため、サーバーのプロビジョニングや管理は必要ありません。パブリック API を呼び出して、安全な WebSocket 接続を使ってサービスに音声ストリームを渡すだけです。Transcribe Medical は、テキストストリームをリアルタイムで送り返します。Transcribe Medical を使用するために機械学習の経験は必要ありませんし、このサービスは AWS のHIPAA 適格および BAA […]

Read More