Amazon Web Services ブログ

Category: General

re:Invent 2018 / Werner Vogels Keynote / Amazon MSK

Amazon Managed Streaming for Kafka(MSK)のプレビューが発表になりました。 Amazon MSK ストリーミングデータを処理するApache Kafkaは、リアルタイムのストリーミングデータパイプラインとアプリケーションを構築するためのオープンソースのプラットフォームです。Amazon MSKは、Apache Kafka APIを使用してデータ・レイクを作成したり、データベースとの間で変更をストリーミングしたり、マシンの学習および分析アプリケーションを強化することができるフルマネージドサービスです。 Apache Kafkaクラスターは、実動環境でセットアップ、スケール、および管理が難しく、、サーバーのプロビジョニング、手動によるApache Kafkaの構成、障害が発生したサーバーの置き換え、サーバーのパッチとアップグレードの調整、高可用性のためのクラスターの設計、データの永続的な保管と保護、負荷変動をサポートするスケーリングイベントの計画などが必要になります。 KafkaのAmazon Managed Streamingは、Apache Kafkaのインフラストラクチャ管理の専門知識を必要とせずに、Apache Kafkaで本番アプリケーションを構築して実行することを容易にします。つまり、インフラストラクチャの管理に要する時間を短縮し、アプリケーションを構築する時間を短縮できます。 Amazon MSKは、ネットワーク分離、Amazon VPC、コントロールプレーンAPI認証用のAWS IAM、および残りの暗号化など、Apache Kafkaクラスターの複数レベルのセキュリティーを提供します。Amazon MSKの暗号化サポートは、AWS Key Management Service  (KMS)と統合されてい  ます。 – プロダクトマーケティング エバンジェリスト 亀田  

Read More

新機能 – Amazon SageMaker Neo – トレーニングしたモデルをどこでも実行

機械学習(Machine Learning: ML)は、トレーニングと推論という2つの異なるフェーズに分かれています。 トレーニングは、モデルを構築すること、すなわち、意味のあるパターンを識別するためにデータセット上で ML アルゴリズムを実行することを扱います。これには大量のストレージとコンピューティングパワーが必要なことが多く、クラウドは Amazon SageMaker や AWS Deep Learning AMI などのサービスで ML ジョブをトレーニングするためのうってつけな場所になります。 推論は、モデルの使用、すなわちモデルが一度も見たことがないデータサンプルの結果を予測することを扱います。ここでは、要件が異なります。開発者は通常、待ち時間(1回の予測でどれくらい時間がかかるか)とスループット(並列で実行できる予測の数)を最適化することに関心があります。 もちろん、リソースが制約されているデバイスを扱う場合は、予測環境のハードウェアアーキテクチャがこのようなメトリックに非常に大きな影響を与えます。Raspberry Pi の愛好家として、私はしばしば、若い仲間が私の推論コードをスピードアップするためにもう少し誘導して欲しいと思っています。 特定のハードウェアアーキテクチャーのモデルをチューニングすることは可能ですが、ツールの欠如が原因でエラーが発生しやすく時間がかかります。ML フレームワークやモデル自体にマイナーな変更を加えると、通常、ユーザーは再び最初からやり直す必要があります。残念なことに、ほとんどの ML 開発者は、基礎となるハードウェアにかかわらずどこでも同じモデルを展開する必要があり、パフォーマンスは大幅に向上しません。

Read More

re:Invent 2018 / 11月29日 アップデートのまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 今日はAndy Jassy のKeynoteでの多くの発表を中心として、多くの発表がありました。その纏めをお届けします。 Glacier Deep Archiveが発表されました。(Pre Announce) S3 Glacier ディープアーカイブは Amazon S3 の最も低コストのストレージクラスであり、定期的にアクセスされないデータの長期保存とデジタル保存をサポートします。保存されたすべてのオブジェクトは、地理的に分散した 3 つ以上のアベイラビリティーゾーンにレプリケートおよび保存され、99.999999999% の耐久性によって保護され、12 時間以内に復元できます。 Amazon FSx for Windows File Serverが発表されました。 完全マネージド型の Windows ファイルサーバーに裏付けられたネイティブ Windows ファイルサーバーに、広く採用されている SMB (Server Message Block) プロトコルを介してアクセスできます。SSD ストレージで構築されている Amazon FSx for Windows ファイルサーバーは、一貫したミリ秒未満のパフォーマンスを提供します。 Amazon FSx for Lustreが発表されました。 オープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 […]

Read More

AWS App Meshが発表になりました。

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、エバンジェリストの亀田です。 AWS App Meshが発表されました。 AWS App Mesh App Meshは、マイクロサービスの通信方法を標準化し、エンドツーエンドの可視性を提供し、アプリケーションの高可用性を確保することで、AWS で実行されているマイクロサービスのモニタリングと制御を容易にします。 アプリケーション内のすべてのマイクロサービスに一貫した可視性とネットワークトラフィック制御を提供することで、マイクロサービスを簡単に実行できます。 App Mesh を使用すると、アプリケーションコードを更新して、監視データの収集方法やマイクロサービス間のトラフィックのルーティング方法を変更する必要がなくなり、監視データをエクスポートするように各マイクロサービスを構成し、アプリケーション全体で一貫した通信制御ロジックを実装します。 これにより、エラーの正確な場所をすばやく特定し、障害が発生した場合やコード変更を展開する必要がある場合にネットワークトラフィックを自動的に再ルーティングすることが容易になります。 Amazon ECS および Amazon EKS でApp Meshを使用すると、コンテナー化されたマイクロサービスを大規模に実行できます。 App Mesh はオープンソースの Envoy プロキシを使用しているため、マイクロサービスを監視するための幅広い AWS パートナーおよびオープンソースツールと互換性があります。 App Meshは、すべてのマイクロサービスからメトリック、ログ、トレースを一貫してキャプチャします。 このデータを組み合わせて Amazon CloudWatch、AWS X-Ray、および互換性のある AWS パートナーおよびコミュニティツールにエクスポートし、モニタリングとトレースを行うことができます。 これにより、マイクロサービスに関する問題をすばやく特定して切り分け、アプリケーション全体を最適化できます。 – プロダクトマーケティング エバンジェリスト 亀田

Read More

新機能 – EC2インスタンスの休止

ご存知のようにAWSでは、必要なタイミングで必要なだけのEC2インスタンスを起動し、スケール自在なシステムを容易に構築することができます。このときインスタンス自体は数秒で起動するものの、OSとその上で稼働するアプリケーションの起動には一定の時間が掛かります。またキャッシュアプリケーションなど、大量のメモリを用いるアプリケーションを起動し、必要なデータをメモリに展開するのにも時間が必要であり、時には10分以上要することがあります。こういった背景があることから、キャパシティを迅速に増加させられるようにインスタンスを前もって起動しておく方法が採られますが、この場合つい起動し過ぎてしまうということがあります。 EC2インスタンスの休止(ハイバネーション) 本日私たちは、起動したEC2インスタンスを希望したようにセットアップしたのちに、そのEC2インスタンスを休止させ、また再開できる機能を発表します。休止プロセスはそのインスタンスのメモリ状態を保管し、また休止したタイミングで設定されていたプライベートIPアドレスとEIPを保持します。

Read More

Amazon FreeRTOSでBluetooth Low Energyが利用可能、Espressif ESP32で利用する例

Amazon Web Services (AWS) は、Amazon FreeRTOS BLEのベータ版を発表しました。本機能により組み込み開発者が、Bluetooth Low Energy (BLE) を使用するAmazon FreeRTOSデバイスをAndroidまたはiOS端末を通して安全にAWS IoTと接続することができます。Amazon FreeRTOSのBLEサポートにより、Wi-Fiを含む他の接続方法よりも低消費電力が必要なデバイス向けの新しいアプリケーション開発が可能になります。 Amazon FreeRTOSのBLEサポートにより、汎用的なAPI経由で標準のGeneric Access Profile (GAP)やGeneric Attributes (GATT)プロファイルを利用することで、Amazon FreeRTOS対応デバイス間で移植可能なBLEアプリケーションの作成や、AndroidやiOS SDKsを利用してAWS IoT機能と統合することが可能です。BLEの仕様によると、GAPはBLEデバイスがどのようにブロードキャストを有効にし、相互接続するかを定義している。GATTは、コネクションが接続されるとどのようにデータが転送されるかを記述している。

Read More

新発表 – Amazon Forecast – 時系列予測を容易に

未来を予見する能力は、信じられないほどのスーパーパワーとなります。AWSは、あなたにその力を与えることはできませんが、機械学習において、数ステップで時系列の予測を行うお手伝いができます。 時系列予測のゴールは、毎週の売上、1日の在庫レベル、1時間ごとのウェブサイトトラフィックなどの時間依存データの将来の値を予測することです。 今日の企業は、シンプルなスプレッドシートから複雑な財務計画ソフトウェアまであらゆるものを使用して、製品需要、リソースニーズ、財務パフォーマンスなどの将来のビジネス成果を正確に予測しようとしています。 これらのツールは、時系列データと呼ばれる一連の履歴データを見て予測を作成します。例えば、そのようなツールは、レインコートの将来の売上を、過去の売上データと、未来が過去によって決定されるという前提をもとにして、単に予測しようとする場合があります。 このアプローチは、不規則な傾向を持つ大量のデータセットに対して正確な予測を生成するのに苦労する可能性があります。 また、時間とともに変化するデータ系列(価格、割引、ウェブトラフィックなど)を、製品の機能や店舗の場所などの関連する独立変数と簡単に組み合わせることもできません。

Read More

re:Invent 2018 / Andy Jassy Keynote / AWS Outposts

AWS Outposts がアナウンスされました。 AWS Outposts AWS Outpostsは、ネイティブのAWSサービス、インフラストラクチャ、および運用モデルをほぼすべてのデータセンター、コロケーションスペース、またはオンプレミス施設に提供します。シームレスなハイブリッドクラウドソリューションのためにAWSで使用するのと同じソフトウェア、サービス、インフラストラクチャ、管理ツール、開発、および展開モデルをOutpostsに使用します。 AWS Outpostには次の2種類があります。1)AWS Outposts上で実行されるAWSサービス上のVMware Cloud。2)AWSクラウドで使用されているのと同じネイティブのAWS APIを使用して、顧客がオンプレミスでコンピューティングとストレージを実行できるようにするAWS Outposts。Outpostsを使用すると、オンプレミス環境とクラウド環境の両方の管理プレーンとして、AWS上のAWS Management ConsoleまたはVMware Cloudを選択できます。オンプレミスまたはクラウドに展開できる最新のクラウドネイティブアプリケーションを構築および展開するために、同じオートメーション、ガバナンスコントロール、ポリシー、API、および開発者ツールを使用できます。 AWS Outpostsを使用すると、AWSクラウドとオンプレミスのすべてのアプリケーションで、API、管理コンソール、自動化、ガバナンスポリシー、およびセキュリティコントロールの管理プレーンとして、AWS上のAWS Management ConsoleまたはVMware Cloudを選択できます。   – プロダクトマーケティング エバンジェリスト 亀田

Read More

re:Invent 2018 / Andy Jassy Keynote / Amazon Textract

Amazon Textractがアナウンスされました。 Amazon Textract スキャンされたドキュメントからテキストとデータを自動的に抽出するサービスです。Amazon Textractは、単純な光学式文字認識(OCR)を超えて、テーブルに格納されたフォームや情報のフィールドの内容も識別するサービスです。 機械学習を使用して、手作業やカスタムコードを必要とせずに、テキストやデータを正確に抽出するためにあらゆる種類の文書を即座に「読む」ことができるようになります。Textractを使用すると、ドキュメントワークフローを迅速に自動化できるため、何百万ものドキュメントページを数時間で処理できます。情報が取り込まれると、ビジネスアプリケーション内で情報を処理して、ローン申請または医療請求処理の次のステップを開始できます。さらに、スマート検索インデックスの作成、承認済みワークフローの自動作成、文書のアーカイブルールへの準拠を維持するために、修正が必要なデータにフラグを立てることができます。 ユースケース スマート検索インデックスの作成 Amazon Elasticsearch Serviceを使用して、構造化されたデータをドキュメントから抽出し、スマートなインデックスを作成し、数百万件の財務諸表をすばやく検索できるようにします。たとえば、住宅ローン会社はAmazon Textractを使用して数百万のスキャンローンアプリケーションを数時間で処理し、抽出されたデータをAmazon Elasticsearchで索引付けすることができます。これにより、「申請者名がJohn Doeのローン申請の検索」や「金利が2%の検索契約」などの検索エクスペリエンスを作成できます。 自動化されたドキュメント処理ワークフローの構築 Amazon Textractは、人間の介入なしにフォームを自動的に処理するために必要な入力を提供できます。たとえば、銀行は融資申し込みのPDFを読むためのコードを書くことができます。文書に記載されている情報は、顧客が手作業によるレビューと検証のために数日待つ必要はなく、アプリケーションの即時結果を得るために、ローンを承認するために必要なバックグラウンドとクレジットチェックを開始するために使用できます。   – プロダクトマーケティング エバンジェリスト 亀田  

Read More

re:Invent 2018 / Andy Jassy Keynote / AWS Inferentia

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 AWS Inferentia がアナウンスされました。 AWS Inferentia     低コストで高性能を実現するように設計された機械学習の推論チップです。AWS Inferentは、TensorFlow、Apache MXNet、PyTorchディープラーニングフレームワーク、およびONNXフォーマットを使用するモデルをサポートし、アプリケーションの計算コストの90%を節約することができます。 AWS Inferentiaは、非常に低コストで高スループット、低遅延の推論性能を提供します。各チップは、複雑なモデルによる高速予測を可能にするために、数百のTOPS(1秒間のテラ操作)の推論スループットを提供します。パフォーマンスをさらに向上させるために、複数のAWS Inferentiaチップを一緒に使用して、何千ものスループットを向上させることができます。Amazon SageMaker、Amazon EC2、Amazon Elastic InferenceでAWS Inferentiaを使用できます。 2019年のサービス提供開始を予定しています。続報をお待ちください。 – プロダクトマーケティング エバンジェリスト 亀田

Read More