Amazon Web Services ブログ

Category: General

re:Invent 2018 / Werner Vogels Keynote / Amazon MSK

Amazon Managed Streaming for Kafka(MSK)のプレビューが発表になりました。 Amazon MSK ストリーミングデータを処理するApache Kafkaは、リアルタイムのストリーミングデータパイプラインとアプリケーションを構築するためのオープンソースのプラットフォームです。Amazon MSKは、Apache Kafka APIを使用してデータ・レイクを作成したり、データベースとの間で変更をストリーミングしたり、マシンの学習および分析アプリケーションを強化することができるフルマネージドサービスです。 Apache Kafkaクラスターは、実動環境でセットアップ、スケール、および管理が難しく、、サーバーのプロビジョニング、手動によるApache Kafkaの構成、障害が発生したサーバーの置き換え、サーバーのパッチとアップグレードの調整、高可用性のためのクラスターの設計、データの永続的な保管と保護、負荷変動をサポートするスケーリングイベントの計画などが必要になります。 KafkaのAmazon Managed Streamingは、Apache Kafkaのインフラストラクチャ管理の専門知識を必要とせずに、Apache Kafkaで本番アプリケーションを構築して実行することを容易にします。つまり、インフラストラクチャの管理に要する時間を短縮し、アプリケーションを構築する時間を短縮できます。 Amazon MSKは、ネットワーク分離、Amazon VPC、コントロールプレーンAPI認証用のAWS IAM、および残りの暗号化など、Apache Kafkaクラスターの複数レベルのセキュリティーを提供します。Amazon MSKの暗号化サポートは、AWS Key Management Service  (KMS)と統合されてい  ます。 – プロダクトマーケティング エバンジェリスト 亀田  

Read More

新機能 – Amazon SageMaker Neo – トレーニングしたモデルをどこでも実行

機械学習(Machine Learning: ML)は、トレーニングと推論という2つの異なるフェーズに分かれています。 トレーニングは、モデルを構築すること、すなわち、意味のあるパターンを識別するためにデータセット上で ML アルゴリズムを実行することを扱います。これには大量のストレージとコンピューティングパワーが必要なことが多く、クラウドは Amazon SageMaker や AWS Deep Learning AMI などのサービスで ML ジョブをトレーニングするためのうってつけな場所になります。 推論は、モデルの使用、すなわちモデルが一度も見たことがないデータサンプルの結果を予測することを扱います。ここでは、要件が異なります。開発者は通常、待ち時間(1回の予測でどれくらい時間がかかるか)とスループット(並列で実行できる予測の数)を最適化することに関心があります。 もちろん、リソースが制約されているデバイスを扱う場合は、予測環境のハードウェアアーキテクチャがこのようなメトリックに非常に大きな影響を与えます。Raspberry Pi の愛好家として、私はしばしば、若い仲間が私の推論コードをスピードアップするためにもう少し誘導して欲しいと思っています。 特定のハードウェアアーキテクチャーのモデルをチューニングすることは可能ですが、ツールの欠如が原因でエラーが発生しやすく時間がかかります。ML フレームワークやモデル自体にマイナーな変更を加えると、通常、ユーザーは再び最初からやり直す必要があります。残念なことに、ほとんどの ML 開発者は、基礎となるハードウェアにかかわらずどこでも同じモデルを展開する必要があり、パフォーマンスは大幅に向上しません。

Read More

re:Invent 2018 / 11月29日 アップデートのまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 今日はAndy Jassy のKeynoteでの多くの発表を中心として、多くの発表がありました。その纏めをお届けします。 Glacier Deep Archiveが発表されました。(Pre Announce) S3 Glacier ディープアーカイブは Amazon S3 の最も低コストのストレージクラスであり、定期的にアクセスされないデータの長期保存とデジタル保存をサポートします。保存されたすべてのオブジェクトは、地理的に分散した 3 つ以上のアベイラビリティーゾーンにレプリケートおよび保存され、99.999999999% の耐久性によって保護され、12 時間以内に復元できます。 Amazon FSx for Windows File Serverが発表されました。 完全マネージド型の Windows ファイルサーバーに裏付けられたネイティブ Windows ファイルサーバーに、広く採用されている SMB (Server Message Block) プロトコルを介してアクセスできます。SSD ストレージで構築されている Amazon FSx for Windows ファイルサーバーは、一貫したミリ秒未満のパフォーマンスを提供します。 Amazon FSx for Lustreが発表されました。 オープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 […]

Read More

AWS App Meshが発表になりました。

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、エバンジェリストの亀田です。 AWS App Meshが発表されました。 AWS App Mesh App Meshは、マイクロサービスの通信方法を標準化し、エンドツーエンドの可視性を提供し、アプリケーションの高可用性を確保することで、AWS で実行されているマイクロサービスのモニタリングと制御を容易にします。 アプリケーション内のすべてのマイクロサービスに一貫した可視性とネットワークトラフィック制御を提供することで、マイクロサービスを簡単に実行できます。 App Mesh を使用すると、アプリケーションコードを更新して、監視データの収集方法やマイクロサービス間のトラフィックのルーティング方法を変更する必要がなくなり、監視データをエクスポートするように各マイクロサービスを構成し、アプリケーション全体で一貫した通信制御ロジックを実装します。 これにより、エラーの正確な場所をすばやく特定し、障害が発生した場合やコード変更を展開する必要がある場合にネットワークトラフィックを自動的に再ルーティングすることが容易になります。 Amazon ECS および Amazon EKS でApp Meshを使用すると、コンテナー化されたマイクロサービスを大規模に実行できます。 App Mesh はオープンソースの Envoy プロキシを使用しているため、マイクロサービスを監視するための幅広い AWS パートナーおよびオープンソースツールと互換性があります。 App Meshは、すべてのマイクロサービスからメトリック、ログ、トレースを一貫してキャプチャします。 このデータを組み合わせて Amazon CloudWatch、AWS X-Ray、および互換性のある AWS パートナーおよびコミュニティツールにエクスポートし、モニタリングとトレースを行うことができます。 これにより、マイクロサービスに関する問題をすばやく特定して切り分け、アプリケーション全体を最適化できます。 – プロダクトマーケティング エバンジェリスト 亀田

Read More

新機能 – EC2インスタンスの休止

ご存知のようにAWSでは、必要なタイミングで必要なだけのEC2インスタンスを起動し、スケール自在なシステムを容易に構築することができます。このときインスタンス自体は数秒で起動するものの、OSとその上で稼働するアプリケーションの起動には一定の時間が掛かります。またキャッシュアプリケーションなど、大量のメモリを用いるアプリケーションを起動し、必要なデータをメモリに展開するのにも時間が必要であり、時には10分以上要することがあります。こういった背景があることから、キャパシティを迅速に増加させられるようにインスタンスを前もって起動しておく方法が採られますが、この場合つい起動し過ぎてしまうということがあります。 EC2インスタンスの休止(ハイバネーション) 本日私たちは、起動したEC2インスタンスを希望したようにセットアップしたのちに、そのEC2インスタンスを休止させ、また再開できる機能を発表します。休止プロセスはそのインスタンスのメモリ状態を保管し、また休止したタイミングで設定されていたプライベートIPアドレスとEIPを保持します。

Read More

Amazon FreeRTOSでBluetooth Low Energyが利用可能、Espressif ESP32で利用する例

Amazon Web Services (AWS) は、Amazon FreeRTOS BLEのベータ版を発表しました。本機能により組み込み開発者が、Bluetooth Low Energy (BLE) を使用するAmazon FreeRTOSデバイスをAndroidまたはiOS端末を通して安全にAWS IoTと接続することができます。Amazon FreeRTOSのBLEサポートにより、Wi-Fiを含む他の接続方法よりも低消費電力が必要なデバイス向けの新しいアプリケーション開発が可能になります。 Amazon FreeRTOSのBLEサポートにより、汎用的なAPI経由で標準のGeneric Access Profile (GAP)やGeneric Attributes (GATT)プロファイルを利用することで、Amazon FreeRTOS対応デバイス間で移植可能なBLEアプリケーションの作成や、AndroidやiOS SDKsを利用してAWS IoT機能と統合することが可能です。BLEの仕様によると、GAPはBLEデバイスがどのようにブロードキャストを有効にし、相互接続するかを定義している。GATTは、コネクションが接続されるとどのようにデータが転送されるかを記述している。

Read More

新発表 – Amazon Forecast – 時系列予測を容易に

未来を予見する能力は、信じられないほどのスーパーパワーとなります。AWSは、あなたにその力を与えることはできませんが、機械学習において、数ステップで時系列の予測を行うお手伝いができます。 時系列予測のゴールは、毎週の売上、1日の在庫レベル、1時間ごとのウェブサイトトラフィックなどの時間依存データの将来の値を予測することです。 今日の企業は、シンプルなスプレッドシートから複雑な財務計画ソフトウェアまであらゆるものを使用して、製品需要、リソースニーズ、財務パフォーマンスなどの将来のビジネス成果を正確に予測しようとしています。 これらのツールは、時系列データと呼ばれる一連の履歴データを見て予測を作成します。例えば、そのようなツールは、レインコートの将来の売上を、過去の売上データと、未来が過去によって決定されるという前提をもとにして、単に予測しようとする場合があります。 このアプローチは、不規則な傾向を持つ大量のデータセットに対して正確な予測を生成するのに苦労する可能性があります。 また、時間とともに変化するデータ系列(価格、割引、ウェブトラフィックなど)を、製品の機能や店舗の場所などの関連する独立変数と簡単に組み合わせることもできません。

Read More

re:Invent 2018 / Andy Jassy Keynote / AWS Outposts

AWS Outposts がアナウンスされました。 AWS Outposts AWS Outpostsは、ネイティブのAWSサービス、インフラストラクチャ、および運用モデルをほぼすべてのデータセンター、コロケーションスペース、またはオンプレミス施設に提供します。シームレスなハイブリッドクラウドソリューションのためにAWSで使用するのと同じソフトウェア、サービス、インフラストラクチャ、管理ツール、開発、および展開モデルをOutpostsに使用します。 AWS Outpostには次の2種類があります。1)AWS Outposts上で実行されるAWSサービス上のVMware Cloud。2)AWSクラウドで使用されているのと同じネイティブのAWS APIを使用して、顧客がオンプレミスでコンピューティングとストレージを実行できるようにするAWS Outposts。Outpostsを使用すると、オンプレミス環境とクラウド環境の両方の管理プレーンとして、AWS上のAWS Management ConsoleまたはVMware Cloudを選択できます。オンプレミスまたはクラウドに展開できる最新のクラウドネイティブアプリケーションを構築および展開するために、同じオートメーション、ガバナンスコントロール、ポリシー、API、および開発者ツールを使用できます。 AWS Outpostsを使用すると、AWSクラウドとオンプレミスのすべてのアプリケーションで、API、管理コンソール、自動化、ガバナンスポリシー、およびセキュリティコントロールの管理プレーンとして、AWS上のAWS Management ConsoleまたはVMware Cloudを選択できます。   – プロダクトマーケティング エバンジェリスト 亀田

Read More

re:Invent 2018 / Andy Jassy Keynote / Amazon Textract

Amazon Textractがアナウンスされました。 Amazon Textract スキャンされたドキュメントからテキストとデータを自動的に抽出するサービスです。Amazon Textractは、単純な光学式文字認識(OCR)を超えて、テーブルに格納されたフォームや情報のフィールドの内容も識別するサービスです。 機械学習を使用して、手作業やカスタムコードを必要とせずに、テキストやデータを正確に抽出するためにあらゆる種類の文書を即座に「読む」ことができるようになります。Textractを使用すると、ドキュメントワークフローを迅速に自動化できるため、何百万ものドキュメントページを数時間で処理できます。情報が取り込まれると、ビジネスアプリケーション内で情報を処理して、ローン申請または医療請求処理の次のステップを開始できます。さらに、スマート検索インデックスの作成、承認済みワークフローの自動作成、文書のアーカイブルールへの準拠を維持するために、修正が必要なデータにフラグを立てることができます。 ユースケース スマート検索インデックスの作成 Amazon Elasticsearch Serviceを使用して、構造化されたデータをドキュメントから抽出し、スマートなインデックスを作成し、数百万件の財務諸表をすばやく検索できるようにします。たとえば、住宅ローン会社はAmazon Textractを使用して数百万のスキャンローンアプリケーションを数時間で処理し、抽出されたデータをAmazon Elasticsearchで索引付けすることができます。これにより、「申請者名がJohn Doeのローン申請の検索」や「金利が2%の検索契約」などの検索エクスペリエンスを作成できます。 自動化されたドキュメント処理ワークフローの構築 Amazon Textractは、人間の介入なしにフォームを自動的に処理するために必要な入力を提供できます。たとえば、銀行は融資申し込みのPDFを読むためのコードを書くことができます。文書に記載されている情報は、顧客が手作業によるレビューと検証のために数日待つ必要はなく、アプリケーションの即時結果を得るために、ローンを承認するために必要なバックグラウンドとクレジットチェックを開始するために使用できます。   – プロダクトマーケティング エバンジェリスト 亀田  

Read More

新発表 – AWS マーケットプレイスで機械学習アルゴリズムとモデルのパッケージを提供開始

AWS における私達のミッションは、全ての開発者の手に機械学習を届けることです。それ故、2017 年に私達は、機械学習モデルを構築・トレーニング/チューニング・デプロイするためのフルマネージドなサービスである Amazon SageMaker をローンチしました。サービスローンチ以来、Amazon SageMaker はこれまでにリリースしたサービスの中で最も成長しているサービスの 1 つになり、グローバルで数千の機関で採用されました。Amazon SageMaker を利用するお客様は、Amazon SageMaker で最適化されたアルゴリズムを使い、フルマネージドな MXNet、Tensorflow、PyTorch、Chainer のアルゴリズムを実行させたり、独自のアルゴリズムやモデルを持ち込むことができます。ただ、独自のモデルを自分たちで構築するとなると、多くのお客様はすでに解決されている問題に対するソリューションであるアルゴリズムとモデルを開発するのに非常に多くの時間を費やしてきました。   AWS マーケットプレイス機械学習カテゴリの紹介 AWS マーケットプレイスで提供される新しい機械学習カテゴリについて発表できることを嬉しく思います。機械学習カテゴリには、150以上のアルゴリズムとモデルパッケージがあり、毎日増えて行く予定です。AWS マーケットプレイスは小売(35)、メディア(19)、製造(17)、ヘルスケア・ライフサイエンス(15)、等のような垂直型産業向けに適したセレクションを提供します。 ※()内は提供製品数 お客様は乳がん予測、リンパ腫分類・再入院判定・ローンリスク予測・乗り物認識・小売最適化・ボットネット攻撃検出・カーテレマティクスモデル・動作検出・需要予測・発話認識などのような重要なユースケースに対するソリューションを探すことができます。 お客様は AWS マーケットプレイスでパッケージ化されたアルゴリズムとモデルを探し、閲覧することができます。購入したお客様はすぐに、SageMaker コンソール、Jupyter ノートブック、SageMaker SDK、AWS CLI から直接アルゴリズムやモデルをデプロイすることができます。AmazonSageMaker は静的スキャン、ネットワークの分離、ランタイム監視など、多くのセキュリティ対策を講じることにより、買い手のデータを守ります。 AWS マーケットプレイスにおける売り手の知的財産は、転送中やその後の行程でアルゴリズムとモデルパッケージを暗号化すること、通信に SSL 通信を利用すること、そして、デプロイされたアーティファクトにロールベースでアクセスすることを保証することによって守られます。AWS は、アルゴリズムとモデルを発行するための衝突のないセルフサービスプロセスにより、売り手がビジネスでマネタイズするための安全な方法を提供します。 機械学習カテゴリを利用する 過去に自分自身でモデルを構築しようとしてきたので、私はこの機能に大変興奮しています。AWS マーケットプレイスから提供可能なアルゴリズムやモデルを閲覧した後、Deep Vision AI 社が発行する Deep Vision 乗り物認識を利用することに決めました。このモデルを利用すると、アップロードされた画像群から車のメーカー・モデル、そして、種別を認識することができます。このモデルは保険金請求手続き、オンライン車販売、乗り物識別などのビジネスで利用することができます。 購入手続きを続け、デフォルトの推奨されるインスタンスタイプとリージョンを設定しました。購入引受契約を読み、了承し、モデルを利用する準備が完了しました。 購入したものは Amazon SageMaker コンソールにリストアップされ、利用可能な状態です。Amazon SageMaker で利用するためのモデルデプロイは他のモデルパッケージと同様です。このガイドに沿って、エンドポイントの作成とデプロイを実施するためのステップを完了しました。 デプロイしたエンドポイントを利用して、モデルでの推論を開始できます。このケースでは、車 […]

Read More