Amazon Web Services ブログ

デベロッパー達、2019 AWS DeepRacer League に向けてエンジン始動せよ

AWS DeepRacer League でポールポジションを狙ってください。本日、皆さまに AWS DeepRacer の旅路にとってのネクストステージ、AWS DeepRacer League 2019 をお伝えすることに興奮しています。 2018年11月、AWS のニュースブログにおいて Jeff Barr が、機械学習 (ML) を学ぶための新たな道、AWS DeepRacer の立ち上げを発表しました。AWS DeepRacer に参加するデベロッパーは、強化学習による 1/18 スケールの完全自律型レースカー、3D レースシミュレーション、グローバルなレースリーグの機会を得ることができます。 AWS re:Invent 2018 では、数千人のデベロッパーが、レーシングコース上の実戦に臨み、名誉と賞金、そして、憧れの AWS DeepRacer チャンピオンカップを手中に収めるべく競い合いました。2018 年の王座を獲得したのは、Rick Fish 氏。UK に本拠を持つフィンテック系スタートアップ企業、Jigsaw XYZ の共同出資者です。これは僅差のレースでしたが、最終的に Rick 氏が 50.51 秒のウィニングタイムで勝ち抜きました。deepracerleague.comでは、去年のレースの模様、そして、リック氏のレースチームが、2019年のタイトル防衛のために準備しているアップデートなどを伝える、彼との最近のインタビューがご覧いただけます。 さあ、次にレースコースに出て、AWS DeepRacer を使った ML についての学習機会を得るのは、あなたです。AWS DeepRacer League 2019 への参加方法には、Summit Circuit と Virtual Circuit […]

Read More

AWS 深層学習 AMI が TensorFlow 1.13 と MXNet 1.4 を搭載し Amazon Linux 2 に対応

AWS 深層学習 AMI に、新たに MXNet 1.4.0、Chainer 5.3.0、TensorFlow 1.13.1 が追加されました。これらはソースから直接カスタムビルドされ、Amazon EC2 インスタンス全体で、高パフォーマンスのトレーニング向けに調整されています。 AWS 深層学習 AMI が Amazon Linux 2 で使用可能に 開発者は、AWS 深層学習 AMI と Deep Learning Base AMI を、次世代の Amazon Linux である Amazon Linux 2 で使用できるようになります。本バージョンは、2023 年 6 月 30 日までの長期サポート (LTS) を備え、Linux エコシステムの最新のイノベーションを利用することができます。Amazon Linux 2 の深層学習 AMI は、Python 3.6 と Python 2.7 で、TensorFlow (Keras 含む)、MXNet、PyTorch、Chainer 向けに事前構築され最適化された仮想環境を備えています。開発者は、Ubuntu […]

Read More

Amazon Relational Database Service を使用したシャーディング

水平パーティション分割とも呼ばれるシャーディングは、リレーショナルデータベースの一般的なスケールアウトアプローチです。Amazon Relational Database Service (Amazon RDS) は、クラウドでシャーディングを使いやすくするための優れた機能を提供するマネージド型リレーショナルデータベースサービスです。この記事では、Amazon RDS を使用してデータストレージの高いスケーラビリティ、高可用性、およびフォールトトレランスを実現するために、シャードデータベースアーキテクチャを実装する方法について説明します。Amazon RDS をデータベースシャードとしてデプロイする際のスキーマ設計とモニタリングメトリクスに関する考慮事項について説明します。また、リシャーディングの課題についても概説し、Amazon RDS でのプッシュボタンによるスケールアップおよびスケールアウトソリューションを紹介します。 シャードデータベースアーキテクチャ シャーディングは、データをより小さなサブセットに分割し、それらを物理的に分離された多数のデータベースサーバーに分配する手法です。各サーバーはデータベースシャードと呼ばれます。すべてのデータベースシャードは通常、同レベルのパフォーマンスを生成するために、同じタイプのハードウェア、データベースエンジン、およびデータ構造を持っています。ただし、それらはお互いの知識を持っておらず、その点が、データベースクラスタリングやレプリケーションなどの他のスケールアウトアプローチとシャーディングを区別する重要な特性です。 シェアードナッシングモデルにより、スケーラビリティとフォールトトレランスの点で、シャードデータベースアーキテクチャは独自の強みを発揮します。データベースメンバー間のコミュニケーションや競合を管理する必要はありません。それに伴う複雑さとオーバーヘッドは存在しません。1 つのデータベースシャードにハードウェアの問題があるか、フェールオーバーを経ても、単一障害点やスローダウンは物理的に分離されているため、他のシャードは影響を受けません。アプリケーション層に存在するデータマッピングとルーティングロジックの一部から発生するレイテンシーが非常に少ないという条件で、シャーディングは必要なだけのデータベースサーバーを利用する可能性があります。 ただし、シェアードナッシングモデルでは、シャーディングという避けられない欠点も発生させます。そこでは、さまざまなデータベースシャードに分散しているデータが分離されています。複数のデータベースシャードからデータを読み取りまたは結合するためのクエリは、特別に設計する必要があります。通常、片方のシャードでのみ動作するピアよりも高いレイテンシーが発生します。すべてのデータの一貫したグローバルなイメージを提供できないことは、データ分析機能が通常データセット全体に対して実行されるオンライン分析処理 (OLAP) 環境で積極的な役割を果たすことにおいて、シャードデータベースアーキテクチャを制限します。 オンライントランザクション処理 (OLTP) 環境では、大量の書き込みまたはトランザクションが単一のデータベースの容量を超えることがあり、スケーラビリティが懸念される場合、シャーディングは常に追求する価値があります。Amazon RDS の登場により、データベースの設定と運用は大幅に自動化されました。これにより、シャードデータベースアーキテクチャを扱う作業がずっと簡単になります。Amazon RDS は、Amazon RDS for MySQL、MariaDB、PostgreSQL、Oracle、SQL Server、およびAmazon Aurora を含むデータベースエンジンのセットを提供します。これらのいずれかを、シャードデータベースアーキテクチャのデータベースシャードの構成要素として使用できます。 Amazon RDS を使用して構築されたシャードデータベースアーキテクチャの例を見てみましょう。AWS クラウドコンピューティング環境のコンテキストでは、データフローパス内での位置はいくつかの特徴があります (次の図に示します)。 Auto Scaling 機能を備えた Amazon EC2 インスタンスのグループでホストされているウェブアプリケーションを介してデータがシステムに入力されます。 データストレージは、さまざまなビジネス要件および所有権要件を満たすために OLTP 環境が OLAP 環境から分離されている層になっています。 OLTP 環境ではデータベースシャーディングを使用します。これは、高いスケーラビリティで書き込みスループットに対する増大する需要を満たすために Amazon RDS で構築されたデータベースのグループで構成されています。Multi-AZ 機能を使用してデプロイされたスタンドアロンデータベースを使用した高可用性を実現するために各データベースシャードを構築します。注意: […]

Read More

Amazon Comprehend MedicalとAmazon Rekognitionを使用した医療画像の匿名化

現代医学において医療画像は、臨床医が患者の診察と治療のための重要な情報を可視化する基本的なツールです。医療画像のデジタル化により、これらの画像を確実に保存、共有、表示、検索、整理する能力が大幅に向上し、医療従事者を支援しています。医療画像のためのモダリティの数も増加しています。CTスキャンからMRI、デジタル病理学、超音波まで、医療画像アーカイブに収集された膨大な量の医療データがあります。 これらの医療画像はまた、医学研究に有用です。機械学習を利用することで、世界中の医療研究機関の科学者は数十万または数百万もの画像データを解析して、医学的問題への深い洞察を得る事が可能です。医療従事者にとって、医療保険の相互運用性と説明責任に関する法令 (HIPAA)のような規制を遵守しながら、このような医療画像をどう扱うかが課題となっています。多くの場合、医療画像には画像自身にテキストとして保存されている保護対象医療情報(PHI)が含まれています。匿名化と呼ばれるPHIを除去するプロセスは、手作業で画像の確認と編集が必要となるため、歴史的に課題として挙げられてきました。この作業は画像1枚あたり何分もかかってしまい、大規模なデータセットの匿名化となると多くの時間と費用がかかります。2017年にAmazon Web Services (AWS)は、機械学習サービスであるAmazon Rekognitionを使用して画像から簡単にテキストを検出、抽出する事ができる事を発表しました。2018年には、テキスト内にあるPHIの検出と識別をサポートするAmazon Comprehend Medical と呼ばれる、医療テキストのための自然言語処理(NLP)の新しい機械学習サービスを発表しました。これら2つのサービスと数行のPythonコードで、blog記事で示しているような医療画像からPHIを安価かつ迅速に検出、識別、マスクする事ができます。 匿名化のアーキテクチャ この例では、Amazon SageMakerのJupyter Notebooksを利用してPythonコードでインタラクティブなノートブックを作成します。 Amazon SageMakerは事前にビルドされたJupyter notebookとアルゴリズムを使用して、迅速に学習用データの準備と機械学習モデルのビルドができるエンドツーエンドの機械学習プラットフォームです。このblog記事では、実際の機械学習と予測について、Amazon Rekognitionで画像からテキストを抽出し、Amazon Comprehend MedicalでPHIの特定と検出をしています。全てのイメージファイルは、Amazon Simple Storage Service (Amazon S3)という業界トップのスケーラビリティ、データの可用性、セキュリティ、パフォーマンスを提供するオブジェクトストレージサービスのバケットから読み書きされます。 Amazon Comprehend Medical を使用して保護された医療情報を検出・識別する際に留意すべきことは、識別されたエンティティごとに、そのサービスは検出したエンティティの精度に対する信頼度を示す信頼スコアを提供している点です。これらの信頼スコアを考慮に入れて、識別されたエンティティがあなたのユースケースに合致しており適切であるかを確認してください。信頼性スコアの詳細については、 Amazon Comprehend Medicalのドキュメントを参照してください。 Notebookの利用 このblog記事のJupyter NotebookはGitHubからダウンロードできます。 このnotebookは、NIH Clinical Centerによって提供されたデータセットの胸部X線画像の例を示しています。このデータセットは、こちらのリンクからダウンロード可能です。 詳細については、NIH Clinical CenterのCVPR 2017 paperを参照してください。 notebookを開始するにあたり、この例では以下の調整可能な5つのパラメータを利用して匿名化プロセスを制御します。 bucketは、読み書きされる画像が格納されたAmazon S3バケットを定義します。 objectは、匿名化したい識別画像を定義します。PNG, JPG , DICM形式の画像が利用可能です。オブジェクト名が拡張子.dcmで終わっていれば、その画像はDICOM画像であるとみなされ、ImageMagickユーティリティによって、識別処理を行う前にPNGに変換されます。 redacted_box_colorは 、画像内の識別されたPHIテキストをマスクする際の色を定義します。 dpiは、出力する画像で使用するdpi設定を定義します。 phi_detection_thresholdは、前述した信頼スコアの閾値です(0.00から1.00の間)。Amazon Comprehend Medicalで検出・識別されたテキストは、出力画像からマスクされるように設定した最小信頼スコアを満たす必要があります。デフォルト値は0.00で、この値は信頼スコアとは関係なく、Amazon Comprehend MedicalがPHIと識別して検出した全てのテキストをマスクします。 […]

Read More

【4回シリーズ/1回目】メディアサービス - ライブ動画ストリーミングの遅延(レイテンシー)

スポーツ中継、ゲーム、ニュース配信、TV番組など、動画配信のニーズは高まっているものの、配信遅延や最適なサービスの選択に困っている方もいらっしゃるのではないでしょうか?メディアサービスを検討する際によくある課題とソリューションについて、以下のように4つのパートに分けて解説します。ひとつ目のテーマは「レイテンシー(配信遅延)の定義と測定」です。 パート 1:レイテンシーの定義と測定(この記事) パート 2:エンコード、パッケージ化、および CDN 配信のおすすめ最適化 パート 3:動画プレイヤーのおすすめ最適化 パート 4:参照アーキテクチャとテスト結果

Read More

Redis 用の Amazon ElastiCache を使用したアプリケーションパフォーマンスの向上とコストの削減

シニアソフトウェア開発エンジニアの Shawn Wang 氏、ソフトウェア開発エンジニアの Maddy Olson 氏、およびソフトウェアエンジニアリング担当シニアマネージャーの Itay Maoz 氏による寄稿。 Redis 用の Amazon ElastiCache を使用すると、クラウド規模で非常に低いレイテンシーで最高のパフォーマンスと最小限の管理コストを実現できます。Redis の高性能、シンプルさ、そして多様なデータ構造サポートは、最も人気のある NoSQL キーバリューストアとなっています。キャッシング、リアルタイム分析、ゲームのリーダーボード、チャットやメッセージングのいずれの場合であっても、スピードが勝ります。Redis 用 Amazon ElastiCache で簡単に実現できます。 昨年、弊社は ElastiCache が AWS でさらに優れたパフォーマンス実現への道を歩み始めました。ElastiCache で M5 および R5 インスタンスのサポートを追加する一環として、AWS Nitro ベースシステムを使って、Redis 用のElastiCache を実行するためにインスタンスを最適化しました。Amazon ベース Linux イメージを最適化することで、M5 と R5 のネットワークパフォーマンスをチューニングしました。この結果は有望でした。R5 では、R4 と比較して、1 秒あたり最大 144% を超えるトランザクションを達成しました。平均 (p50) とテール (p99) のレイテンシーを最大 23% 削減しました。それ以来、多くの大規模な ElastiCache のお客様は、より良く、より速く、そしてより安価な […]

Read More

Amazon Comprehend Medical を使用して、診療記録を OMOP 共通データモデルとヘルスケアオントロジーにマッピングする

看護観察データと共に患者の健康状態を記述できるということは、現代のヘルスケアシステムにおいて重要な側面を持っています。定量化できる個人の健康情報の量は膨大で、新しい健康管理法、基準、デバイスが導入されるに従って、その量は継続的に増えていきます。このデータはいずれも、臨床医や研究員が時間の経過と共に、患者の健康状態がどのように変化するかを把握したり、正確な治療の機会を特定したりするのを可能にします。こうしたデータの集合によって、疫学者は人々の健康状態を知り、因果関係のパターンを特定できるようになるのです。 決まった形のない文字情報、通例、カルテなどの診療記録は、患者の看護観察健康データの豊かな情報源と言えます。形式化された患者の健康状態記録には含まれない重要な情報が、臨床医によって書き込まれることもよくあります。形式化された健康状態記録データの品質評価を支援するために、診療記録が使用されることもあります。これまで診療記録では、そこに含まれる医療的洞察を抽出するために、時間とコストのかかる手作業での検証が必要であることが課題でした。 Amazon Comprehend Medical は健康状態、投薬、服用量、耐久力などの洞察を素早く、正確に抽出するために機械学習を使用する自然言語処理 (NLP) サービスです。お客様は従量課金モデルで Amazon Comprehend Medical を使用し、お客様ご自身で複雑な機械学習モデルを開発したり、トレーニングしたりといった手間をかける必要なく、すぐに医療関連文字情報から洞察を抽出できるようになります。 Observational Health Data Science and Informatics (OHDSI) のコミュニティによって管理されている Observational Medical Outcomes Partnership (OMOP) 共通データモデルは、ヘルスデータに使用される業界標準のオープンソースデータモデルです。OMOP では看護観察健康状態データを格納するために、標準化されたメディカルオントロジー、あるいは、SNOMED などの「単語集」を使用します。出典 OHDSI ウェブサイト: 「OMOP 共通データモデルにより、雑多な看護観察データベースの系統的分析が可能になります。このアプローチの背後にあるコンセプトは、これらのデータベースに含まれるデータを共通のフォーマット (データモデル) と共に、共通の表現 (単語、用語、コーディングスキーマなど)、その後、共通のフォーマットをベースに書かれた標準分析ルーチンのライブラリを使用して体系的な分析することです。」 OMOP の特徴は、雑多なヘルスデータソースから取得された診療記録を格納する機能です。このデータモデルでは、これらの記録は個々の患者と受診を紐付けし、記録をより分かりやすくします。OMOP にはまた、自然言語処理 (NLP) エンジンによって、記録から推測した洞察を格納する機能もあります。本ブログ記事では、OMOP の記録を読み取ったり、医療的洞察を抽出したり、さらには、患者と住民の看護観察健康状態データを強化するため、SNOMED オントロジー用のコードを用いて OMOP に書き込むために、Amazon Comprehend Medical をどのように使用できるかについてご紹介します。 OMOP の記録処理アーキテクチャ この例では、全 OHDSI アーキテクチャのより大きな規模の診療記録を使って作業します。この GitHub のリポジトリにアクセスすることで、AWS における […]

Read More

新機能 - Amazon Direct Connect のギガビット接続オプション

AWS Direct Connect を使用することで、データセンター、オフィス、またはコロケーション環境と AWS の間にプライベートネットワーク接続を作成できます。この接続はネットワークから始まり、91 の AWS Direct Connect ロケーションのうちの 1 ロケーションで終了します。インターネットベースの接続よりもネットワークコストを削減することができ、スループットを向上させ、そして一貫性のあるエクスペリエンスを実現できます。多くの場合、接続を確立するために AWS Direct Connect パートナーと協力する必要があります。 これの記事執筆の準備をしていく中で、AWS Direct Connect についての理解が不完全であり、その名前が実際には 3 つの異なるモデルを網羅していることを私は知りました。概要は次のとおりです。 専用の接続は 1 Gbps と 10 Gbps の容量で利用可能です。AWS マネジメントコンソールを使用して接続をリクエストします。その後、AWS はリクエストを確認し、E メールでフォローアップして追加情報をリクエストするか、または接続用のポートをプロビジョニングします。AWS がポートをプロビジョニングしたら、AWS Direct Connect パートナーが接続を行いますが、数日から数週間で完了します。専用の接続は、ご自身専用の物理的な Ethernet ポートに対応します。各専用の接続は最大 50 個の仮想インターフェース (VIF) をサポートします。始めに「接続の作成」をお読みください。 ホスト接続は 50〜500 Mbps の容量で利用可能で、接続リクエストは AWS Direct Connect パートナーを通じて行われます。AWS Direct Connect パートナーがプレミスへのネットワーク回線を確立した後に、ホスト接続を追加または削除することにより、AWS Direct […]

Read More

オンプレミス環境から Amazon SageMaker を利用する

Amazon SageMaker は、機械学習におけるデータ準備・開発・学習・モデル変換・デプロイ、これら全体のパイプラインをサポートするマネージドサービスです。SageMaker の利用を検討する際に、これらの全てを SageMaker に移行しなければならないのかというと、そうではありません。例えば、開発のみを SageMaker の Jupyter Notebook で行うことや、学習・デプロイのみを SageMaker で行うことも可能です。この特性を活かせば、オンプレミスに機械学習環境を保有しているユーザが、既存のオンプレミス環境をなるべく活用し、追加のリソースが必要な部分に SageMaker を利用することができます。

Read More

[AWS Black Belt Online Seminar] AWS Well-Architected Framework によるコスト最適化 資料及び QA 公開

先日 (2019/3/12) 開催しました AWS Black Belt Online Seminar「AWS Well-Architected Framework によるコスト最適化」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190312 AWS Black Belt Online Seminar AWS Well-Architected Frameworkによるコスト最適化 from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. W-AレビューをSAにお願いするにあたって金銭的なコストは発生しますか?または契約すべきサポートプランはありますか? A. W-Aレビューは無料でご提供しております(2019年3月現在)。W-Aレビュー実施に際して、AWSサポートは必須ではございません(が、開発フェーズであれば開発者プラン以上、本番運用中であればビジネスプラン以上のご契約をおすすめしております) Q. リザーブドインスタンスを購入するときは、ベストなお知らせが来るのでしょうか?すでに、RIを契約している場合、変更のお知らせなどがあるのでしょうか? A. お知らせはお送りしておりませんので、コストエクスプローラーの「リザーブドインスタンスの推奨事項」をご確認ください。 今後の AWS Webinar スケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 AWS Innovate オンラインカンファレンス ≫ 申込先 2019 年 4 月 8 日〜5 月 7 日期間中いつでもオンラインで視聴可能 AWS基礎、業種別事例、人材育成、認定対策講座などAWSが厳選した33セッションを一挙に公開 — […]

Read More