Amazon Web Services ブログ

S3 を発表した 2006 年に、私は「さらに、各ブロックは ACL (アクセスコントロールリスト) によって保護されているため、開発者はデータを非公開にしたり、共有したり、読み書きしたりすることができます。」と書きました｡ 最初のモデルから､プライベートバケットと ACL を使用してアクセスを許可することで、バケットポリシー､サーバーアクセスロギング､バージョニング､API ロギング､クロスリージョンレプリケーション､複数のクライアント側およびサーバー側の暗号化オプションのサポートが追加されました。これらはすべて､データを安全に保つために必要なツールを提供し、必要に応じてお客様やパートナーと共有できるようにすることを目的としています。私たちはまた､大規模なコンテンツの検索、分類、保護に役立つツールである Amazon Macie の開始によって､人工知能と機械学習の利点を取り込みました｡ 現在、S3 には 5 つの新しい暗号化とセキュリティ機能が追加されています。 デフォルト暗号化 – バケット内のすべてのオブジェクトを暗号化された形式で格納する必要性を指定できるようになりました。暗号化されていないオブジェクトを拒否するバケットポリシーを構築する必要はありません｡ アクセス許可チェック – S3 コンソールには、一般にアクセス可能な各 S3 バケットの隣に目立つインジケータが表示されるようになりました。 クロスリージョンレプリケーション ACL の上書き – AWS アカウント間でオブジェクトをレプリケートするとき、オブジェクトが送信先アカウントへの完全なアクセス許可を与える新しい ACL を取得するように指定できるようになりました。 KMS によるクロスリージョンレプリケーション – AWS Key Management Service (KMS) によって管理されるキーで､暗号化されたオブジェクトをレプリケートできるようになりました。 詳細なインベントリレポート – S3 インベントリレポートに、各オブジェクトの暗号化ステータスが含まれるようになりました。レポート自体も暗号化することができます。 では詳しく見てみましょう。 デフォルト暗号化 S3 オブジェクトには､S3 によって管理されるキーを使用する SSE-S3､AWS KMS […]

今回のブログは Colm MacCárthaigh 氏、Amazon Virtual Private Cloud のシニアエンジニアより寄稿頂きました。 2015 年に VPC エンドポイントをリリースして以来、エンドポイントの作成は、インターネットゲートウェイや NAT ゲートウェイまたはファイアウォールプロキシの必要なく、Amazon Virtual Private Cloud (VPC) から S3 や DynamoDB へ安全にアクセスする方法として人気を集めています。VPC エンドポイントを使用することで、VPC と AWS サービス間のルーティングは AWS ネットワークにより処理され、サービスリソースへのアクセス管理に IAM ポリシーを使用することができます。 そして本日、すべてのトラフィックを AWS ネットワーク内に維持しながら、可用性が高くスケーラブルな方法でユーザーが AWS サービスにアクセスできるように設計した新世代の VPC エンドポイント、AWS PrivateLink を発表しました。Kinesis、Service Catalog、Amazon EC2、EC2 Systems Manager (SSM)、Elastic Load Balancing (ELB) API を VPC 内で利用できるようになりました。また、Key Management Service (KMS) […]

先週、Apache MXNet コミュニティが MXNet バージョン 0.12 をリリースしました。このバージョンの主な機能は NVIDIA Volta GPU と Sparse Tensor のサポートです。同リリースには Gluon プログラミングインターフェイスの新機能がいくつも含まれています。こうした機能は特にディープラーニングモデルにおける最先端のリサーチを実装しやすくします。 変分ドロップアウトは、オーバーフィッティングをリカレントニューラルネットワーク (RNN) に移行するために使うドロップアウト技術を効率的に適用できるようにします。 畳み込み RNN、Long short-term memory (LSTM)、Gated Recurrent Unit (GRU) セルは、時間ベースのシーケンスと空間ディメンションの両方を示すデータセットのモデリングを可能にします。 7 つの新しい損失関数、エクスポート機能、トレーナー機能の強化 変分ドロップアウト (VariationalDropoutCell) は最近のリサーチを足掛かりにして、RNN のオーバーフィッティングを移行させる新たなツールを提供しています。これは「リカレントニューラルネットワークのグランデッドアプリケーションの推論 (“A Theoretically Grounded Application of Recurrent Neural Networks”)」と「RNNDrop: ASR における RNN の新しいアプローチ (“RNNDrop: A Novel Approach for RNNs in ASR”)」を基盤にしています。オーバーフィッティングは、モデルがトレーニングデータセットに近すぎた状態でフィットしていることで発生するモデリングエラーです。そのため、新しいデータまたはテストデータセットが表れた場合に予測精度が低下してしまいます。ドロップアウトはランダムにモデルパラメータをゼロにするモデリング技術です。そのため、トレーニング中にモデルが必要以上に 1 […]

Apache MXNet バージョン 0.12 が利用可能になりました。MXNet コミュニティに参加している貢献者の方々との協力により、強化点を追加する新機能の提供を実現することができました。今回のリリースでは、MXNet に 2 つの重要な機能が追加されています。 NVIDIA Volta GPU のサポートにより、ユーザーはトレーニングやニューラルネットワークモデルの推論に掛かる時間を大幅に削減することができます。 Sparse Tensor のサポートにより、ユーザーは保存とコンピューティングを効率的にした方法で Sparse マトリックスを使用しモデルをトレーニングすることができます。 NVIDIA Volta GPU サポートのアーキテクチャ MXNet v0.12 リリースには NVIDIA Volta V100 GPU サポートが追加されています。これにより、ユーザーは畳み込みニューラルネットワークのトレーニングを Pascal GPU に比べて 3.5 倍も速くすることができます。ニューラルネットワークのトレーニングには、数兆にもなる浮動小数点 (FP) 倍数や追加が関係しています。通常、こうした計算には高精度にするため単精度浮動小数点 (FP32) が使われます。けれども、最近の研究結果によると、ユーザーがトレーニングで浮動小数点を半精度 (FP16) にしたデータタイプを使用しても、FP32 データタイプを使用したトレーニングと同じ精度を実現できることが分かっています。 Volta GPU アーキテクチャが Tensor Core を導入しました。各 Tensor Core は 1 時間ごとに 64 fuse-multiply-add […]

今回のブログの準備をしている時に、2012 年に公開した懐かしいブログ記事を読み返してみました。これは AWS Direct Connect のリリースについて紹介したものです。エンタープライズをご利用されているお客様達から、プライバシーの強化やデータ転送の帯域幅の追加、より予測可能性に優れたデータ転送パフォーマンスを実現するため、AWS リージョンに専用接続を確立できるようにしたいというリクエストを受け、Direct Connect を提供するに至りました。当初は AWS リージョン 1 か所と 1 つのコロケーションから始まりましたが、現在ではすべてのパブリック AWS リージョンでその利用が可能となり、世界中に散在する多数のコロケーションからアクセスできるようになりました (合計 60 か所のロケーション)。当社のお客様には Direct Connect を全面的にご活用いただいており、その後も Link Aggregation、Amazon EFS サポート、CloudWatch モニタリング、HIPAA の適格性といった機能を追加しました。過去 5 週間だけでも、Direct Connect ロケーションをヒューストン (テキサス)、バンクーバー (カナダ)、マンチェスター (英国)、キャンベラ (オーストラリア)、パース (オーストラリア) に追加しました。 そして現在は、Direct Connect Gateway を追加することで Direct Connect をよりシンプルに、そしてさらにパワフルにするよう努めています。また、すべてのリージョンにおいて Direct Connect をご利用のお客様が、当社のグローバル IP ルートを受信するパブリック仮想インターフェイスを作成したり、当社サービスのパブリックエンドポイントへのアクセスの有効化、Direct Connect の価格モデルの更新などを行えるようにしています。 では詳しく見てみましょう。 新しい […]

9 年前のことになりますが「Amazon CloudFront でコンテンツを分散させるには (Distribute Your Content with Amazon CloudFront)」というブログを書いたことがあります。2008 年のリリース以来、14 の接続ポイントで始まった CloudFront は急速な拡大を遂げてきました。そして本日、100番目の接続ポイントを東京で 5 番目の、そして日本で 6 番目の接続ポイントとして提供を始めました。89 か所のエッジロケーションと 11 か所のリージョン別エッジキャッシュを備えた CloudFront は、世界中の何百万ものユーザーが生成するトラフィックをサポートするようになりました。 23 か国、50 都市、今後もさらに増加 100 か所の接続ポイントは世界中の 23 か国 50 都市で展開されています。過去 12 か月間に渡りネットワークサイズを 58% 拡大、次の 9 都市を含む 37 か所の接続ポイントを追加しました。 ベルリン (ドイツ) ミネアポリス (米国ミネソタ) プラハ (チェコ共和国) ボストン (米国マサチューセッツ) ミュンヘン (ドイツ) ウィーン (オーストリア) クアラルンプール (マレーシア) フィラデルフィア […]

「医療顧客の事例 (Health Customer Stories)」 ページでは、AWS で実行するヘルスケアやライフサイエンスのアプリケーションを構築し実行している数多くのお客様の中から数件をご紹介しています。Verge Health や Care Cloud、Orion Health といったお客様は、HIPAA や HITECH の規制に準拠する取り組みの一環として、保護されるべき医療情報 (PHI) や個人識別情報 (PII) において AWS に信頼を寄せています。 その他 16 のサービス 前回の「HIPAA 利用資格の更新 (HIPAA Eligibility Update)」と題したブログでは、HIPAA 利用資格サービスのリストに 8 つのサービスを追加したことについてお知らせしました。そして本日、それに加え 16 のサービスをリストに追加し、ご利用可能なサービスの合計数はこれで 46 件になりました。次に、今回追加したサービスの簡単な概要と過去のブログ記事へのリンクをご紹介します。 PostgreSQL と互換性を持つ Amazon Aurora – Amazon Aurora に追加したこのサービスは、AWS Key Management Service (KMS) で作成し管理するキーを使用してリレーショナルデータベースを暗号化できるようにします。Amazon Aurora データベースで暗号化を有効にすると、基盤となるストレージが暗号化されます。また、自動バックアップやリードレプリカ、スナップショットにおいても同様です。詳しくは「Amazon Aurora の保管時の暗号化 (Read New […]

GPU には何千ものコアがあるため、ディープラーニングには大量のマトリックス乗算と GPU (グラフィックス処理ユニット) により並列化できるベクトルオペレーションが必要です。アマゾン ウェブ サービスでは P2 または P3 インスタンスにサインアップすることが可能です。このようなインスタンスは、大規模なディープニューラルネットワークのデプロイの加速化を強調する MXNet のようなディープラーニングフレームワークの実行に優れています。 データサイエンティストや開発者はネットワークを微調整する場合、適切なバッチサイズを使用できるように GPU 使用率を最適化したいと考えています。今回のブログでは、Amazon CloudWatch メトリクスを使用して GPU とメモリ使用量をモニタリングする方法をご説明します。Amazon マシンイメージ (AMI) では、インスタンスが Amazon Deep Learning AMI を使用することを勧めています。 GPU を有効にしたインスタンスのモニタリングや管理をサポートするために使用されている現在の一般的な方法は、コマンドラインユーティリティの NVIDIA システム管理インターフェイスを利用することです (nvidia-smi)。nvidia-smi の使用により、ユーザーは GPU 使用率、メモリ消費量、ファンの使用量、電力消費量、そして NVIDIA GPU デバイスの温度などの情報をクエリすることができます。 nvidia-smi は NVIDIA 管理ライブラリをベースにしているので (NVML)、C ベースの API ライブラリを使用し、カスタムメトリクスとして Amazon CloudWatch に送信するのと同じデータポイントをキャプチャできます。このライブラリに関する詳細については「リファレンスマニュアル (reference manual)」をご覧ください。このブログではライブラリに Python ラッパーの pyvnml を使用します。 […]

自然言語処理 (NLP) は、コンピュータプログラムに人間の言語 (自然言語) を理解させるという、人工知能の研究分野のひとつです。NLP についてあまりご存じない方でも、日々の生活の中でこれを使っている可能性は高いでしょう。携帯電話の仮想キーボードで文字入力を行う際、入力内容の分析結果に基づき、次に打ち込むべきであると予測される単語がリスト表示されます。これは言語モデリングと呼ばれ、入力された単語にどの単語が続くかの確率をその内容に基づいて測定する技術であり、NLP の中核的タスクのひとつです。NLP はすでに多くのアプリケーションに採用されており、世の中を大きく変えつつあります。 エモリー大学の NLP 研究グループである Evolution of Language and Information Technology (ELIT) チームは、研究者たちに最先端の NLP と機械学習テクノロジーをもたらす取り組みを行っています。ELIT プロジェクトは、AWS クラウドの豊富なリソースを活用し、ビッグデータ解析に向けたスケーラブルなエンドツーエンドの NLP パイプラインを提供することに主眼を置いています。他の多くの NLP フレームワークとは異なり、ELIT はウェブ API をサポートすることで、プラットフォームに依存しない体制を実現しています。そのお陰で、研究者たちはいつでもどこでも大規模なコンピューティングを利用できます。また、ELIT プロジェクトは、GitHub にも参加しています。これは、エモリー大学の NLP 研究グループが AWS の MXNet チームとの緊密なコラボレーションの下で立ち上げたサービスです。今回のブログ投稿では、ELIT のプラットフォームをご紹介するとともに、そこで活用されているウェブ API や、NLP の可視化についてもご説明します。 ELIT の研究用プラットフォーム 近年、NLP においてディープラーニングが盛んに活用され始めた結果、機械学習に基づく NLP モデルには多大な計算処理能力が要求されるようになり、研究者たちは強力なマシンなしには NLP の最新技術をフル活用できなくなっています。AWS のようなクラウドコンピューティングプラットフォームは、研究者たちがこれらのモデルを実行できるよう、無制限のコンピューティングリソースを提供します。しかしこれは、クラウドにさほど通じていない方々にとっては面倒でもあるでしょう。そこで ELIT プロジェクトが目指すのは、NLP のためのウェブサービスを提供し、インターネット接続さえあれば誰でもリクエストを行えるようにすることです。つまり、ローカルインストールは不要ですし、クラウドコンピューティングに関する予備知識も必要ありません。では、感情分析などの一般的な NLP […]

Amazon Rekognition は、イメージの分析をアプリケーションに簡単に追加できるようにする AWS サービスです。ディープラーニングを活用したこのコンピュータビジョン向け API に追加された最新機能が、有名人の認識です。この使いやすい機能は、各分野の有名人や著名人を多数検出、認識します。このツールにより、ユーザーは自身の関心に基づいて有名人のデジタルイメージライブラリのインデックスを作成し、検索することができます。 当社のお客様が個人に関するデータの保存に用いる一般的な方法の 1 つが、グラフデータベースです。過去のブログ投稿で詳しく説明したとおり、Facebook や LinkedIn、Twitter といった企業は巨大な関係性ネットワークの管理能力を通じ、社会が相互に関わり合う方法を革新してきました。このブログ投稿の目的は、Rekognition の有名人の認識および顔認識機能をグラフデータベースに保存された関係情報に組み合わせるのがいかに簡単かをご紹介することです。 これらのテクノロジーを組み合わせることで、お客様は 1 枚の写真を通じて、その写真に含まれる人物が他の関心対象である人物とどのように関連しているかを把握できます。さらに、2 枚の写真を送信し、それぞれの写真に含まれる人々の間にどのような相互関係があるかを素早く見極めることも可能です。この関係マッピングを活かしたコミカルな例が、有名な Six Degrees of Kevin Bacon (ケヴィン・ベーコンとの六次の隔たり) ゲームです。しかし、このようなアプリケーションのビジネス価値は実に大きなものです。法執行機関は 2 枚の写真を基に Rekognition を活用して各人物の身元を特定し、グラフデータベースを参照して関心対象である 2 名の人物が知り合いかどうかを突き止めることができます。同様に、ホスピタリティ企業は Rekognition とグラフデータベースを使って敷地内にいる有名人を素早く特定し、その人物の知り合いである他の有名人のうち、近隣に宿泊している人物を把握できます。 このブログ投稿では、グラフデータベース (ここでは Neo4j Community Edition を使用) を採用した Rekognition と、D3.js ライブラリを使用した Jupyter Notebook の併用方法のデモンストレーションをご紹介します。 設定 このテクノロジーの組み合わせの使用を開始するには、まず AWS ラボの Github リポジトリからプロジェクトのコピーを取得します。  プロジェクト構成には 2 つの主なエリアが含まれます。 <project […]