Amazon Web Services ブログ

安全で、スケーラブルで、耐久性があり、可用性の高いストレージは、クラウドコンピューティングの基本的なコンポーネントです。それが、AWS が 2006 年に Amazon Simple Storage Service (S3) を開始したそもそもの理由です。これは、AWS が現在提供している 175 を超えるサービスの多くの構成要素になっています。2020 年代が間近に迫る中、Amazon Redshift、Amazon Athena、titletitleAmazon EMR および AWS Lake FormationAWS Lake Formation により、S3 は、オブジェクトだけでなくエンジンも格納する方法にもなり、データを洞察に変えていきます。これらの機能は、バケットに保存されたデータのアクセスパターンと要件が進化したことを意味します。 本日、S3 で共有データセットの大規模なデータアクセスを管理する新しい方法、Amazon S3 Access Points をローンチします。S3 Access Points は、そのエンドポイントを使用してデータにアクセスする方法を記述する専用のアクセスポリシーを持つ一意のホスト名です。S3 Access Points 以前は、データへの共有アクセスは、バケット上の単一のポリシードキュメントを管理することを意味していました。これらのポリシーは、多くの異なる権限を持つ数百のアプリケーションを表し、監査と更新が多くのシステムに影響を及ぼす潜在的なボトルネックになる可能性がありました。 S3 Access Points を使用すると、アプリケーションやチームを追加するときにアクセスポイントを追加でき、ポリシーを具体的かつ管理しやすくします。バケットには複数のアクセスポイントを含めることができ、各アクセスポイントには独自の AWS Identity and Access Management (IAM) ポリシーがあります。アクセスポイントポリシーはバケットポリシーに似ていますが、アクセスポイントに関連付けられています。S3 Access Points は、Amazon Virtual Private Cloud 内からのアクセスのみを許可するように制限することもできます。また、各アクセスポイントには一意の […]

本日、フルマネージドインフラストラクチャで前処理、後処理、およびモデル評価のワークロードを簡単に実行できる、Amazon SageMaker の新機能、Amazon SageMaker Processing をリリースいたしました。 高精度な機械学習 (ML) モデルをトレーニングするにはさまざまな手順を踏む必要がありますが、中でもデータセットの前処理が最も重要となるでしょう。たとえば: 使用中の ML アルゴリズムに合う入力形式にデータセットを変換する、 既存の特徴をより表現力のある表現 (one-hot エンコーディングカテゴリ別特徴など) に変換する、 数値特徴を再スケーリングまたは正規化する、 高レベル特徴量エンジニアリングを行う (例: 住所を GPS 座標に置き換える)、 自然言語処理アプリケーションのテキストをクリーニングし、トークン分割する、 などなど! これらのタスクは、(とても大変な) データセットに対する特注スクリプトの実行と、後でトレーニングジョブで使用する処理済みバージョンの保存を伴います。ご想像のとおり、それらを手動で実行したり、オートメーションツールを構築およびスケールしたりする必要があることを考えると、ML チームは気が重くなります。後処理ジョブ (フィルタリングや照合など) やモデル評価ジョブ (さまざまなテストセットに対するモデルのスコアリング) についても同じことが言えます。 この問題を解決するために、私たちは Amazon SageMaker Processing を構築しました。それでは、詳細を説明しましょう。 Amazon SageMaker Processing のご紹介 Amazon SageMaker Processing には、データサイエンティストと ML エンジニアが Amazon SageMaker で前処理、後処理、およびモデル評価ワークロードを簡単に実行できる新式の Python SDK が導入されています。 この SDK では […]

  本日、Amazon Elasticsearch Service 向けの低コストの完全マネージド型ウォームストレージ層である UltraWarm を発表します。UltraWarm はプレビューでご利用いただけます。UltraWarm はAmazon Elasticsearch Service でホットウォームティアリングを提供する新しいアプローチを採用し、最大 900TB のストレージを提供。既存のオプションに比べて、ほぼ 90% のコスト削減を実現しています。UltraWarm は、Amazon Elasticsearch Service エクスペリエンスのシームレスな拡張機能であり、使い慣れた Kibana インターフェイスから、ホットデータと UltraWarm データの両方をクエリおよび視覚化できます。UltraWarm データは、現在使用しているのと同じ API とツールを使用してクエリできます。また、保管中および転送中の暗号化、統合アラート、SQL クエリなどの一般的な Amazon Elasticsearch Service 機能もサポートしています。 Amazon Elasticsearch Service のお客様に人気のユースケースは、大量の (そしてますます増加している) マシン生成ログデータを取り込んで分析することです。ただし、これらのお客様からは、より多くのこのデータに対してリアルタイム分析を実行したいので、それを使用して運用とセキュリティの問題を迅速に解決するのに役立てたいとの声が寄せられています。数か月、さらには数年分のデータの保存と分析は費用がかかりすぎてしまうため、複数の分析ツールを使用する人もいれば、貴重なデータをただ削除して洞察を逃してしまう人もいます。UltraWarm は、Amazon Simple Storage Service (S3) に裏打ちされた費用対効果の高いストレージで、この問題の解決に役立ち、お客様は長年蓄積してきたデータを保持して分析できます。 UltraWarm のリリースにより、Amazon Elasticsearch Service は、ホットウォームと UltraWarm の 2 つのストレージ層をサポートできるようになります。ホットティアは、インデックス作成、更新、およびデータへの最速アクセスの実現に使用します。UltraWarm は、ホットティアを補完して、アクセス頻度の低い古い大量のデータのサポートを強化し、ストレージコストを削減できる利点があります。前述したように、UltraWarm はデータを […]

本日ここに、グラフニューラルネットワークを簡単に実装できるよう構築されたオープンソースライブラリ、Deep Graph Library が、Amazon SageMaker で利用可能になったことをお知らせします。 近年、自由形式のテキスト、画像、動画など、複雑なデータから詳細なパターンを抜き出すことができる、驚異的な性能の深層学習が世界に旋風を巻き起こしています。しかし、多くのデータセットはこれらのカテゴリーに当てはまらないため、グラフの方がわかりやすく表すことができます。 畳み込みニューラルネットワークや再帰型ニューラルネットワークのような、従来のニューラルネットワークのアーキテクチャは、そのようなデータセットに適していないことは直感的にも感じられ、新しいアプローチが必要となります。 グラフニューラルネットワークの初歩 グラフニューラルネットワーク (GNN) は、今日の機械学習におけるもっとも画期的な発展事項です。手始めに、これらの参考資料をご覧になるとよいでしょう。 GNN は、以下のような予測モデルのトレーニングに使用されています。 ソーシャルネットワーク。関連する利用者同士のつながりをグラフ化 推奨システム。顧客とアイテムの間のやり取りをグラフ化 化学分析。原子や結合をグラフ化して化合物のモデルを作成 サイバーセキュリティ。発信元と発信先の IP アドレスの接続状況をグラフ化で説明 その他多数のモデル ほとんどの場合、これらのデータセットは非常に大きく、部分的なラベル付けしかできません。ある個人から既知の不正を行う者への接続状況を分析することで、その個人が不正を行っている可能性を予測する、不正行為検出シナリオを考えてみましょう。この問題は、グラフノードの一部のみがラベル付けされる (「不正」か「正当」)、半教師あり学習タスクとして定義できます。これは大きなデータセットを手作業のラベル付けにより構築し、「線形化」して従来の機械学習アルゴリズムに適用するよりも良いソリューションになるはずです。 これらの問題に対処するためには、分野の専門知識 (小売、財務、化学など)、コンピューターサイエンスの知識 (Python、深層学習、オープンソースツール)、インフラストラクチャの知識 (トレーニング、デプロイ、モデルのスケーリング) が必要です。これらのスキルをすべてマスターしている人はごくわずかです。それが Deep Graph Library や Amazon SageMaker のようなツールが必要とされる理由です。 Deep Graph Library の紹介 2018 年 12 月に Github で初めてリリースされた Deep Graph Library (DGL) は Python のオープンソースライブラリーで、研究者や科学者がデータセットの GNN を迅速に構築、トレーニング、評価するのに役立ちます。 DGL は、PyTorch […]

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 先週は 年に一度の大きなイベント AWS re:Invent 2019がラスベガスで開催されて、いつも以上に多くの新サービスや新機能が発表されましたね！エキサイティングな発表が多くて嬉しいのですが、とてもこの連載の枠に全ての重要な発表が収まりそうにりません。 そこで今回の週刊AWSでは、AWS re:Invent 2019 で発表された内容から、筆者ら（小林、下佐粉）が「個人的に凄いと思った発表10選」を独断でチョイスしてお送りします。なお、re:Invent 2019で発表された内容を全部知りたい！という方向けに関連資料も最後にまとめています。では、厳選10個のアップデートをご覧ください。

先日 (2019/12/06) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2019アップデート速報」の資料を公開しました。   20191206 AWS Black Belt Online Seminar AWS re:Invent 2019 アップデート速報 from Amazon Web Services Japan AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます）   ＜ラスベガスでのライブ配信の裏側＞ 今回の Black Belt は遠い海外はアメリカのネバダ州、ラスベガスからのライブ配信でした。日本で配信するときは AWS Webinar チームがサポートするのですが、ラスベガスでは SA 小林が孤独に一人で対応しました。 いつもは真面目なブログを心がけている AWS Webinar チームですが、今回は特別に SA 小林によるラスベガスでの単独ライブ配信の裏側をこそっとお見せしたいと思います。   ①　あんなに明るい声で速報をお伝えしていた小林ですが、実際はホテルの一室で小さくなって対応してました。               ②　もうちょっと近寄ったショットで。Webinar […]

11/13-15 に開催された InterBEE 2019 にて AWS は 17 社のパートナー様と共にブースを出展、特別講演を 2 セッション開催致しました。

こんにちは！ AWS Webinarチームです。 TV の CM にクリスマスソングが流れ始め、いよいよ年末感がでてきていますね。 笑っても泣いても、今年は残すところあと3週間です。 令和 2 年を迎える準備はできていますか？ それとも、追い込みをかけている最中ですか？ いろいろな意味でラストスパートな 12 月にAWS Webinar チームがお届けする、2019 年最後の AWSome Day Online Conference のご案内です。約 2.5 時間の本ウェビナーを 12 月 13 日（金）15 時から配信開始いたします。 令和元年ラストにAWS クラウドを始めようと思っている方、令和元年ラストにAWSクラウドの基礎知識を復習したいと思ってる方、どちらの方にもお勧めの内容ですので、ぜひこの機会にご登録・ご視聴ください。 日程：12 月 13 日（金） 時間：15:00 – 17:40 終了予定 費用：無料 ご視聴はこちらからお申込みください。 AWSome Day とは？ 「AWSome Day」は、AWS に関する基礎知識を 1日で体系的に学ぶ無償のトレーニングイベントです。AWS テクニカルインストラクターが主導するセッションを通じて、コンピューティング、ストレージ、データベース、ネットワークといった AWS の主要なサービスを段階的に学ぶことができます。また、AWSに関わる方への基礎知識として、請求、アカウントマネジメント、料金モデル等、実際の導入に向けた内容となっております。技術的な面だけではなく、これから AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。 「AWSome […]

 お客様は機械学習を大いに活用しています。オブジェクト検出、音声認識、自然言語処理、パーソナライズ、不正検出など、さまざまな種類のワークロードを実行しています。大規模な本番ワークロードで実行する場合、可能な限り迅速かつ費用対効果の高い方法で推論を実行できることが不可欠です。お客様の話では、推論は機械学習作業のコストの最大 90% を占めます。 新しい Inf1 インスタンス 本日、4 つのサイズの Inf1 インスタンスを起動します。これらのインスタンスは AWS Inferentia チップを搭載しており、高速で低レイテンシーの推論を提供するように設計されています。 AWS Inferentia チップは、推論プロセスを加速するように設計されています。各チップは次のパフォーマンスを提供できます。 16 ビット浮動小数点 (FP16 および BF16) と混合精度データの 64 teraOPS。 8 ビット整数 (INT8) データの 128 teraOPS。 チップには、高速インターコネクトと大量のメモリも含まれています。最大のインスタンスに 16 個のチップが搭載されているため、新規および既存の TensorFlow、PyTorch、および MxNet 推論ワークロードは、2 petaOPS を超える推論能力の恩恵を受けることができます。G4 インスタンスと比較した場合、Inf1 インスタンスは推論スループットを最大 3 倍にし、推論あたりのコストを最大 40% 削減します。 サイズと仕様は次のとおりです。 インスタンス名 Inferentia チップ vCPUs RAM EBS 帯域幅 ネットワーク帯域幅 inf1.xlarge […]

 Architecting on AWS クラスを担当していたとき、お客様から、Amazon Virtual Private Cloud を設定して、オンプレミスと同じネットワークセキュリティポリシーをクラウドで実施する方法をよく尋ねられました。たとえば、侵入検知システム (IDS) アプライアンスを使用してすべての入力トラフィックをスキャンしたり、クラウドでオンプレミスと同じファイアウォールを使用したりするために。今日まで、私が提供できる唯一の答えは、すべてのトラフィックを VPC からオンプレミスのアプライアンスまたはファイアウォールにルーティングして、クラウドにルーティングする前に通常のネットワーク機器でトラフィックを検査することでした。これは明らかに理想的な設定ではなく、レイテンシーと複雑さが増します。 今日、新しい VPC ネットワーキングルーティングプリミティブを発表します。これにより、インターネットゲートウェイ (IGW) または仮想プライベートゲートウェイ (VGW) との間の送受信、または Amazon Elastic Compute Cloud (EC2) インスタンスの Elastic Network Interface へ送信されるすべてのトラフィックをルーティングできます。つまり、トラフィックがビジネスワークロードに到達する前にすべてのトラフィックを EC2 インスタンスに送信するように仮想プライベートクラウドを設定できるようになりました。通常、インスタンスはネットワークセキュリティツール (IDS/IPS または Firewall など) を実行して、疑わしいネットワークトラフィックを検査またはブロックするか、他の EC2 インスタンスにトラフィックを中継する前に他のネットワークトラフィック検査を実行します。 仕組み その仕組みを学ぶために、この CDK スクリプトを作成して、アプライアンス用のサブネットとビジネスアプリケーション用のサブネットの 2 つのパブリックサブネットを持つ VPC を作成しました。このスクリプトは、パブリック IP アドレスを持つ 2 つの EC2 インスタンス (各サブネットに 1 […]