Amazon Web Services ブログ

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。今週も週刊AWSをお届けします。 2020年が始まったと思ったらもう1月が終わってしまいますね。寒い日が続きますが、みなさまいかがお過ごしでしょうか。 以前にもお伝えしましたように今年のAWS Summit Tokyoは例年より少し早めの開催です。5/13～の東京、および6/30の大阪両方において、受け付け開始になった事を知らせるメール登録がこちらのページで可能になっていますので、参加予定の方はぜひ登録をしておいていただければと思います。 また、今年も引き続きオンラインセミナーの方に力を入れていきます。こちらのページに今後の予定が掲載されています。私は久しぶりに2/4(火)12時から「Amazon QuickSight アップデート」をしゃべる予定です。そのほかにも色々なオンラインセミナーを企画していますので、よろしければご参加ください。 それでは、先週の主なアップデートについて振り返っていきましょう。

開催概要 2020年1月23日 AWS 目黒オフィスにて、デジタルネイティブビジネスを展開されるお客さま向けに、12月上旬の AWS re:Invent 2019 の内容についての振り返りとして、サービスアップデート、およびピックアップセッションの共有を行いました。資料はこちらです。 AWS re:Invent 2019 recap For Digital Native Business 足元も悪い中50名以上ものお客様にお集まりいただき、みなさま非常に集中力高く受講いただき、終了後のQAも非常に活発に行われました。 なお今回はAWS目黒オフィスに新設されたイベントブースにて開催したのですが、ProfessionalなPAチームによるサポートにより、素晴らしい環境でイベントをご提供することができました。 サービスアップデート まずは、Solutions Architect 石本・金杉より、re:Invent会期前・会期中に発表されたアップデートについて共有させていただきました。 本年は総数 275+ と、非常に多くのアップデートが発表され、1時間半の時間枠では到底収まりませんでした。そのため、デジタルネイティブビジネスを展開されるお客様によくご利用いただけそうなサービスに絞った形で、紹介をさせていただきました。 主に注目を集めたのは、以下のトピックです。 Container ECS Capacity Providers ECS Cluster Auto Scaling AWS Fargate Spot AWS Fargate for EKS Serverless Amazon RDS Proxy Provisioned Concurrency for Lambda Function APIGateway – HTTP APIs Analytics […]

正確な3D 地震波データの分析は、原油や天然ガスが埋蔵あるいは滞留している可能性のある地質的な特質を割り出すことに役立てられます。Amazon SageMaker と Apache MXNet on AWS により、深層学習を使った地中探査が自動化できます。 このブログ記事では、これらのサービスを使い、3D 地震波データが示す地質的特質の解釈を行う、カスタム深層学習モデルの構築とトレーニングを行ってみます。この記事の目的は、カスタム化されたセマンティックセグメンテーションモデルの素早く簡単な作成方法を、原油と天然ガス事業に携わるデータサイエンティストの方に示すことにあります。 Amazon SageMaker は、データサイエンティストが、機械学習モデルをあらゆる規模で構築、トレーニング、チューニング、そしてデプロイできるようになる、完全マネージド型のサービスです。このサービスでは、パワフルかつスケーラブルであり、同時に使用法も簡単なコンピューティング環境を提供しています。 このブログ記事について 読む時間 15 分 完了するまでの時間 ～1 時間 完了するためのコスト 60 USD 未満 学習レベル 中級 (200) AWS のサービス Amazon SageMaker、EC2、Amazon S3 概要 どの地点をどの程度深く掘り下げるか決定し、原油や天然ガス生産の最適化とその他のことを行う際、地下の地質について詳しく知ることが重要になります。3D 地震波イメージングという技術により、地震波データの画像変換が行えます。その後、必要な地層 (たとえば岩塩層) と構造 (断層や褶曲) の特定が行われます。この「picking horizons」と呼ばれる、手動での特定プロセスは、ときに数週間を要することがあります。 セマンティックセグメンテーションなどの深層学習テクニックを使うと、手動による地中探査が自動化できます。このテクニックでは、深層畳み込みニューラルネットワークを使い特性の抽出と緻密層の検知をし、その分割と分類を行います。しかしながら、地震波を扱うアプリケーションで深層学習モデルをトレーニングするためには、 GPU が必須です。原油や天然ガスに携わる多くのデータサイエンティストたちにとって、コンピューティングリソースの不足は、地震波向けアプリケーションへの深層学習の応用を困難にしているのです。 今回の記事では、セマンティックセグメンテーションには U-Net のストラクチャを使用し、また、Kaggle によるコンペティションからパブリックドメインに提供された画像データセットも合わせて使用します。これらのリソースを使い、地表下に存在する岩塩層を特定するためのアルゴリズムを構築していきます。このノートブックは簡単に複製および拡張ができるので、地震波データにセマンティックセグメンテーションを応用する他のアプリケーションにも利用いただけます。 ワークフロー Amazon SageMaker によるセマンティックセグメンテーションを実施するには、次の手順に従います。 Kaggle からのデータをアップロードしデータファイルを作成します。 画像を準備します。 […]

AWS は昨年、CloudEndure を買収しました。買収後は、新たに加わった仲間たちと、CloudEndure 製品の AWS 製品ポートフォリオへの統合を目指して協力してきました。 CloudEndure Disaster Recovery は、お客様のダウンタイムとデータ損失をミニマイズすることを目的に設計されています。オンプレミス、バーチャル、およびクラウドベースシステムのコンテンツは、対象の AWS アカウントやご希望の AWS リージョン内の低コストのステージング領域に継続的にレプリケーションされます。 このブロックレベルのレプリケーションは、オペレーティングシステム、設定ファイル、データベース、アプリケーション、データファイルなど、保護対象システムなどのほぼすべての状態を網羅しています。CloudEndure Disaster Recovery では、Linux または Windows のサポート対象バージョンで実行されるものであれば、どんなデータベースやアプリケーションでもレプリケーションされます。一般的には、Oracle や SQL Server、または SAP のようなエンタープライズ向けのアプリケーションで使用されています。AWS から AWS へのレプリケーションであれば、指定された VPC 内の AWS 環境、つまり VPC そのもの、サブネット、セキュリティグループ、ルート、ACL、インターネットゲートウェイなどがレプリケートされます。 では、CloudEndure Disaster Recovery のユースケースとして皆さんのご参考になるポピュラーなものをご紹介しましょう。 オンプレミスからクラウドへ移行型災害対策 – お客様のセカンダリデータセンターを AWS クラウドに、ダウンタイムやパフォーマンスインパクトなしで移行するモデルです。信頼性、可用性、セキュリティが向上します。ハードウェア、ネットワーキング、ソフトウェアを重複して用意する必要はありません。 クロスリージョン型災害対策 – AWS ですでにアプリケーションを実行されている場合は、コスト効率の高いレイヤーを別に設営できます。クロスリージョン型災害対策をセットアップすると、ビジネス継続性が向上します。継続的なレプリケーションはリージョン間でもアベイラビリティーゾーン間でもセットアップできます。もちろん、厳しい目標復旧時点 (RPO) や目標復旧時間 (RTO) の要件にも対応しています。 クロスクラウド型災害対策 – ワークロードを他のクラウドで実行されている場合は、AWS […]

18 か月前のローンチ以来、Amazon Elastic Kubernetes Service は 62 の機能、14 のリージョン、4 つの Kubernetes バージョンと驚異的なペースでリリースしています。私のような開発者はイノベーションの速さと信じられないほどの新機能がなによりですが、本日は、財務部門の人々が笑顔になれる発表があります。料金を 50% 引き下げます。 1 月 21 日より、Amazon EKS クラスターの 1 時間あたりの料金が、0.20 USD から 0.10 USD に引き下げられます。この新しい料金は、すべての新規および既存の Amazon EKS クラスターに適用されます。 信じられないほどの勢い 昨年、私は Amazon EKS の 62 の機能のうちのいくつかについて書きました。たとえば、Amazon EKS on AWS Fargate、EKS Windows Containers サポート、Amazon Elastic Kubernetes Service のマネージドノードグループなどの機能です。コメント、会議、イベントで、こうした機能により、さまざまな種類のアプリケーションを今まで以上に確実かつ効率的に実行できるようになったというお客様の声を聞いて、とてもうれしく思っています。また、パブリックコンテナーロードマップ を通じてお客様からフィードバックが届き、Amazon EKS チームが要望された機能を安定したペースで提供しているのを見るのも楽しいことです。 Amazon Elastic Kubernetes Serviceで活気づくお客様 Amazon […]

Weaveworks の Stefan Prodan 氏によるゲスト投稿です。 Kubernetes の用語で、Ingress は、クラスターの外部からクラスター内で実行されているサービスへの HTTP(S) ルートを公開します。Ingress は、負荷分散と SSL/TLS 終了を実行しながら、Kubernetes サービスに外部から到達可能な URL を提供するように構成できます。 Kubernetes には Ingress リソースが付属しており、ELB Ingress Controller や NGINX などの Ingress 仕様を実装するコントローラがいくつかあります。Kubernetes Ingress の仕様は非常に限られているため、ほとんどのコントローラはアノテーションを使用してルーティング機能を Ingress が許可する基本範囲を超えて拡張する必要がありました。ただし、アノテーションを使用しても、名前空間間のルーティングや加重負荷分散など、解決できない制限がいくつかあります。 Contour (今後 CNCF プロジェクト) は、Envoy に基づいた最新の Ingress コントローラで、HTTPProxy という名前の新しい仕様で Ingress API の機能を拡張します。HTTPProxy API は、より豊かなユーザー体験を可能にし、マルチテナント環境での Ingress の使用制限に対処します。 HTTPProxy 仕様は、HTTP ヘッダーまたは Cookie フィルターに基づいた高度な L7 ルーティングポリシー、および Kubernetes […]

多くの AWS のお客様は、複数アカウント戦略を用いています。一元化された AWS Glue データカタログは、異なるアカウント間におけるメタデータの共有に関連する管理の量を最小化するために重要です。この投稿では、Amazon Athena が異なる AWS アカウント間で一元化されたデータカタログをクエリすることを可能にする機能を紹介します。 ソリューションの概要 2019 年後半、AWS は、Amazon Athena を Apache Hive Metastore に接続する機能を導入しました。この機能により、別のアカウントのデータカタログをポイントするように Athena を設定することもできます。Hive Metastore 機能は、AWS Lambda 関数を使用して、選択したデータカタログにクエリをフェデレーションします。この同じ機能で、カタログクエリを別のアカウントのデータカタログにプロキシできます。 次の図は、2 つの異なるアカウントで使用される必要なコンポーネントと、Athena を使用したクロスアカウントの Glue データカタログアクセスのためのアカウント間のフローを示しています。 このチュートリアルでは、Athena クエリを実行するのと同じアカウント (アカウント B) で Lambda 関数を作成します。リソースポリシーを使用して Lambda 関数にクロスアカウントアクセスを許可します。これにより、アカウント B の関数がアカウント A のデータカタログをクエリできます。アカウント B のユーザーは、テーブルがポイントし、Lambda 関数を実行するためのアクセス権を有する Amazon S3 リソースへのアクセス権を持っている必要があります。Lambda 関数の実装の詳細は、Github リポジトリを参照してください。 この投稿では、Lambda 関数およびその関数の読み取り専用 IAM […]

地球の気候は非常に複雑で動的なシステムです。異なる気候変数がどのように相互作用するかを理解し、予測することは困難です。今日の気候研究で因果関係を見つける作業は、主に高価で時間のかかるモデルシミュレーションに依存しています。幸いなことに、大規模な気候データの利用可能性が爆発的に増加し、クラウドを介した計算能力が向上しているため、機械学習 (ML) と因果推論を使用して、降雨や海水温などの気候データの関係を理解するための新しい補完方法があります。この理解は、天気予報を改善し、ハリケーンや竜巻などの極端なイベントの原因を特定するのに役立ちます。進歩を加速するために、AWS は 2019 年に NeurIPS で気候の因果関係 (C4C) 大会を後援しました。この大会は気候データを理解するための新しい方法論における原因の発見と開発に焦点を当てており、承認された NeurIPS 2019 の大会 12 個のうち 1 つでした。Jakob Runge とドイツ航空宇宙センターの同僚とバレンシア大学の協力者によって組織されました。 機械学習は、厳格な統計モデルを前提とするのではなく、気候データの特性を学習して適応する柔軟な方法を提供します。これは、複数のサブコンポーネント間の相互依存性を示す気候データの複雑な性質を考える上で重要なことです。気候観測の量がかつてないほど増えたとしても、パターンを見つけてデータ間の複雑な関係を特定することは困難です。大会の目標は、新しいベンチマークを開発し、現実世界の気候課題に適用できる新しい方法を見つけることでした。参加者には、気候データ (降水量、湿度、温度など) と AWS クレジットを特徴とする時系列データセットが提供されます。ここで新しい方法論を発見し、気候データを分析するための新しい学際的研究を開くことを目指しました。 最優秀賞は、コペンハーゲン大学数学科学部のコペンハーゲン因果関係研究所の博士号と博士研究員のチームに贈られました。彼らは 34 個の異なるデータセットを使用し、変数間の因果関係を特定することを目的としていました。チームはシンプルなベースラインアプローチから始め、新しいバリエーションを導入して綿密に結果を監視し、競技トラック全体で最高のパフォーマンスを発揮した方法を特定しました。全体的に、気候データはブラインドで、参加者は異なる時系列がどの測定に対応するかを知らなかったため、先入観が含まれる仮説や仮定に影響されることなく、最良の方法論を最適化できました。詳細については、GitHub リポジトリを参照してください。 コペンハーゲン大学の博士研究員である Sebastian Weichwald 氏は、次のように述べています。「現代の最も差し迫った問題の 1 つに集中するようにコミュニティの意識を高めることは、このような大会の利点ですね」「大会データの背後にあるものを見つけることにわくわくしています。次の手順として、私たちが採用した方法がこの大会でうまくいった理由をさらに調査し、繰り返し続け、最終的に持続可能性と気候科学に影響を与える方法を学びたいと思います」 コペンハーゲン大学の優勝チームです。左から: Lasse Petersen、Nikolaj Thams、Phillip Bredahl Mogensen、Sebastian Weichwald、Gherardo Varando、Martin Emil Jakobsen。 ゲント大学 (ベルギー)、パレルモ大学 (イタリア)、バーリ大学 (イタリア)、ローマ・ラ・サピエンツァ大学 (イタリア) の教授と博士で構成されるチームは、気候相互作用の非線形性に焦点を当て、2 位として受賞しました。その方法は、カオスシステムの理論に影響を受けました。この理論は、天気を研究するところから生まれました。天気は、数日後の天気を予測できないカオスシステムです。チームは、これらの動的機能をより適切にとらえるアプローチを使用しました。そのため、カオス非線形データセットを含むカテゴリで成功しました。天気予報を予測するためのより良いツールの開発に取り組むことで、気候変動や極端な気象現象を理解できます。詳細については、GitHub リポジトリを参照してください。 受賞者は、2019 年 12 […]

  ゲノミクスのデータセットは、年々大きくなっています。世界中の研究イニシアチブからのデータを組み合わせ、それを迅速に処理する能力を持つことが重要な科学的発見を可能にするメカニズムとして重要であることが、大規模なバイオインフォマティクスおよびゲノミクスのコミュニティによって確認されています。グローバルな規模でのコラボレーションには、世界中からアクセス可能で、可用性が高く、高性能のデータ処理を可能にするデータストレージソリューションが必須です。 Amazon FSx for Lustre は、高性能 POSIX 準拠の共有ファイルシステムの使いやすさと、Amazon Simple Storage Service (Amazon S3) の業界をリードするスケーラビリティとデータ可用性を兼ね備えています。Amazon FSx for Lustre は Amazon S3 とネイティブに連携し、S3 オブジェクトをファイルとして透過的に提示するため、高性能ファイルシステムでクラウドデータセットを処理し、結果を S3 に書き戻すことが簡単になります。データを Amazon S3 に保存することで、Amazon Redshift、Amazon Athena、Amazon EMR、Amazon SageMaker などの分析および機械学習のソリューションによるダウンストリーム分析が可能になります。 このブログ記事では、Amazon FSx for Lustre を簡単に使用して、AWS でのゲノミクスワークフローを簡素化および高速化する方法を示します。 ゲノミクスワークフロー ゲノミクスワークフローは通常、ファイルの操作用に設計された複数のコマンドラインツールで構成されています。つまり、入力として FASTQ や BAM などのファイルを受け取り、出力として TSV/CSV や VCF などのファイルを生成します。 私たちが使用するゲノミクスワークフローは、二次解析パイプラインです。この特定のパイプラインは、コンテナ化されたツールのセットを使用して、未加工の全ゲノム配列を変形 (標準リファレンスと比較した配列の違い) に変換します。 以前のブログ記事投稿で、AWS Batch および […]

  AWS そして当然ながらコンテナセキュリティに重点を置いているサービスチームにとっても、セキュリティは最も優先すべき事項です。現在の状況をより適切に評価するために、2019年後半に AWS のコンテナユーザーを対象に匿名アンケートを実施しました。全体で運用担当者や SRE から InfoSec、開発者、アーキテクトといったさまざまな役割を持つ 68 名の方々から回答を得ましたので結果を紹介します。さまざまな解釈や結論が含まれています。アンケートに協力してくれた皆さんに感謝したいと思います。質問と結果は GitHub からも入手できます。 まず、主な統計から始めましょう。アンケートを閲覧した 90 名のうち、68 名がアンケートに回答しました。回答にかかった平均時間は、7 分強でした。デモグラフィック情報に関して、我々は 1 つ疑問がありました。それは役割に関するものでした。 質問：私の役割はチーム／組織の中で〇〇〇です。 スペクトル全体は素晴らしい分布でした。テスト/QA に関心があったことは嬉しかったですが、リリース管理に関心が薄いことに少し驚きました。 コンテナセキュリティ全般 全体的な設定に移ります。それほど驚くことではありませんが、特定のユーザーが複数のコンテナオーケストレーターとサービスを使用していることがわかりました。詳細は、次の通りです。 質問：AWS上でどのようにコンテナを起動していますか？ EC2 の EKS と EC2 の ECS がそれぞれ 52％ と44％ で全体をリードしています。ロングテールでは、Docker EE や Nomad の使用が他のシステムでよく見られます。 次に、先を見越した、つまり予防的な方法として、スキャン、署名、およびサプライチェーン管理について注目がありました。全体的な結果は次のようになります。 質問：コンテナイメージをスキャンしていますか？ 2019 年 10 月に導入したネイティブ ECR スキャン機能は人気がありますが、それの大部分 (62％) は静的スキャンが注目されていることがわかりました。しかし、動的つまりランタイムスキャンに関する動向はどうでしょうか？ 質問：動的にコンテナをスキャンしていますか？ それほど大きくはありませんが、ここでは回答者の 83％ の大多数がまだ使用していないという結果でした。また、CNCF Falco […]