Amazon Web Services ブログ

【開催報告】「コンテナ × スポットインスタンス」 活用セミナー

スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。2020年6月10日にオンラインで開催された「コンテナ × スポットインスタンス」 活用セミナーでは、200名を超えるご参加人数という大盛況のもと、AWSのソリューションアーキテクトによる技術解説と、各種コンテナ技術を最大限に活用してスポットインスタンスをご利用いただいている3社のお客様から、実際の事例についてお話いただきました。 本記事では、お客様のご登壇資料を含む当日資料のご紹介、また参加者の皆様からいただいた当日のQ&Aの一部をご紹介します。 当日アジェンダと資料 12:00~13:00 Amazon EC2 Auto Scaling によるスポットインスタンス活用講座 講師:滝口 開資(アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト) Amazon EC2 Auto Scaling によるスポットインスタンス活用講座 13:00~14:00 具体的実装に学ぶ、Amazon ECS × EC2 スポットインスタンス、Amazon EKS × EC2 スポットインスタンスによる低コスト & 高可用アーキテクチャ 講師:Hara Tori(アマゾン ウェブ サービス ジャパン株式会社 シニアデベロッパー アドボケイト) Containers + EC2 Spot: 特性と実装パターンに学ぶ低コスト & 高可用アーキテクチャ / Practical Guide for Amazon EC2 Spot with Containers […]

Read More

AWS Solutions Constructs – AWS CDK のアーキテクチャパターンのライブラリ

クラウドアプリケーションは、仮想サーバー、コンテナ、サーバーレス機能、ストレージバケット、データベースなどの複数のコンポーネントを使用して構築されます。これらのリソースを安全かつ反復可能な方法でプロビジョニングおよび設定できることは、プロセスを自動化し、実装の固有の部分に集中できるようにするために非常に重要です。 AWS Cloud Development Kit を使用すると、お気に入りのプログラミング言語の表現力を活用してアプリケーションをモデル化できます。コンストラクトと呼ばれる高レベルのコンポーネントを使用して、カスタマイズ可能な「実用的なデフォルト」で事前設定し、新しいアプリケーションをすばやく構築できます。CDKは、Infrastructure as Code を管理することにおけるあらゆるメリットを得るために、AWS CloudFormation を使用してリソースをプロビジョニングします。私が CDK を気に入っている理由の 1 つは、独自のカスタムコンポーネントを上位レベルのコンストラクトとして作成および共有できることです。 複数のお客様にとって役立ち得るパターンが繰り返し発生することは想像に難くありません。そこで、本日、AWS Solutions Constructs をリリースします。これは、独自のソリューションの構築に役立つ Well-Architected なパターンを提供する CDK のオープンソース拡張ライブラリです。CDK コンストラクトは主に単一のサービスをカバーしています。 AWS Solutions Constructs は、2 つ以上の CDK のリソースを組み合わせ、ロギングや暗号化などのベストプラクティスを実装する複数サービスのパターンを提供します。 AWS Solutions Constructs を使用する パターンベースのアプローチの威力を確認するために、新しいアプリケーションを構築する際にどのように役立つかを見てみましょう。例として、Amazon DynamoDB テーブルにデータを格納する HTTP API を構築します。テーブルのコンテンツを小さく保つために、DynamoDB Time to Live (TTL) を使用して、数日後にアイテムを期限切れにすることができます。TTL の期限が切れると、テーブルからデータが削除され、DynamoDB Streams を介して AWS Lambda 関数に送信され、期限切れのデータを Amazon Simple Storage Service […]

Read More

AWS DeepComposer Chartbusters: バッハスタイルで楽曲を生成し、チャートのトップを目指して競い合いましょう

AWS DeepComposer Chartbusters のリリースを発表できることを嬉しく思います。これは毎月開かれるチャレンジで、開発者が AWS DeepComposer を使ってオリジナルの楽曲を作成し、チャートのトップを勝ち取り、賞品を獲得するために競い合います。AWS DeepComposer は、開発者に機械学習 (ML) とジェネレーティブ AI 技術を始めるための創造的な方法を提供します。AWS DeepComposer では、開発者は ML のバックグラウンドに関係なく、ジェネレーティブ AI テクニックを使用開始して、モデルをトレーニングおよび最適化してオリジナルの音楽を作曲する方法を学ぶことができます。AWS DeepComposer Chartbusters の最初の課題である Bach to the Future では、開発者が AWS DeepComposer コンソールで提供される新しいジェネレーティブ AI アルゴリズムを使用して、バッハスタイルの楽曲を作成することが求められます。 AWS は毎月 2020 年 10 月まで、さまざまなジェネレーティブ AI テクニックを紹介するために毎月異なるテーマの新しい Chartbusters チャレンジをリリースします。チャレンジに参加するのに音楽の知識は必要ありません。チャレンジに参加する前に、AWS DeepComposer コンソールで利用できるラーニングカプセルを用いて、毎月のチャレンジに必要なジェネレーティブ AI の概念を学習できます。ラーニングカプセルは、ジェネレーティブ AI アルゴリズムの概念を学ぶのに役立つ、頭に入りやすい一口サイズのコンテンツを提供します。 チャレンジに参加する方法 チャレンジは、開発者が参加するために世界中で開かれています。開始するには、AWS DeepComposer コンソールで利用できるジェネレーティブ AI アルゴリズムの 1 […]

Read More

SageMaker 一時インスタンスで Jupyter ノートブックのスケジュールを立てる

現在、金曜日の午後 5 時です。あなたは、午後に複雑で洗練された機能エンジニアリング戦略をコーディングしてきたとします。Amazon SageMaker Studio t3.medium ノートブックで作業を開始しました。ここでのタスクは、帰宅するまでにこれを大規模なインスタンスに接続し、残りのデータセット全体にスケールアウトすることです。ノートブックインスタンスをアップグレードできますが、ノートパソコンを閉じるとすぐにジョブが停止してしまいます。ノートブックから直接ジョブをスケジュールしませんか? Amazon SageMaker は、機械学習 (ML) モデルを構築、トレーニング、デプロイするためのフルマネージドソリューションを提供します。この記事では、Amazon SageMaker Processing ジョブを使用して、オープンソースプロジェクト Papermill で Jupyter ノートブックを実行する方法を示します。Amazon SageMaker と Amazon CloudWatch、AWS Lambda、および AWS スタック全体の組み合わせにより、機能エンジニアリングなどのジョブをオンザフライでとスケジュールに沿ってスケールアップするために必要なモジュラーバックボーンが常に提供されます。このプロセスを簡素化するために、DIY ツールキットを喜んで提供させていただきます。AWS CloudFormation を使用してアクセス許可を設定し、Lambda を使用してジョブを起動し、Amazon Elastic Container Registry ( Amazon ECR) を使用してカスタマイズされた実行環境を作成できます。これには、任意の AWS クライアントからノートブックの実行を開始するためのライブラリと CLI、およびシームレスなユーザーエクスペリエンスのための Jupyter プラグインが含まれています。 これを執筆している時点で、Jupyter ノートブックにコードを記述し、ボタンをクリックするだけで、Amazon SageMaker 一時インスタンス上で、即時にまたはスケジュールに従って実行できます。この記事で紹介するツールを使用すると、シェルプロンプト、Amazon SageMaker の JupyterLab、お使いの別の JupyterLab 環境、または作成したプログラムで自動化して、どこからでもこれを実行できます。AWS CloudFormation を使用してセットアップを簡素化するための便利なツールを提供するサンプルコードを作成しました。これにより、重い作業を処理し、実行してそれをモニタリングすることができます。 ノートブックの実行の詳細については、GitHub リポジトリを参照してください。すべてのソースコードは、GitHub […]

Read More

Apache Kafka 向け Amazon Managed Streaming を使用して、データキャプチャを Neo4j から Amazon Neptune に変更

Neo4j から Amazon Neptune へのポイントインタイムデータ移行を実行した後、進行中の更新をリアルタイムでキャプチャして複製することができます。Neo4j から Neptune へのポイントインタイムグラフデータ移行の自動化については、完全に自動化されたユーティリティを使用した Neo4j グラフデータベースの Amazon Neptune への移行をご参照ください。この記事では、cdc-neo4j-msk-neptune リポジトリのサンプルソリューションを使用して、Neo4j から Neptune へのキャプチャとレプリケーションを自動化する手順について説明します。 変更データキャプチャ (CDC) パターンを使用したデータベースの継続的なレプリケーションにより、データをストリーミングして他のシステムで利用できるようにすることができます。この記事では、最新の変更を Neptune にコピーできるように、CDC を使用して Neo4j からデータをストリーミングすることにより、グラフデータベースを最新化することに専念しています。Strangler パターンのイベント傍受戦略を使用して Neo4j を最新化することにより、すべての変更を Neptune に段階的にプッシュし、アプリケーションを変更して Neptune を使用できます。Neptune は、高速で信頼性が高い、完全マネージド型グラフデータベースサービスであり、高度に接続されたデータセットと連携するアプリケーションの構築と実行を容易にします。Neptune の中核にあるのは、何十億もの関係を保存し、ミリ秒単位のレイテンシーでグラフをクエリするために最適化された、専用の高性能グラフデータベースエンジンです。 アーキテクチャの概要 この記事のソリューションは、AWS アカウントでの次のアーキテクチャのデプロイを自動化します。このアーキテクチャは、レプリケーション用の疎結合システムを構築するためにソリューションがプロビジョニングする AWS リソースを示しています。 アーキテクチャには次の要素が含まれます。 Amazon VPC 内のすべての必須 AWS リソースをブートストラップする、エンドユーザーがトリガーする AWS クラウド開発キット (AWS CDK) アプリ レプリケーション用の Docker コンテナで実行される専用サービスを実行するための Amazon Elastic […]

Read More

Application Load Balancer を使用して、プライベートサブネット内で起動された Amazon EMR 上のインターフェイスにセキュアにアクセスする

Amazon EMR ウェブインターフェイスは、EMR クラスターのマスターノードにホストされています。EMR クラスターをプライベートサブネット内で起動した場合、EMR マスターノードはパブリック DNS レコードを保持しません。プライベートサブネット内にホストされたウェブインターフェースは、サブネット外には簡単にアクセスできません。Application Load Balancer (ALB) を HTTPS プロキシとして使用すると、Bastion ホストを介した SSH トンネリングを行うことなく、インターネット上の EMR ウェブインターフェイスにアクセスすることが可能です。このアプローチにより、 EMR ウェブインターフェイスへのアクセスが大いに簡素化されます。 この投稿では、EMR クラスターをプライベートサブネット内で起動した場合に、ALB を使用してどのようにインターネット上の EMR ウェブインターフェースへセキュアなアクセスをするのかを概説します。 ソリューションの概要 VPC サブネット内に起動されたノードは、以下のいずれかが存在しない限り、そのサブネットから外部への通信はできません。 VPC 内で、そのサブネットから他のサブネットへのネットワークルート VPC Peering による VPC サブネットへのルート AWS Direct Connect を介したサブネットへのルート インターネットゲートウェイへのルート VPN 接続からサブネットへのルート 最高レベルのセキュリティを EMR クラスターに求める場合は、クラスターへの最小数のルートを持つサブネットにクラスターを配置する必要があります。これにより、プライベートサブネット内で起動された EMR クラスターのマスターノード上で動作しているウェブインターフェースへのアクセスがさらに難しくなります。 このソリューションでは、 EMR マスターノード上のウェブインターフェースエンドポイントへの HTTPS プロキシとして機能するインターネット向けの ALB を使用しています。ALBは、HTTPSポートで着信ウェブインターフェイスアクセスリクエストをリッスンし、EMR […]

Read More

Amazon SageMaker DeepAR アルゴリズムによる運転速度違反の予測

多くの企業や業界にとって、予測という側面はとても重要です。明確に定義された目標がないまま前進すると深刻な結果をもたらす可能性があります。製品計画、財務予測、および天気予報は、ハードデータと重要な分析に基づいて科学的な見積もりを作成します。時系列予測は、ベースライン、トレンド、および季節性があれば履歴データを分解できます。 Amazon SageMaker DeepAR 予測アルゴリズムは、時系列を予測するための教師あり機械学習アルゴリズムです。このアルゴリズムは、リカレントニューラルネットワーク (RNN) を使用して、ポイント予測と確率論的予測を生成します。DeepAR アルゴリズムを使用して、スカラー (1 次元) 時系列の単一の値を予測するか、モデルを作成することにより、関連する数百の時系列で同時に動作させることができます。また、モデルがトレーニングされる系列に関連する新しい時系列を予測することもできます。 時系列予測を説明するために、DeepAR アルゴリズムを使用してシカゴの速度違反カメラデータセットを分析します。データセットは Data.gov によってホストされ、米国総務局、テクノロジートランスフォーメーションサービスによって管理されています。これらの違反はカメラシステムによってキャプチャされ、シカゴデータポータルで利用できます。データセットを使用して、データのパターンを識別し、有意義な洞察を得ることができます。 データセットには、複数のカメラの位置と毎日の違反件数が含まれています。カメラがとらえた毎日の違反を 1 つの時系列として想像すると、DeepAR アルゴリズムを使用して、複数の道路のモデルを同時にトレーニングし、複数の道路のカメラ違反を予測できます。 この分析により、ドライバーが 1 年間さまざまな時間帯に制限速度を超過して運転する可能性が最も高い道路と、データの季節性を特定することができます。これにより、都市では、運転速度を下げ、代替経路を作成し、安全性を高めるための事前対策を実施することができます。 このノートブックのコードは、GitHub リポジトリで入手できます。 Jupyter ノートブックの作成 始める前に、Amazon SageMaker Jupyter ノートブックインスタンスを作成します。この投稿では、ml.m4.xlarge ノートブックインスタンスと組み込みの python3 カーネルを使用します。 必要なライブラリのインポート、データのダウンロードと視覚化 データを Jupyter ノートブックインスタンスにダウンロードし、Amazon Simple Storage Service (Amazon S3) バケットにアップロードします。データをトレーニングするには、住所、違反日、違反回数を使用します。以下のコードと出力は、データセットをダウンロードし、数行と 4 列を表示する方法を示しています。 url = ‘https://data.cityofchicago.org/api/views/hhkd-xvj4/rows.csv?accessType=DOWNLOAD’ # シカゴ市のサイトからデータを取得 r = requests.get(url, allow_redirects=True) open(datafile, […]

Read More

Amazon Aurora Global Database の書き込み転送を使用してグローバルに分散された MySQL アプリケーションを構築する

AWS は 2018 年に Amazon Aurora Global Database をリリースしました。Aurora Global Database は主に 2 つのユースケースで使えます。最初のユースケースは、災害復旧ソリューションをサポートすることです。これにより、低目標復旧時点 (RPO) と低目標復旧時間 (RTO) でリージョン全体の障害に対処しながら、保護対象のデータベースクラスターへのパフォーマンスへの影響を最小限に抑えることができます。Aurora Global Database を使用すると、通常、RPO は 5 秒未満、RTO は 1 分未満に抑えることができます。書き込みワークロードが大きい場合でも、ソースクラスターとターゲットクラスターの両方に対するパフォーマンスへの影響は無視できるほどに小さいものです。 Aurora Global Database の 2 番目の主なユースケースは、最大 5 つのリモートリージョンに Amazon Aurora クラスターの読み取り専用コピーを供給して、そのリージョンに近いユーザーにサービスを提供することです。これにより、リモートリージョンのユーザーは、さらに離れたプライマリリージョンに接続する必要がある場合よりも低いレイテンシーで読み取りが行えます。 次のグラフは、2 つのリージョン間で MySQL 論理レプリケーションを使用した例を示しています。クエリの数が段階的に増加すると、ターゲットクラスターで観察されるレプリケーションタイムラグは指数関数的に増加します。さらに、テスト済みの設定で処理できる 1 秒あたりのクエリ数は、ピーク時に約 35,000 でした。 対照的に、次のグラフは、Aurora Global Database を使用したのと同じワークロードとインスタンスのサイジングを示しています。レプリケーションは 1 秒未満のタイムラグを維持し、1 秒あたりのクエリ数はピーク時に約 200,000 (+ […]

Read More

オンラインテックトーク 6 月 26 日: AWS Storage を使用したデータのアーカイブ

6 月 26 日に開催される AWS オンラインストレージテックトークをお見逃しなく。AWS エキスパートが AWS ストレージサービスを使ったデータアーカイブの最新化と簡素化についてお話します。 このテックトークは、午前 11:00~午後 12:00 太平洋時間 (午後 2:00~午後 3:00 東部時間) に開催されます。 AWS は、データアーカイブ用のクラウドストレージサービスのフルセットを提供しています。お客様は、データの保持と取得のニーズに応じて、Amazon S3 Glacier と S3 Glacier Deep Archive を選択して、手頃な料金で時間の制約を受けにくいクラウドストレージを取得したり、または Amazon S3 を選択して、クラウドストレージを高速化したりできます。AWS Storage Gateway とソリューションプロバイダーエコシステムにより、お客様はアクティブアーカイブまたはデジタルアセット保護のための包括的なストレージソリューションを構築できます。長期的なデータ保持のためのベストプラクティスとアーキテクチャについて学びましょう。 この 300 レベルのオンラインセミナーの内容は、以下の通りです。 AWS がアーカイブのユースケースに最適なソリューションである理由を学ぶ データのアーカイブのベストプラクティスを学ぶ 長期的なデータ保持のための AWS ストレージソリューションを学ぶ 参加対象者 IT 専門家 アーカイブマネージャー ストレージ管理者 IT マネージャー クラウドストレージ管理者 クラウドアーキテクト IT インフラストラクチャのディレクター 内容に関心のあるお客様 講師 […]

Read More

金融業界におけるPrivateLink活用

今回のBlogではAWSクラウド利用による新しいビジネス展開の促進に貢献する、AWS PrivateLinkの機能概要と金融業界における利用事例についてご紹介します。金融機関にとっての喫緊の課題は、近年の日本の人口構成の変化や、特に最近のお客様の行動様式の変化に対応すべく、ニーズに合わせた新しいサービスをタイムリーに提供していくための仕組みづくりだと言われています。特にお客様との接点が、対面方式から非対面方式へ変化してきており、対顧客チャネルが実店舗からオンラインへ加速度的にシフトしていくことを意味しています。このオンラインチャネルにおいて、顧客満足度を上げるためにはよりよいカスタマーエクスペリエンス(顧客体験)の提供が欠かせません。また経営効率化の観点から、フロントラインのオンラインチャネル化に伴い行内・社内事務作業の機械化、自動化もますます必要性が増していきます。これらの課題解決のために最新テクノロージーの活用が求められることになりますが、迅速な対応にあたっては自社のみの技術だけでなく、外部のサービスを効率的に活用し、それを組み合わせることで顧客のニーズに合った独自のサービスを迅速に提供することも今後の新しいアプローチといえるかと思います。今回は、このような課題を抱える金融機関と、金融機関にサービスを提供されているAWSパートナー様にとってPrivateLinkがどのように役立つかについて述べさせていただきます。

Read More