Amazon Web Services ブログ

AWS DataSync を使用して VPC を離れることなく、オンプレミスから AWS にファイルを転送する

 AWS DataSync は、Amazon Elastic File System (EFS) や Amazon S3 など、オンプレミスストレージと AWS 間のデータ転送を簡素化、自動化、高速化するために re:Invent 2018 でリリースしたサービスです。最近、すべての S3 ストレージクラスへの直接転送をサポートするようにサービスを拡張しました。多くのお客様は、DataSync を使用してオンプレミスストレージを AWS に移行し、データセンター全体をシャットダウンしたり、コールドデータをより費用対効果の高いストレージに移動したりしています。DataSync は情報セキュリティにおいて高度な基準を順守しています。送信元と送信先の間で転送されるすべてのデータは TLS で暗号化され、DataSync によってデータが永続化されることはなく、AWS ストレージの場所へのアクセスが完全に管理されます。DataSync は、IAM (S3 の場合) やセキュリティグループ (EFS の場合) などの標準 AWS ツールでも管理されます。これらのセキュリティ対策に加えて、一部のお客様は、コピーされたデータのセキュリティをさらに高めるために、パブリックインターネットを経由せずに、Direct Connect または VPN を介してオンプレミスストレージから AWS にデータを移動する必要があります。この投稿では、このようなネットワーク設定を可能にするサービス、そのサービスが提供するセキュリティ上の利点、および転送を設定するためのベストプラクティスについて簡単に説明します。 VPC エンドポイントで DataSync を使用する利点 DataSync では、オンプレミスのソースストレージの場所 (NFS または SMB 共有)、および AWS ストレージサービス (Amazon […]

Read More

Amazon Neptune で Streams、グラフ用 SPARQL フェデレ―テッドクエリなどの新機能がリリース

 最新の Amazon Neptune リリースでは、グラフによって開発者の生産性を強化する多数の新機能をご用意しました。本記事では、今回発表した重要機能と、それらを使用する際のヒントをまとめ、詳しくご紹介します。 開始方法 この新しいエンジンリリースは、既存のクラスターには自動適用されません。リリースノートに記載された手順に従って、既存のクラスターのアップグレードを選択することができます。または、エンジンの最新バージョンを受信する既存のクラスターのクローンを作成できます。 Amazon Neptune クラスターが現時点で存在しない場合は、バージョン 1.0.1.0.200463.0 のデータベースを作成します。Neptune Streams は、テストする前にラボモードで有効化する必要があります。Neptune では、お客様からのフィードバックに基づいて、初期段階の機能をプレビュー版としてリリースしています。実際のユースケースで試験使用、検証することができます。そうしたプレビュー版機能は今後のリリースで製品化されるまではラボモードです。ラボモードでは、neptune_lab_mode クラスターパラメータを使用して、Neptune エンジンの実験機能を有効 (または無効) にできます。ラボモードの設定には、AWS コンソールまたは CLI を使用します。 AWS コンソール Neptune 用 AWS コンソールで、左側のナビゲーションメニューから [パラメータグループ] を選択します。Neptune クラスターに関連付けられたクラスターパラメータグループに移動し、[パラメータの編集] を選択します。 neptune_lab_mode パラメータでは、以下を追加して、ストリームおよびトランザクションのセマンティクスを有効にします。 Streams=enabled, ReadWriteConflictDetection=enabled AWS CLI コンソールではなく CLI を使用して、クラスターパラメータグループの値をチェックし、ラボモードのパラメータを設定することもできます。次の 2 つのコマンドをそれぞれに使用します。 aws neptune describe-db-cluster-parameters –db-cluster-parameter-group-name my-test-param-group –region us-east-1 aws neptune modify-db-cluster-parameter-group –db-cluster-parameter-group-name my-test-param-group […]

Read More

Amazon SageMaker を使用したメジャーリーグベースボールでの新しいスタッツの計算

 ファンに沢山の新しい展開を見せてくれた爽快なレギュラーシーズンが終わり、2019 年のメジャーリーグベースボール (MLB) ポストシーズンがやってきました。MLB とアマゾン ウェブ サービス (AWS) は、MLB ゲームで盗塁成功確率、シフトの影響、およびピッチャーの類似点マッチアップ分析の 3 つの新しいリアルタイムの機械学習 (ML) スタッツを開発して実現するためにチームアップしました。これらの機能は、莫大な量の野球データを収集し、ファンが野球の試合を楽しむあらゆる面において、より多くの洞察、見解、および背景を提供するための MLB の最新鋭テクノロジー、Statcast Ai を通じて、ファンが野球をより深く理解できるようにしてくれます。 この記事では、ゲームへの深い洞察をファンに提供することにおいて機械学習が担う役割について見ていきます。また、これらの洞察の裏にある Amazon SageMaker でのトレーニングとデプロイメントプロセスを表すコードスニペットも提供します。 機械学習が二塁盗塁 盗塁成功確率は、ピッチャーと盗塁ランナー間におけるいたちごっこへの視聴者の理解に新たな奥行きを提供します。 盗塁成功確率を計算するため、AWS は MLB データを使用して、選手が盗塁しようとする場合に安全に二塁を踏むことができるかどうかを判断する 37 の変数を対象とした何千ものデータポイントを分析する ML モデルをトレーニングし、テストしてデプロイしました。これらの変数には、ランナーのスピードと瞬発力、キャッチャーの平均ポップタイム (二塁送球時間)、ピッチャーの球速と利き手、打者、ピッチャー、およびランナーの履歴的な盗塁成功率、そして試合状況についての関連データが含まれます。 私たちは、MLB によって提供された、約 5,500 の盗塁成功と約 1,800 の盗塁死の約 7,300 の盗塁試行に相当する 2015 年から 2018 年の履歴的なプレイデータを使用することで、ロジスティック回帰、サポートベクターマシン、ランダムフォレスト、およびニューラルネットワークなどのさまざまな分類アルゴリズムを探索する 10 分割交差検証アプローチをとりました。クラス不均衡に対応するため、クラスの重み、カスタム損失関数、およびサンプリング戦略を含む多数の戦略を適用し、盗塁成功の確立を予測するために最適なモデルが、人気の DL フレームワークで事前設定されている、Amazon Deep Learning (DL) AMI で訓練されたディープニューラルネットワークであることを突き止めました。トレーニングされたモデルは、予測をリアルタイムで試合時のグラフィックに統合するために必要な […]

Read More

Amazon DynamoDB での優先度付きキューの実装

 キューイングは、分散処理システムで計算コンポーネントを分離するために一般的に使用されるソリューションです。これは、サーバーレスおよびマイクロサービスアーキテクチャで使用する非同期通信システムの形式です。メッセージは処理のためにキューで待機し、1 人のコンシューマーが受信するとキューから出ます。このタイプのメッセージングパターンは、ポイントツーポイント通信と呼ばれます。 この記事では、他の大規模なキューイングシステムで行うように、Amazon DynamoDB テーブルのいずれかを、エンキュー (メッセージをキューに配置) とデキュー (メッセージを読み取り、キューから削除) が行えるキューに変換する方法について説明します。 DynamoDB は、任意の規模で 1 桁のミリ秒のパフォーマンスを実現するキーと値のドキュメントデータベースです。これは、モバイル、ウェブ、ゲーム、広告技術、IoT、および大規模で低レイテンシーのデータアクセスを必要とするその他のアプリケーションに使用できる、サーバーレスで完全マネージド型のサービスです。 永続性、単一メッセージ処理、および分散コンピューティングを提供する多くのキュー実装があります。一般的なキューイングソリューションには、Amazon SQS、Amazon MQ、Apache ActiveMQ、RabbitMQ、Kafka などがあります。これらのサービスは、実装方法、スケーリング、パフォーマンスなど、いくつかの異なる特性を持つさまざまなキュー機能を処理します。 ただし、キューシステムのほとんどは、アイテムがキューに到着した後、アイテムの順序を簡単に変更することはできません。DynamoDB で議論された実装は、処理前にキュー内の順序を変更したり、アイテムをキャンセルしたりできます。 この記事では、DynamoDB のキューイングシステムの重要な側面についても説明します。たとえば、アイテムの優先度の変更、メッセージごとに 1 人のコンシューマーのみの許可、処理成功時のメッセージの削除、メッセージ処理の順序の保証方法、例外の処理方法などです。 通常のキューと優先度付きキュー キューは、アイテム (メッセージ) のコレクションを順番に保持する線形データ構造を定義する抽象データ型です。1 人のコンシューマーは、個々のメッセージを 1 回だけ処理します。最も一般的なキューイング方法の 1 つは、先入れ先出し (FIFO) 構造です。この構造では、新しいアイテムがキューの最後に結合し、キュープロセスは前 (ヘッド) から順番に処理されます。 この記事では、キュー内のメッセージをメッセージの特性でソートする機能を追加することにより、典型的なメッセージキューの実装を強化する方法を示します。これは、優先度付きキューとして知られています。 優先度付きキューでは、各アイテムにキュー内の優先度を定義する追加の属性があります。優先度が変わると、キュー内のアイテムの順序が変わります。優先度付きキューは、ヒープと呼ばれる構造を頻繁に使用するか、自己バランスツリーを使用します。 DynamoDB は、アイテム (レコード) を動的に並べ替えるためにグローバルセカンダリインデックス (GSI) を使用します。キュー項目が表示されている (まだ処理されていない) 限り、キュー内の項目の順序を変更できます。 ソリューションのアーキテクチャ この記事では、DynamoDB のテーブルを使用するマイクロサービスがあるシナリオを使用します。この記事では、キューイングの主なアイデアを説明するために、仮想アプリケーションオブジェクトであるシップメントも紹介します。倉庫内のすべてのアイテムを見つけて、発送の準備ができていることを確認するまで、シップメントを発送できません。シップメントの準備ができたら、それをマークし、ダウンストリーム処理のために FIFO キューに入れることができます。キューでは、アイテムのタイムスタンプが優先度属性として使用されます。 次の図は、このワークフローを示しています。 この記事のアーキテクチャは比較的単純です。JSON […]

Read More

今すぐご利用可能 – Amazon Relational Database Service (RDS) on VMware

 昨年、 オンプレミスの仮想化環境に Amazon Relational Database Service (RDS) の多くの利点をもたらすことを目標に、 Amazon RDS on VMware を提供するために取り組んでいることをお伝えしました。これらの利点には、数分で新しいオンプレミスデータベースをプロビジョニングし、バックアップを行い、適時復元する機能が含まれます。データベースエンジンをプロビジョニングしたり管理する必要なく、オンプレミスデータベースの自動管理を行うことができます。 今すぐご利用いただけます 本日、Amazon RDS on VMware は本番稼働に利用でき、今すぐ使用を開始できることをご報告できてうれしく思います。Microsoft SQL Server、PostgreSQL、および MySQL を開始しています。 いくつかの重要な前提条件は次のとおりです。 互換性 – RDS on VMware は、バージョン 6.5 以降で実行される vSphere クラスターで動作します。 接続性 – お使いの vSphere クラスターはインターネットへのアウトバウンド接続が必要で、パブリック AWS エンドポイントへの HTTPS 接続を行うことができなければなりません。 アクセス許可 – RDS on VMware をセットアップするために、クラスターで管理権限 (および照合機能) をもつ必要があります。また、RDS on VMware で使用するための […]

Read More

新規 – Amazon CloudWatch anomaly detection – 異常検出

 Amazon CloudWatch は、「AWS を使用して、高度でスケーラブルで堅牢なウェブアプリケーションをより簡単に構築できるようにする」という願い (当時の私の説明) の一環として、2009 年初めに開始されました。 私たちは長年にわたって CloudWatch の拡張を続けており、現在ではお客様がそれを使用してインフラストラクチャ、システム、アプリケーション、さらにはビジネス指標を監視しています。お客様はカスタムダッシュボードを構築、アラームを設定し、CloudWatch を使用して、アプリケーションのパフォーマンスや信頼性に影響する問題を警告しています。 CloudWatch アラームを使用したことがあれば、アラームのしきい値を設定するにはちょっとしたコツがあることがわかります。トラブルは早期に確実にキャッチしたいですが、間違ったアラームは引き起こしたくありません。成長や規模に対処する必要がありますし、周期的および季節的な動作に対処するために、しきい値を調整および再調整する必要もあります。 異常検出 現在、CloudWatch のアラームをより効果的に使用するのに役立つ新機能で CloudWatch を強化しています。機械学習で強化され、10 年以上の経験に基づいて構築された CloudWatch 異常検出は、12,000 以上の内部モデルにルーツを持っています。手動による設定や実験を回避するのに役立ち、識別可能な傾向またはパターンを持つ任意の標準またはカスタムの CloudWatch メトリクスと組み合わせて使用できます。 異常検出は、選択したメトリクスの履歴値を分析し、毎時、毎日、毎週繰り返される予測可能なパターンを探します。次に、将来の予測を改善し、正常な動作と問題のある動作をより明確に区別するのに役立つ最適なモデルを作成します。必要に応じてモデルを調整および微調整し、同じ CloudWatch メトリクスに対して複数のモデルを使用することもできます。 異常検出の使用 数秒で独自のモデルを作成できます! 24 時間ごとに CPU 使用率が急上昇する EC2 インスタンスがあります。 メトリクスを選択し、[波] アイコンをクリックして、このメトリクスと統計の異常検出を有効にします。 これにより、デフォルト設定でモデルが作成されます。モデルを選択し、ズームインして使用率の急上昇の 1 つを見ると、急上昇が予測帯域に反映されていることがわかります。 このモデルをそのまま使用してメトリクスのアラームを有効化するか、モデルを選択して [モデルの編集] をクリックしてカスタマイズすることができます。 モデルのトレーニングに使用されるデータから特定の時間範囲 (過去または未来) を除外できます。 これは、データが再度発生しない 1 回限りのイベントを反映している場合に有効です。また、データのタイムゾーンを指定することもできます。 これにより、サマータイムの変化に敏感なメトリクスを処理できます。 これを設定した後、異常検出モデルが有効になり、通常どおりアラームを作成するために使用できます。しきい値の種類として異常検出を選択し、異常検出しきい値を使用してバンドの幅を制御します。メトリクスがバンドの外側、バンドより大きい、またはバンドより低いときにアラームを発生させることができます。 残りの手順は、他の種類のアラームを作成するために既に使用している手順と同じです。 知っておくべきこと この新しい […]

Read More

[AWS Black Belt Online Seminar] Amazon Route 53 Resolver 資料及び QA 公開

先日 (2019/10/16) 開催しました AWS Black Belt Online Seminar「 Amazon Route 53 Resolver 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20191016 AWS Black Belt Online Seminar Amazon Route 53 Resolver from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. オンプレミスと Amazon VPC との相互の名前解決は、AWS Direct Connect や Internet VPN を用いて、オンプレミスと Amazon VPC が接続されていることが前提という理解でよろしいでしょうか。 A. はい。ご認識の通りです。 Q. Route53 Resolver を無効にするユースケースは、例えばどのようなものがありますか? A. お客様が独自にDNSを構築し、そちらのみを利用したいケースなどが考えられます。 Q. […]

Read More

【開催報告】Amazon Analytics 事例祭り – データウェアハウスマイグレーション

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクトの平間です。 9月24日に、「Amazon Analytics 事例祭り – データウェアハウスマイグレーション」を開催いたしました。今回は既存のデータウェアハウス(DWH)環境から、AWSの高速かつ完全マネージド型のDWHであるAmazon Redshiftへ移行されたお客様に、移行の決め手や移行後の効果について「本音」でお話ししていただきました。セミナーは前半がAWSソリューションアーキテクトからAWSのデータレイク及びアナリティクスサービスの概要と、DWHの移行をどのように検討すればよいかの方法をお話させていただき、後半はお客様より移行時の体験談をお話しいただいております。

Read More

[AWS Black Belt Online Seminar] Amazon GameLift 資料及び QA 公開

先日 (2019/10/09) 開催しました AWS Black Belt Online Seminar「 Amazon GameLift 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20191009 AWS Black Belt Online Seminar Amazon GameLift from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. 接続までの模式図において、既に接続先のインスタンスが存在する場合は①〜⑤のステップは省略される場合もあるのでしょうか? A. 省略される場合もありますが、限定的になります。既にゲームセッションへの接続情報を取得しており、プレイヤーセッションの作成も完了している場合に限ります。接続情報を取得していない、もしくは取得していてもプレイヤーセッションを作成していない場合は、既にゲームセッションが存在していても、ゲームセッションの検索・情報の取得(searchGameSessions API や describeGameSessions API など)やプレイヤーセッションの作成(createPlayerSession API など)を Amazon GameLift サービスに依頼する必要があり、①〜⑤のステップを順に処理します。 Q. クライアントサービスは、例えばゲーム機のOSに入るイメージでしょうか。それともゲーム機(ゲームソフトウェア)からインターネットを介してアクセス可能なサーバ(例えばEC2など)を別途立てる形でしょうか? A. 後者になります。クライアントサービスは、ネットワーク越しにバックエンドのサーバーとして設置いただくコンポーネントとなります。ネットワークを介してアクセスできるサーバーであれば、仮想サーバ、コンテナ、サーバーレスといったコンピューティングの形式に依らずに配置できます。 Q. キューとエイリアスを併用する場合、エイリアスはゲームサーバとキューの間にFleet毎に配置する形となるのでしょうか? A. はい、詳細にはエイリアスは予め使用するフリートに紐づけておき、エイリアスとしてキューの送信先リストに追加する形になります。エイリアスはフリートの参照先を簡単に切り替えられることから、GameLift ではキューにおいてもエイリアスを使用することを推奨しています。 Q. フリートの切り戻しは可能でしょうか? A. 可能です。参照先を切り替える前のフリートを残していれば、エイリアスの変更などで参照先を新しいフリートから古いフリートに切り替えることで、元の状態に戻せます。また、切り替える前のフリートを削除してしまっても、そのフリートをデプロイしたときに使用したビルドが […]

Read More

さぁ!AWS Innovate に参加しよう! – Week.3 見どころ紹介

  2019年10月1日 から開始している「AWS Innovate」をお楽しみ頂いていますでしょうか? AWS Innovate はグローバルでも人気のある「クラウド活用のための無償オンラインカンファレンス」です.今回は 2019年10月1日 から 2019年11月5日 までの「計36日間」毎日開催をしており,ライブ配信も含めると「計60個のセッション」を視聴可能です. 既に AWS Innovate「Week.1(2019年10月1日より公開)」と「Week.2(2019年10月8日より公開)」の見どころを紹介しました.合わせて読んで頂けると嬉しいです! さぁ!AWS Innovate に参加しよう! – Week.1 見どころ紹介 | Amazon Web Services ブログ さぁ!AWS Innovate に参加しよう! – Week.2 見どころ紹介 | Amazon Web Services ブログ 既に今週のライブ配信が終わり,セッションも一般公開されているため,引き続き AWS Innovate「Week.3(2019年10月15日より公開)」の見どころを紹介したいと思います.本記事も AWS テクニカルトレーナーである吉田慶章が担当します.今月「計60個のセッション」を全て視聴し,たくさん学び,最も AWS Innovate を楽しんでいるのは私かもしれません(笑) 今からでも AWS Innovate に参加できます.参加申込みは簡単です!以下の申込みサイトにアクセスをしましょう. AWS Innovate サイト AWS Innovate 申込みサイト(無料)   セッションカテゴリ Week.3 では,以下の「計7種類」のセッションカテゴリが追加で視聴できるようになっています.Week.3 は私が大好きな Application Development / Serverless / Container のセッションがありますし,AWS としても重要なワークロードである AI/ML / IoT などのセッションもあります.また Week.2 でも紹介した「AWS アンチパターン」の応用編もあります.今回も全セッションを紹介したいほどに素晴らしく,悩みすぎて頭が痛くなってきました…!あああああ!では,見どころ紹介に入りたいと思います.Here We Go ===┌(・_・)┘ 2019年10月15日より公開(ライブ配信と Q&A) AI/ML Application Development Container IoT Amazon Connect Serverless AWS アンチパターン(応用編)   AWS Cloud Development Kit (AWS CDK) まず「いつもの言語でAWS環境を管理するアプリ担当者のための AWS CDK (Lv.300)」を紹介します.2019年7月に GA となった AWS CDK ですが,TypeScript / Python などのプログラミング言語を使って,AWS リソースを作成する仕組みです. AWS クラウド開発キット (AWS CDK) の一般公開を開始 既に AWS CloudFormation を活用して,Infrastructure as Code […]

Read More