Amazon Web Services ブログ

データウェアハウスの移行では、AWS SCT はデータベーススキーマを Amazon Redshift に移行するだけでなく、データを移行することもできます。この記事では、仮想パーティション分割を使用して AWS SCT でデータウェアハウスの移行を最適化する方法について検討します。仮想パーティション分割は、並列処理を使用することで大きなテーブルからのデータ抽出作業を高速化します。。

Intuit社はレガシーデータセンターを売却し、顧客向けアプリケーションである QuickBooks、TurboTax、および Mint を AWS に移動させており、今後数年の間には完全に移行させる予定です。このブログ記事では、彼らがオンプレミスMySQLの移行先として、どのような基準で Amazon Aurora を選び、どのようにして最小限のダウンタイムで移行したのかについて共有されています。

本日より、任意のサーバーをプロビジョニングして管理することなく、Amazon API GatewayでWebSocket APIを使用して双方向通信アプリケーションを構築できます。 HTTPベースのAPIは、リクエスト/レスポンスモデルを使用して、クライアントがサービスにリクエストを送信し、サービスがクライアントに同期して応答します。 WebSocketベースのAPIは本質的に双方向です。 これは、クライアントがメッセージをサービスに送信し、サービスが独立してメッセージをクライアントに送信できることを意味します。 この双方向の振る舞いにより、クライアント/サーバーとのやりとりがより豊富になります。これは、明示的なリクエストをする必要のないクライアントにデータをプッシュできるためです。 WebSocket APIは、チャットアプリケーション、コラボレーションプラットフォーム、マルチプレイヤーゲーム、金融取引プラットフォームなどのリアルタイムアプリケーションでよく使用されます。 このブログでは、WebSocket APIとAPI Gatewayを使用してサーバーレスのリアルタイムチャットアプリケーションを構築する方法について説明します。

どの業界でも、組織が機能する上で中心となるのは、データです。お客様とデータ戦略について話し合うとき、データの取り込み、保存、処理、分析、配布、最終的なデータを安全性について語ります。 Amazon EMR は、膨大な量のデータを処理するために使用するマネージド型 Hadoop フレームワークです。お客様が Amazon EMR を選ぶ理由の 1 つは、そのセキュリティ機能です。例えば、金融サービスなどの規制された業界や医療分野の FINRA のようなお客様は、データ戦略の一環として Amazon EMR を選びます。ペイメントカード業界データセキュリティ基準（PCI）や 医療保険の携行と責任に関する法律（HIPAA）など、エンティティからの厳しい規制要件に準拠するためのものです。 この記事では、Amazon EMR セキュリティの原則についていくつか説明します。また、Amazon EMR で使用できる機能についての説明は、ビジネスのセキュリティとコンプライアンスの目標を達成するのに役立ちます。使用している共通のセキュリティベストプラクティスについて取り上げます。また、開始するためのサンプル構成もいくつか示しています。詳しい情報については、「EMR管理ガイド」の「セキュリティ」を参照してください。

先日 (2018/12/14) 開催しました AWS Black Belt Online Seminar「おまたせしました! 東京リージョンローンチ 記念! Amazon Connect アップデート」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 AWS Black Belt Online Seminar 2018 Amazon Connect from Amazon Web Services Japan AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q1. 0~abj番号を使えるようになりますか？ A：ブラックベルト資料の「よくある質問」の中の「電話番号の制限事項(東京リージョン)」をご参照ください。 Q2. 03番号は取得できますか？ A：東京リージョンにて取得可能です。ブラックベルト資料の「東京リージョンで利用できる電話番号」をご参照ください。 Q3. 現在使っている電話番号を継続して使う場合はどうしたらいいですか？ A：番号の持ち込みは現時点で未対応となっております。ブラックベルト資料の「電話番号の制限事項(東京リージョン)」をご参照ください。 Q4. NTT等で取得済みのフリーダイヤルはそのまま使用、もしくは転送する事は可能でしょうか？？ A：ブラックベルト資料の「電話番号の制限事項(東京リージョン)」をご参照ください。 Q5. セキュリティプロファイルは追加できますか？ A：追加可能です。Connectインスタンスからメニューを「ユーザー」→「セキュリティプロファイル」とたどることで新しいセキュリティプロファイルを追加することが出来ます。 Q6. 任意の権限種類を追加できるかどうか知りたいです A：セキュリティプロファイルを追加する事で可能です。Q5の回答をご参照いただけますでしょうか。 Q7. ソフトフォン以外にも対応していますか？ A：ハードフォン（デスクフォン）をご利用できますが、各AgentのCCPにて、転送する外線電話番号を設定する事で、Amazon Connectからハードフォンに外線転送する方式となります。 内線電話機をSIP等で直接接続する事はできません。 Q9. ハードフォンが使えるというのは、そのハードフォンのPSTNへAmazon […]

2018 年 6 月、Amazon SageMaker 自動モデルチューニングを開始しました。このモデルは、Machine Learning モデルをトレーニングする高性能ハイパーパラメータを自動的に検出する機能です。トレーニング中に学習されたモデルパラメータとは異なり、学習プロセスが開始される前にハイパーパラメータが設定されます。ハイパーパラメータの典型的な使用例としては、確率勾配法の確率を学習する場合があります。デフォルトのハイパーパラメータを使用しても、必ずしも最良のモデルパフォーマンスが得られるわけではなく、高性能ハイパーパラメータを見つける作業は、些細で時間がかかります。自動モデルチューニングを使用すると、Amazon SageMaker は自動的に高性能ハイパーパラメータを見つけ、モデルをトレーニングして、目標メトリクスを最大化します。 構成できるハイパーパラメータの数は、探索中のハイパーパラメータ数の指数関数にあたります。この検索スペースを単純に探索するには、多数のトレーニングジョブが必要となるため、コストが高くなります。この問題を克服するために、Amazon SageMaker はベイズ最適化を使用します。これは、少数のトレーニングジョブに基づいて、異なるハイパーパラメータのパフォーマンスを効率的にモデル化する戦略です。しかし、このアルゴリズムは、トレーニングの終わりには、以前の構成よりも著しく悪化することが判明したハイパーパラメータ構成を探索することがあります。 今日では、早期停止機能を自動モデルチューニングに追加しています。チューニングジョブを起動したときに早期停止することで、Amazon SageMaker は各候補モデルのトレーニング反復（「エポック」）ごとに目標メトリクスを追跡します。Amazon SageMaker は、これまでチューニングジョブで評価されていた以前の最良モデルより、各候補がどれだけ優れているかを評価します。早期停止により、価値のないモデルはすべての反復を完了する前に終了するため、時間を節約し、コストを最大 28 ％削減します（アルゴリズムとデータセットによって異なります）。例えば、このブログ記事では Amazon SageMaker を使用した画像分類アルゴリズムによる早期停止を使用して、時間とコストを 23 ％まで削減する方法を示します。 エポックごとに目標メトリクスを発信する場合、サポートされている Amazon SageMaker アルゴリズムの組み込みと独自のアルゴリズムを使用して、早期停止することができます。 早期停止を使用する画像分類モデルのチューニング 早期停止の活用方法を示すために、画像分類アルゴリズムの組み込みを使用して画像分類器を構築し、Caltech-256 データセットに対してモデルを調整します。2 つのハイパーパラメータチューニングジョブを実行します。片方は自動早期停止を使わず、もう一方は早期停止を有効にして、他の構成はすべて同じままです。次に、2 つのハイパーパラメータチューニングジョブの結果を終わり頃に比較します。完全なサンプルノートブックはこちらから参照できます。 早期停止なしで、ハイパーパラメータチューニングジョブを開始し起動する ノートブックインスタンスを作成し、データセットを準備し、Amazon S3 にプッシュする手順は省略します。サンプルノートブックがこれらのプロセスを含んでいるため、ここでは説明しません。代わりに、ハイパーパラメータチューニングジョブを開始するところから始めます。 チューニングジョブを作成するには、最初に組み込み画像分類アルゴリズム用のトレーニング推定器 (Estimator) を作成し、チューニングする予定のものを除いて、このアルゴリズムのすべてのハイパーパラメータの値を指定する必要があります。組み込み画像分類アルゴリズムのハイパーパラメータについての詳細は、こちらの文書 を参照してください。 s3_train_data = ‘s3://{}/{}/’.format(bucket, s3_train_key) s3_validation_data = ‘s3://{}/{}/’.format(bucket, s3_validation_key) s3_input_train = sagemaker.s3_input(s3_data=s3_train_data, content_type=’application/x-recordio’) s3_input_validation […]

この記事のゲストは AWS Machine Learning のヒーロー、Cyrus Wong です。Cyrus は、香港職業教育研究所（Lee Wai Lee）クラウドイノベーションセンターのデータサイエンティストです。AWS Certifications 9 つをすべて達成し、オープンソースプロジェクト、ブログ記事、イベントを通じて AWS の知識を他の人と共有することを楽しんでいます。 私たちの研究所（IVE）では、毎年数千人の生徒に IT トレーニングを提供しており、コースの 1 つで AWS プロモーションクレジットをうまく適用しています。最近私たちは、AWS AI、サーバーレス、AR/VR サービスを使用して学習経験を強化し、ラボで生徒が何をしているのかを理解するためにデータを収集するオープンソースプロジェクト「Lab Monitor」を構築しました。 問題 ラボアクティビティの一般的な問題の 1 つは、生徒がコースとは関係ないこと（動画視聴やゲームプレイなど）をしばしばしていることです。また、ラボの回答がソフトコピーになっているため、生徒がクラスメートの回答を簡単にコピーできます。一般的には答えが 1 つしかないので、教師は回答をコピーした学生を見抜くのに苦労します。どの生徒がラボに取り組んでいるのか、他の生徒の答案をコピーしているのかは誰にも分かりません！ ソリューション Lab Monitor は、評価モデルの形から最終的な結果のみを以って、開発プロセス全体を変更します。AWS AI サービスを使用して、生徒をサポートし、モニタリングすることができます。 このシステムは、以下のパートで構成されています。 Lab Monitor エージェント Lab Monitor コレクター AR Lab アシスタント Lab Monitor エージェント Lab Monitor エージェントは、生徒のコンピュータアクティビティで動作する Python アプリケーションです。すべての情報は定期的に […]

最もアクセスしたデータベース項目のグラフとダッシュボードを表示することを可能にする Amazon DynamoDB キー診断ライブラリを公開しました。このブログ記事では、主要な診断ライブラリを設定する方法を説明します。次に、ライブラリの視覚化を使用して、映画データベースの例で、不均一なアクセス分布のキーを特定する方法を説明します。

去年、皆さんとお約束したとおり、スウェーデンの AWS リージョンが始動し、本日よりご利用いただけるようになりました。 公式名は欧州 (ストックホルム) で、API 名は eu-north-1 です。このリージョンは既存の 欧州 (アイルランド)、欧州 (ロンドン)、欧州 (フランクフルト)、欧州 (パリ) に加えて 5 番目のリージョンとなります。これらのリージョン全体で 15 のアベイラビリティーゾーンが提供され、回復力と耐障害性に優れたアプリケーションを構築できるようになります。これで、北欧のお客様のデータをより所在地から近い場所で管理するのに役立つ選択肢をご利用いただけるようになりました。 インスタンスとサービス この 3-AZ リージョンで実行するアプリケーションは、C5、C5d、D2、I3、M5、M5d、R5、R5d、および T3 のインスタンスを使用でき、次に示す豊富な AWS サービスを使用できます。Amazon API Gateway、Application Auto Scaling、AWS Artifact、AWS Certificate Manager (ACM)、Amazon CloudFront、AWS CloudFormation、AWS CloudTrail、Amazon CloudWatch、CloudWatch Events、Amazon CloudWatch Logs、AWS CodeDeploy、AWS Config、AWS Config Rules、AWS Database Migration Service、AWS Direct Connect、Amazon DynamoDB、EC2 Auto Scaling、EC2 Dedicated […]

異常検出技術の導入を検討したことがありますか? 異常検出とは、分析しているデータの大部分と大きく異なるため信憑性にかける、あまり見かけないアイテム、イベント、あるいは観察を特定するために使用する手法です。  異常検出のアプリケーションは幅広い分野で利用されており、例えば、異常購入や銀行へのサイバー侵入の検出、MRI スキャンでの悪性腫瘍の発見、不正な保険請求の特定、製造時の異常な機械動作の発見、侵入を知らせるネットワークトラフィックの異常なパターンの検出などがあります。 こうしたアプリケーションには多くの市販品がありますが、Amazon SageMaker、AWS Glue、AWS Lambda を使えば、異常検出システムを簡単に実装することができます。Amazon SageMaker は、機械学習モデルの構築、トレーニング、デプロイを、規模を問わず迅速に行う完全マネージド型プラットフォームです。AWS Glue は、完全マネージド型の ETL サービスで、分析のためのデータやモデルの準備が簡単にできます。AWS Lambda は、普及しているサーバーレスのリアルタイムプラットフォームです。これらのサービスを使用すれば、モデルを新しいデータで自動的に更新することができ、その新しいモデルを使って、リアルタイムに異常をより正確に知らせることができます。 このブログ記事では、AWS Glue でデータを準備し、Amazon SageMaker で異常検出モデルをトレーニングする方法について説明します。今回のエクササイズでは、Numenta Anomaly Benchmark (NAB) ニューヨーク市タクシーデータのサンプルを Amazon DynamoDB に保存し、AWS Lambda 関数を用いてリアルタイムでストリーミングしています。 ここで説明するソリューションは、以下のような利点があります。 既存のリソースを最大限に活用して、異常検出を行います。例えば、災害対策 (DR) やその他の目的で Amazon DynamoDB Streams を使用したことがある場合、そのストリームのデータを異常検出に使用できます。加えて、スタンバイストレージは通常、使用率が低いものです。認識しにくいデータは、トレーニングデータに使用できます。 ユーザーの介入なしに、定期的に新しいデータでモデルを自動的に再トレーニングすることができます。 ランダムカットフォレストを組み込んだ Amazon SageMaker アルゴリズムを使えば、簡単に再トレーニングできます。Amazon SageMaker は、安全でスケーラブルな環境で、特定のワークフローに適応できる、柔軟な分散トレーニングオプションを提供します。 ソリューションのアーキテクチャ 次の図は、ソリューションの全体的なアーキテクチャを示しています。 アーキテクチャーにおけるデータ処理の手順は、次のとおりです。 ソース DynamoDB は変更を取得し、それらを DynamoDB ストリームに格納します。 AWS […]