Amazon Web Services ブログ

この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照してください。Apache Kafka はリアルタイムのストリーミングアプリケーションを構築することを可能にする、オープンソースの分散型ストリーミング プラットフォームです。 この記事に記載されているベストプラクティスは、2年以上にわたり、AWS で大規模な Kafka クラスタを実行し運営する当社の経験に基づいています。この記事では、AWS で Kafka を現在実行している AWS 顧客を支援し、また AWS にオンプレミスの Kafka 展開を移行することを考えている顧客も支援することを目的としています。

AWS クラウドにおける Oracle から PostgreSQL への移行は、評価段階からカットオーバー段階まで、さまざまな技術とスキルを伴う複雑な多段式のプロセスになる可能性があります。伴う複雑さの内容をさらに詳しく理解するには、AWS データベースのブログ投稿をご参照してください。データベースの移行 – 開始する前に知っておくべきこととは？ このブログの投稿は一連の投稿の 2 回目です。前回の移行プロセスとインフラストラクチャに関する留意事項では、移行プロセスの準備について、そして最適なパフォーマンスを手に入れるためのインフラストラクチャ設定の注意点について説明しています。この 2 回目の記事では、元の Oracle データベースの構成と環境を両方とも 1 回の移行と、 change data capture (CDC) という方法による継続的なレプリケーションで設定する方法について説明しています。ソースデータベースの変更を保存するために Oracle DB コンポーネントを適切に設定することにより、思い通りに AWS Database Migration Service (AWS DMS) のサービス環境を構築することができます。このシリーズの3回目となる最後のブログ記事は、AWS DMS を使用したデータベース移行プロセスのエンドポイントである、ターゲットのPostgreSQLデータベース環境の設定を取り上げます。 AWS DMSは、Amazon RDSまたはAmazon EC2のデータベースのオンプレミスデータベースを Amazon RDS またはAmazon Auroraデータベースに移行するためのサービスです。Amazon DMS は、 Oracle から Oracle への同機種間の移行や、 AWS クラウドの Oracle から MySQL 、PostgreSQL […]

プライベートなカスタムエンティティタイプのサポートを可能にする Amazon Comprehend の更新をリリースしました。お客様は、完全に自動で特定の用語を抽出できる、最先端のエンティティ認識モデルのトレーニングをすることができます。機械学習の経験は必要ありません。このサービスにより、お客様は ML の入力と出力を学習しなくても、すでにお持ちのデータを使用してカスタムモデルを作成することができます。お客様はこの機能を使用して、保険証券番号、部品コード、シリアル番号などの組織のニーズに合ったカスタムエンティティを抽出するモデルを簡単に構築できます。 カスタムエンティティタイプを学習するためにサービスをトレーニングすることは、エンティティのセットや、それを含む現実のドキュメントのセットを提供するのと同じくらい簡単です。開始するには、エンティティの一覧をまとめます。製品データベースや、会社が経営計画に使っているエクセルファイルからエンティティを収集します。このブログ記事では、カスタムエンティティタイプをトレーニングして、財務書類から主要な財務用語を抽出します。 CSV 形式では、カラムヘッダとして「Text」と「Type」を必要とします。エンティティとタイプを含む文字列が、作成しようとしているエンティティタイプの名前です。 次に、それらのエンティティがどのように使われているかという観点から、エンティティを含むドキュメントのセットを集めます。このサービスでは、一覧のエンティティを少なくとも 1 つ以上含むドキュメントが、最低 1000 は必要です。 次に、1 つのフォルダからエンティティの一覧の CSV を読み込み、別のフォルダからすべてのドキュメントを含むテキストファイル (1 行に 1 つ) を読み込むようにトレーニングジョブを設定します。 両方のトレーニングデータの準備が整ったら、モデルのトレーニングをします。このプロセスは、トレーニングデータの量や複雑さによって、数分の場合もあれば、数時間かかる場合もあります。Amazon Comprehend では、自動機械学習を使用して、そのデータに最もよく機能する正しい組み合わせを見つけるために、正しいアルゴリズムを選択し、モデルのサンプリングとチューニングを行います。 トレーニングが完了するとカスタムモデルの準備が整います。以下に、有益なメタデータと、トレーニングされたモデルを示します。 カスタムエンティティを探すドキュメントの分析を開始するには、AWS SDK を使用してポータルまたは API のいずれかを使用します。この例では、カスタムエンティティタイプを使用して財務書類を分析する分析ジョブをポータルに作成します。 CLI を使用した同じジョブ送信がどのようになるかを示します。 aws comprehend start-entities-detection-job \ –entity-recognizer-arn “arn:aws:comprehend:us-east-1:1234567890:entity-recognizer/person-recognizer“ \ –job-name person-job \ –data-access-role-arn “arn:aws:iam::1234567890:role/service-role/AmazonComprehendServiceRole-role” \ –language-code en \ –input-data-config “S3Uri=s3://data/input/” \ –output-data-config “S3Uri=s3://data/output/“ […]

新規で作成される Amazon S3 バケットとオブジェクトは、デフォルトでは (常に継続して) プライベートであり、保護されていますが、アクセスコントロールリスト (ACL) と バケットポリシーを利用すると、他の AWS アカウントに対し、あるいはパブリック (匿名) のリクエストに対し、アクセス権を付与することができます。ACL と ポリシーにより柔軟性が大きく向上します。複数のアカウントへのアクセス許可の付与、特定の IP アドレスへのアクセスの制限、Multi-Factor Authentication (MFA) の使用要求、他のアカウントがバケットに新規オブジェクトをアップロードすることの許可の他、さらに多くのことが可能です。 私たちには、ユーザーがパブリックのバケットやオブジェクトを必要に応じて確実に使用できるようにしたいとの思いがあります。そのため、くれぐれも単純ミスや誤解が原因でバケットやオブジェクトがパブリックでアクセス可能になってしまうことのないよう、ツールを提供しています。例えば、昨年は [パブリック] インジケータ―を提供し、どのバケットがパブリックアクセス可能なのか一目でわかるようにしました。 バケットの表示は、デフォルトでパブリックバケットがページ上部に表示されるようソートされます。 また、Trusted Advisor のバケットアクセス権限チェックを無料にしました。 新しい Amazon S3 Block Public Access 今日は、Amazon S3 Block Public Access の紹介を通して、皆さんがバケットとオブジェクトをより簡単に保護できるようにしたいと思います。これは新しいレベルの保護であり、アカウントレベルで、また今後作成するものを含めた個々のバケットに対して機能します。ACL やポリシーで指定された既存のパブリックアクセスをブロックしたり、新規に作られたアイテムへのパブリックアクセス付与を確実に防止したりできます。AWS アカウントをデータレイクや他のビジネスアプリケーションのホストに使用している場合、パブリックアクセスをブロックすることで、意図せぬ公開をアカウントレベルで防ぐのに役立ちます。パブリックアクセスはウェブホスティングに役立つことをぜひ理解していただきたいと思います。 この機能は簡単に使えるよう設計されており、S3 コンソール、CLI、S3 API、CloudFormation テンプレートでアクセスできます。S3 コンソールとパブリック設定のバケットから始めましょう。 [このアカウントのパブリックアクセス設定] をクリックすると、アカウントレベルでの制御を行うことができます。 パブリック ACL を管理するためのオプションが 2 つと、パブリックバケットポリシーを管理するためのオプションが 2 つあります。それぞれを詳しく見ていきましょう。 […]

最近、re:Invent Session Catalogに 3 つのユニークな朝食セッションが追加されたので、皆さんがそれらについて知らないということがないようにしたいと思っています。 Peter Vosshall のような優れたエンジニア、Colm MacCarthaigh のようなプリンシパルエンジニア、そして AWS のサービス全体を担うディレクターと副社長が 3 日の期間中に話すのは極めて異例であるため、re:Invent 2018 で、Peter と Colm から、そして Deepak Singh (AWS コンテナ)、David Richardson (サーバーレス)、および Ken Exner (開発者ツール) から話を聞くことができるこの機会をぜひご利用ください。 How AWS Minimizes the Blast Radius of Failures の席を確保して、Peter Vosshall が AWS における業務の指針となる理念、そしてシステム不具合の影響範囲を縮小するために AWS が使用するテクニックについて率直に話すのをお聞きください。 Closing Loops and Opening Minds: How to Take Control of Systems, […]

グローバルな規模で、Windows システムとサービスの健全性を把握することは簡単ではありません。サーバーのログデータを取得し、リアルタイムでデータを分析かつ操作して、即時に実行可能なテレメトリーに関する正しい情報を作成しましょう。Amazon Kinesis Agent for Microsoft Windows では、AWS の分析エコシステムに Windows サーバーログデータを効率よく収集できるようにします。このブログ記事では、Kinesis Agent for Windows を使用して、Windows Dynamic Host Configuration Protocol (DHCP) のサーバーログを取得および集計する方法について説明します。次に、そのデータを Amazon CloudWatch で、サービスヘルスを示すグラフに変換します。 世界中に散らばるチームのネットワークアクセスのメトリクスを、どうやって数値化していますか? もっと具体的には、ビルの 9 階、北東の角部屋にいるチームのメトリクスは? ビルの中のその部屋のワイヤレスアクセスポイント (WAP) は、チームにネットワークアクセスを確実に安定して提供しているでしょうか? あるいは、WAP が設定されているサブネットが IP アドレスを使い果たしてしまい、そのチームがネットワークアクセスするのを拒否していませんか? この記事では、Kinesis Agent for Windows を使用して、こうした重大な問題を解決します。 スコープの枯渇がもたらす、顧客への影響を検出する Windows DHCP リースは、スコープと呼ばれるネットワークサブネットに分割されています。これらのスコープは、大規模な企業ネットワーク上の、専用の物理的な位置にマップされています。スコープは、それに属するすべての IP アドレスが使用されている場合に、いっぱいであるとみなされます。これは「スコープの枯渇」として知られています。「スコープの枯渇」が発生すると、新しいクライアントはそのサブネット上での IP アドレスのリースを拒否されます。これは「リースの拒否」と呼ばれます。  一般に、DHCP スコープは、予想されるデバイスの正確な数に対して定義されます。スコープが枯渇していることが予想される場合、それもただ単にスコープの枯渇に基づいている場合では、アラートが出ても意味がありません。 Windows DHCP サーバーが「スコープの枯渇」のせいでリースを拒否した場合、特定のレコードを DHCP 監査ログに書き込みます。このイベントのレコードは、Event […]

AWS は、昨年の AWS re:Invent で Amazon Comprehend を発表しました。これは、非構造テキストからキーフレーズ、場所、人物、名前、ブランド、イベント、およびセンチメントを抽出する自然言語処理サービスです。AWS によって訓練された高度な深層学習モデルによって動作する Comprehend では、機械学習スキルを必要とすることなく、開発者なら誰でもアプリケーションに自然言語処理を追加することが可能になります。 本日 のブログ記事では、開発者が Comprehend を拡張して、自然言語用語を識別し、そのチーム、ビジネス、または業界に特化したテキストを分類できるようにする、Comprehend の新しいカスタム化機能についてお知らせしたいと思います。 AWS では、大勢のお客様から、データ、特に非構造の自然言語で構成されるデータが過剰にあることをお聞きしていますが、大量に存在するカスタマー E メール、サポートチケット、会計報告、製品レビュー、ソーシャルメディア、または広告文の中に隠れている有力情報の宝庫を見つけるために組織の内部を掘り起こす必要はなくなると思われます。藁山の針を探す援助をすることは、機械学習が特に得意とすることです。機械学習モデルは、大量のテキストの中から関心がある特定のアイテムを探し出すことにおいて極めて正確になり得 (分析レポート内での企業名の検索など)、言葉の中に隠されたセンチメントにも敏感です (否定的なレビュー、またはカスタマーサービス担当者とカスタマーの建設的な交流の特定)。 Comprehend は一般名称 (場所および物など) の検索のために高精度のモデルを備えていますが、お客様は、その機能を拡張して、ポリシー番号や部品コードなどのより具体的な言語を識別したいと考えておられることがよくあります。これには通常、何もない状態から初めて、新しい専門的な機械学習言語モデルを構築すること (データに注釈を付ける、アルゴリズムを選択する、パラメータを調整する、モデルを最適化する、そして本番でモデルを実行する) が伴います。これらすべての手順には、深層機械学習に関する専門知識が必要となるだけでなく、「Undifferentiated Heavy Lifting」(差別化につながらない重労働)、つまり多くのアプリケーション開発者がむしろ独自の新しい機能の構築に費やしたいと考える労力も意味しています。 Amazon Comprehend のカスタマイズ (機械学習経験は必要ありません) 今日、AWS はお客様が藁山でより多くの針を見つけるためのお手伝いをしています。これに機械学習スキルは必要ありません。Comprehend は目に見えないところでカスタマイズされた機械学習モデルを構築、訓練、およびホストするための重労働を行い、プライベート API を通じてこれらのモデルを利用できるようにします。 カスタムエンティティは、開発者が Comprehend をカスタマイズして、開発者の分野に特定の用語を識別することを可能にします。Comprehend は、例から成る小規模のプライベートインデックス (例えば、ポリシー番号のリスト、およびそれらが使用されるテキスト) から学び、他のテキストブロックでこれらを認識するようにプライベートなカスタムモデルを訓練します。管理するサーバーもなければ、習得するアルゴリズムもありません。 カスタム分類は、開発者が名前が付けられたカテゴリにドキュメントをグループ化できるようにします。わずか 50 件の例で、Comprehend はドキュメントのすべてを分類するために使用できるカスタム分類モデルを自動的に訓練します。サポート E メールを部署ごとに、ソーシャルメディア記事を製品ごとに、または分析レポートを事業単位ごとにグループ化することができます。例がない、またはカテゴリが頻繁に変更される場合 (これはソーシャルメディアで良く見られます)、Comprehend はトピックモデリングを使用してドキュメントの内容だけに基づいて分類することもできます。 Amazon Comprehend […]

今年初め、当社は Amazon SageMaker 自動モデルチューニング を発表しました。これは開発者とデータ科学者が、機械学習モデルのトレーニングとチューニングにかかる多くの時間と労力を削減することを可能にしてくれます。本日、自動モデルチューニングでハイパーパラメータチューニングジョブのウォームスタートを開始します。データ科学者と開発者は、選択された親ジョブに基づいて新しいハイパーパラメータチューニングジョブを作成できるようになり、親ジョブで実行されたトレーニングジョブを事前知識として再利用できます。ハイパーパラメータチューニングジョブのウォームスタートは、ハイパーパラメータチューニングプロセスを加速し、チューニングモデルのコストを削減します。 データ科学者と開発者は、すでに自動モデルチューニングを使用してモデルを効率的にチューニングすることができましたが、さらに多くの支援が必要な分野があります。例えば、小規模予算でハイパーパラメータチューニングジョブを開始し、結果を分析後に、より大きな予算でモデルのチューニングを続けることを決定します。潜在的に異なるハイパーパラメータ設定を使用することもあります (チューニングにより多くのハイパーパラメータを追加したり、一部のハイパーパラメータで異なる検索範囲を試すなど)。もう 1 つの例は、データ科学者または開発者が、以前のモデルチューニングの後に新しいデータを収集し、モデルを再チューニングする場合です。どちらの場合も、このモデルの以前のチューニングジョブから収集した事前知識を使用してハイパーパラメータチューニングジョブを開始すると、最高のモデルに素早くアクセスし、顧客のコストを節約することに役立ちます。しかし、以前に行ったすべてのチューニングジョブはゼロから開始になります。同様のチューニング構成で同じモデルがすでにチューニングされていても、情報は再利用されませんでした。 ハイパーパラメータチューニングジョブのウォームスタートはこれらのニーズに対応します。ここでは、ウォームスタートを活用してモデルを繰り返しチューニングする方法を紹介します。 ウォームスタートを活用した画像分類モデルのチューニング この例では、画像分類子を作成し、ウォームスタートを利用して複数のハイパーパラメータチューニングジョブを実行することによって、画像分類子を繰り返し調整します。Amazon SageMaker 組み込み画像分類アルゴリズム を使用して、モデルを Caltech-256 データセットでトレーニングします。完全なサンプルノートブックはこちらから参照できます。 ハイパーパラメータチューニングジョブの開始と起動 ノートブックインスタンスの作成、データセットの準備、Amazon S3 へのプッシュ、ハイパーパラメータチューニングジョブの起動から直接起動する手順は省略します。サンプルノートブックにはすべての詳細がありますので、ここではプロセスを検討はしません。 この最初のチューニングジョブを実行して、検索スペースについて学習し、画像分類でチューニング可能なパラメータをチューニングする影響を評価します。このジョブは、モデルのチューニングが有望であるかどうか、そして後続のチューニングジョブを作成してチューニングを続行するかどうかを評価します。 チューニングジョブを作成するには、最初に組み込み画像分類アルゴリズム用のトレーニング推定器 (Estimator) を作成し、チューニングする予定のものを除いて、このアルゴリズムのすべてのハイパーパラメータの値を指定する必要があります。組み込み画像分類アルゴリズムのハイパーパラメータについての詳細は、こちらの文書 を参照してください。 s3_output_location = ‘s3://{}/{}/output’.format(bucket, prefix) s3_input_train = sagemaker.s3_input(s3_data=’s3://{}/{}/train’.format(bucket, prefix), content_type=’application/x-recordio’) s3_input_validation = sagemaker.s3_input(s3_data=’s3://{}/{}/validation/’.format(bucket, prefix), content_type=’application/x-recordio’) sess = sagemaker.Session() imageclassification = sagemaker.estimator.Estimator(training_image, role, train_instance_count=1, train_instance_type=’ml.p3.8xlarge’, output_path=s3_output_location, sagemaker_session=sess) imageclassification.set_hyperparameters(num_layers=18, image_shape=’3,224,224′, num_classes=257, num_training_samples=15420, […]

AWS クラウドで Oracle から PostgreSQL に移行するプロセスは何段階もあって複雑になりがちです。評価ステージから切り替えステージまで、さまざまなテクノロジーとスキルが必要になります。このブログ記事は、データベース移行で考慮すべきコンポーネントに関する高水準の側面について説明するシリーズの第 3 回です。このシリーズでは、アプリケーション コンポーネントや各種のシナリオについて、込み入った複雑な点までは取り上げていません。利用状況に応じて大きく変わるからです。細かい点まで深く把握する必要がある場合は、AWS Database ブログの記事「データベースの移行—始める前に知っておく必要のある事柄」をお読みください。 以前の記事、「移行プロセスとインフラストラクチャに関する考察」および「Oracle および AWS DMS CDC 環境でのソース データベースの考察」では、Oracle データベースの構成方法について説明しました。この考察には AWS Data Migration Service (AWS DMS) および AWS Schema Conversion Tool (AWS SCT) のセットアップが含まれていました。これらの設定後、かつデータ移行の開始前に、ターゲットの PostgreSQL データベースを、関連するすべてのスキーマとパラメータを使って起動および稼動させる必要があります。 このシリーズの最後のブログ記事では、AWS DMS と AWS SCT を使用して Oracle データベースからの移行を支援するために PostgreSQL 環境を設定する方法の概要を示します。この記事では、移行セットアップに役立つ PostgreSQL データベースパラメータの構成について説明します。 移行環境では、高可用性、スケーラビリティ、アーカイブ、バックアップ、負荷分散、およびロールバックのための戦略を採用することもお勧めします。これらの戦略については、この記事では扱いません。また、データベース移行の手動部分については触れません。独自の要件やアプリケーションの依存関係の複雑さに合わせて調整できるステップバイステップの手順も含まれません。これらの詳細については、「PostgreSQL を使用した Oracle Database 11g/12c から Amazon Aurora […]

AWS re:Invent 2018 がもうすぐ開催されます! この記事には、AWS re:Invent 2018 で行われる、Amazon Kinesis セッション、チョークトーク、ワークショップのリストを掲載しています。セッションスケジュールの各セッションの説明の横にあるリンクを選択できます。この情報を活用して、Amazon Kinesis の詳細を学ぶためにラスベガスで開催されるカンファレンスウィークをうまくスケジューリングしましょう。 セッション ANT208 – Amazon Kinesis Video Streams を使用したサーバーレスビデオの取り込みと分析 Amazon Kinesis Video Streams を使用すると、ライブビデオのキャプチャー、再生、リアルタイム保存、バッチ指向の ML 主導分析が簡単になります。このセッションでは、Amazon Kinesis Video Streams を開始し、スケーリングするための上位 5 つのベストプラクティスを最初に紹介します。次に、ノート PC に接続された標準 USB カメラからストリーミングビデオをデモンストレーションし、数分以内に標準のブラウザーでライブ再生を行います。また「just walk out (好きな商品を持ち出すだけ)」技術で実現された次世代の実店舗の経験を構築している Amazon Go メンバーもステージに登場します。彼らは Kinesis Video Streams との統合についての技術的な詳細について説明し、成功と難しさを語ります。