Amazon Web Services ブログ

先月下旬、私は 南アフリカの AWS リージョンに取り組んでいることをお知らせしました。本日は、イタリアの AWS リージョンを構築中で、2020 年初頭には開設予定であることをお知らせします。 ミラノ、2020 年 予定されている欧州 (ミラノ) リージョンには 3 つのアベイラビリティーゾーンがあり、これで既存のフランス、ドイツ、アイルランド、英国、今年後半に開始される新しいスウェーデンリージョンを合わせて、ヨーロッパで 6 番目のリージョンになります。当社は現在、全世界 19 の地理的リージョンに 57 のアベイラビリティーゾーンがあり、これに加えて現在から 2020 年の前期の間に、5 つのリージョンの 15 のアベイラビリティーゾーンが準備中です (詳細については、AWS グローバルインフラストラクチャ ページを参照ください)。既存のすべてのリージョンと同じく、これは最も厳格なコンプライアンス基準を満たし、AWS のお客様に最高レベルのセキュリティを提供するように設計されています。 イタリアの AWS イタリアの AWS のお客様は、既存のリージョンを 10 年以上使っています。イタリアのホットなスタートアップ、企業、公共部門組織はすべて、AWS クラウドでミッションクリティカルなアプリケーションを実行しています。すでに起こっていることをお知らせするための例を紹介します。 Ferrero は世界最大のチョコレート製造メーカーの 1 つです (私のブログ執筆を力づけるポケットコーヒーも作っています)。同社は 2010 年から AWS を使用しており、80 か国の 250 Web サイト全体で機能を共有できるテンプレート駆動モデルを使用して、トラフィックサージを処理しながらコストを 30％ 削減しています。 Mediaset は複数の放送ネットワークとデジタルチャンネル、有料テレビサービス、広告代理店、イタリア映画スタジオ Medusa […]

AWS CloudFormation は、Infrastructure as Code (IaC) を実装する取り組みをサポートします。テンプレートを使うことで、希望する AWS リソース設定を定義し、それを使って CloudFormation スタックを起動することができます。スタックには、指定通りに設定されたテンプレートに定義されている、一連のリソースが含まれています。設定を変更する必要があるときは、このテンプレートを更新し、CloudFormation の変更セットを使って変更を適用します。テンプレートはインフラストラクチャを完全かつ詳細に指定するので、ユーザーは自信をもって、いつでもこれを使って新しいリソースセットを作成できます。 実に理想的といえるでしょう。 現実には、多くの企業でいまだに IaC の完全な実装が行われています。こうした企業は、並行して従業員の研修やプロセスの調整を行っています。いずれも、ある程度の時間が必要です。移行期間中に、テンプレートを更新することなく、AWS リソース (とそのプロパティ) を直接変更して終わることもよくあります。また、帯域外でその場しのぎの修正を行って EC2 インスタンスタイプを変更したり、Auto Scaling パラメータを修正したり、IAM パーミッションを更新したりしている場合もあります。こうしたアンマネージド型の変更は、再起動時に問題を発生させる要因となります。実行中のスタックの設定がテンプレートから乖離してしまい、適切に記述されなくなるためです。深刻なケースでは、変更によってスタックの更新や削除が妨害される場合もあります。 新しいドリフト検出 本日、当社は、上記のような状況に対応するために設計された、強力な、新しいドリフト検出機能を発表します。テンプレートからスタックを作成した後に、コンソール、CLI、またはユーザー自身のコードからのドリフトを検出できます。スタック全体、または特定のリソースでドリフトを検出し、結果を数分以内に確認することが可能です。その後、テンプレートの更新に必要な情報や、リソースをコンプライアンスに準拠した適切な状態に戻すための情報が提供されます。 ドリフト検出のチェックを開始すると、CloudFormation が、現在のスタック設定と、スタックを作成または更新するために使用された、テンプレートが指定する設定とを比較し、誤差があれば報告し、それぞれの詳細な情報を提供します。 当社は、核となる一連のサービス、リソース、プロパティへのサポートを開始します。サポートは今後さらに追加される予定です。初回のリソースリストには、API ゲートウェイ、Auto Scaling、CloudTrail、CloudWatch Events、CloudWatch Logs、DynamoDB、Amazon EC2、Elastic Load Balancing、IAM、AWS IoT、Lambda、Amazon RDS、Route 53、Amazon S3、Amazon SNS、Amazon SQS その他が含まれています。 ドリフト検出は、CREATE_COMPLETE、UPDATE_COMPLETE、UPDATE_ROLLBACK_COMPLETE、UPDATE_ROLLBACK_FAILED の状態にあるスタックに実行できます。ドリフト検出は、チェックしたスタックにネストされている他のスタックには適用されません。これらのチェックはユーザーが自ら行います。 実行中のドリフト検出 Provisioned Throughput for Amazon EFS の記事を書いたときに使用した単純なタスクで、この機能を実際に使ってみました。スタックを選んで [Action] メニューから [Detect […]

今年はじめに EC2 フリートについてお話しました。EC2 フリートは、EC2 オンデマンドインスタンス、リザーブドインスタンス、複数の EC2 インスタンスタイプをカバーするスポットインスタンスを組み合わせるフリートを簡単に編成する AWS ビルディングブロックを指します。その記事でお話ししたのは、フリートの作成方法と、M4 および M5 インスタンスの組み合わせたゲノミクス処理パイプラインを作成した例についてでした。また、EC2 フリートを Auto Scaling および他の AWS サービスと統合することに取り組んでいることもお知らせしました。 複数のインスタンスタイプにわたる Auto Scaling とその購入オプション 本日より条件の変更に対応して拡張および縮小できる Auto Scaling グループの作成ができるようになったことをお知らせいたします。EC2 インスタンスタイプと料金モデルでもっとも経済的な組み合わせもご利用になれます。オンデマンドおよびスポットの組み合わせの管理機能とともに、グループ構築の際に使用される複数のインスタンスタイプの完全管理が可能です。さらに、既存の Auto Scaling グループを更新することでも、この新機能を利用できるようになります。 作成する Auto Scaling グループは、スケールアウトイベントまたはスケールインイベントの発生ごとに最適化されます。また、ご利用の設定によるその他の要件を満たしつつ、常に最低の総コストを求めます。新しいインスタンスタイプが利用可能になると設定を変更できるため、EC2 に合わせて展開するグループを作成できます。 Auto Scaling グループの作成 Auto Scaling グループは、EC2 コンソール、CLI、API から作成できます。最初のステップとして、適切な起動テンプレート (スポットインスタンスの使用を指定しないもの) があることを確認します。私の例をご紹介します。 Auto Scaling グループに移動し、[Auto Scaling グループの作成] をクリックします。 [起動テンプレート] をクリックして [ProdWebServer] テンプレートを選択し、[次のステップ] […]

AWS クラウドで Oracle から PostgreSQL に移行するプロセスは何段階もあって複雑になりがちです。評価ステージから切り替えステージまで、さまざまなテクノロジーとスキルが必要になります。このブログシリーズでは、ソースの Oracle データベースとターゲットの PostgreSQL サービス、そして AWS Database Migration (AWS DMS) サービスについて、その環境と構成の設定方法をお伝えしています。特に焦点を当てているのが、ソースおよびターゲットデータベースのインフラストラクチャと設定、そして開発からテスト、本稼働、ステージングデータベースまでの各環境の移行に使用するツールと構成です。まずは、Oracle から、PostgreSQL との互換性がある Amazon RDS for PostgreSQL または Amazon Aurora ベースのデータベースへのデータ移行から始めることにします。 環境はそれぞれ異なりますが、機能は共通です。このシリーズのブログ記事では、各コンポーネントについて、データベースを移行する際に考慮する概要情報をお伝えするにとどめています。アプリケーションのコンポーネントや各種のシナリオについて、込み入った複雑な点までは取り上げていません。利用状況に応じて大きく変わるからです。細かい点まで深く把握する必要がある場合は、AWS Database ブログの記事 Database Migration—What Do You Need to Know Before You Start? をお読みください。 このシリーズには 3 つのブログ記事があり、それぞれで移行の 3 段階を扱っています。 ステージ 1: 移行プロセスとインフラストラクチャに関する考慮事項。この記事では、ソースサーバーのインフラストラクチャ設定について説明しています。移行プロセスの概要レベルについても触れており、Oracle データベースとクライアントハードウェアおよびオペレーティングシステムに適宜アクセスする必要があります。 ステージ 2: Oracle および AWS DMS […]

re:Invent 2018 が間もなく開催です! 今年は、データと分析の追跡が盛り上がっています。 このブログ記事では、re:Invent 2018 のデータと分析セッションを特集しています。本年のイベントに参加されるなら、会議で行われるセッション、ワークショップ、チョークトーク、ビルダーセッションを確認してください。これまでと同じく、分析、深層学習、AI Summit、サーバーレス、アーキテクチャ、データベースなど、さまざまなトピックカテゴリーのイベントが行われます。 Intuit、Nike、Intel、WuXi NextCODE、Warner Brothers、AutoDesk、NFL、SendGrid、McDonald、AirBnB、Hilton、Guardian Life、Amazon Go、Pfizer など、多くの企業の素晴らしいセッションが行われます。 これらのセッションは録画され、会議後に YouTube から視聴可能です。また、これらのセッションのすべてのスライドデッキは、会議後に SlideShare.net で入手できます。 ブレークアウトセッションの詳細については、この記事のリンクを選択してください。 注意: 機械学習に興味があれば AI Summit と Machine Learning、AI ワークショップとセッションを確認してください。次のブレークアウト分析セッションは、今年のセッションカタログを構成します。 AWS Analytics と DB Services のバイスプレジデント Anurag Gupta と、Amazon Machine Learning (Amazon ML) のバイスプレジデント Swami Sivasubramanian による 2 つのセッションがあります。 ANT205 – テクノロジーの動向: データレイクと分析 この講演では、AWS Analytic と Transactional […]

Amazon Comprehend は自然言語のテキストを大量に処理するパワーをもたらします (詳しくは、入門的な内容を記した、私の投稿記事、Amazon Comprehend – Continuously Trained Natural Language Processing をご覧ください)。2017 年に英語およびスペイン語のサポートとともに立ち上げて以来、私たちはお客様のニーズに基づいた機能を追加してきました。たとえば、非同期バッチオペレーション、構文分析、多言語サポート (フランス語、ドイツ語、イタリア語、ポルトガル語)、リージョンの追加などが挙げられます。 自動機械学習 (AutoML) を使用することで、Comprehend は ML の入力と出力を学習する必要のない、お客様が既にお持ちのデータを使用したカスタム自然言語処理 (NLP) モデルの作成を実現します。お客様のデータセットとユースケースに基づき、適切なアルゴリズムを自動的に選択して、パラメータ、ビルドのチューニング、および結果モデルのテストを行います。 タグ付き文書のコレクションを既にお持ちであれば (サポートチケット、Amazon Transcribe 経由、フォーラムの投稿などといったコールセンターの会話)、開始点としてこれらをご使用いただけます。この場合、タグ付きとは単に、各文書が検証済みであり、望ましい方法で特徴づけるラベルが割り当てられていることを意味します。カスタム分類には少なくともラベルごとに 50 件の文書が必要ですが、数百または数千件の文書があれば特徴づけの精度が上がります。 この記事では主にカスタム分類について取り上げ、適切なテキストから不適切な表現を含むテキストを分離するモデルのトレーニング方法をご紹介します。続いて、新しいテキストを分類するモデルの使用方法をご紹介します。 分類子の使用 開始点となるのは次の様なトレーニングテキストの CSV ファイルです (ここでは画像を加工していますが、不適切な言葉が多数含まれています)。 トレーニングデータは S3 オブジェクト内に常駐している必要があり、また、1 行につきラベルと文書を 1 つづつ指定します。 次に、Amazon Comprehend コンソールへ移動し、[Classification] (分類)をクリックします。私は既存の分類子を持っていないので、[Create classifier] (分類子の作成) をクリックします。 分類子に名前をつけ、文書の言語を選択し、自分のトレーニングデータが置かれている S3 バケットを選択します。その後、そのバケットへのアクセス許可をもつ AWS Identity and Access Management […]

AWS Glue は、抽出、変換、ロード (ETL) のための完全マネージド型サービスであり、分析のためのデータの準備と読み込みを簡単にします。AWS Glue は、AWS Glue ドキュメントで説明されているように、接続を使用して、特定のタイプのソースおよびターゲットのデータストアにアクセスします。 デフォルトでは、AWS Glue を使用して、AWS Glue リソースを備えているのと同じ AWS アカウントおよび AWS リージョンのデータストアへの接続を行うことができます。このブログ記事では、AWS Glue リソースを備えているのとは異なるアカウントや AWS リージョンのデータストアにアクセスする方法について説明します。 AWS Glue の接続 AWS Glue は、ドキュメントで説明されているように、AWS Glue データカタログで、接続を使用してデータストアのメタデータをクロールおよびカタログ作成します。また、AWS Glue ETL ジョブも、接続を使用してソースおよびターゲットのデータストアに接続します。AWS Glue は、Amazon Redshift、Amazon RDS、JDBC データストアへの接続をサポートしています。 接続には、AWS Glue がデータストアにアクセスするために必要なプロパティが含まれています。こうしたプロパティには、ユーザー名とパスワード、データストアのサブネット ID、セキュリティグループなどの接続情報が含まれている場合があります。 データストアが Amazon VPC 内にある場合、AWS Glue は VPC のサブネット ID とセキュリティグループ ID という接続プロパティを使用して、データストアを含む VPC […]

この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照してください。Apache Kafka はリアルタイムのストリーミングアプリケーションを構築することを可能にする、オープンソースの分散型ストリーミング プラットフォームです。 この記事に記載されているベストプラクティスは、2年以上にわたり、AWS で大規模な Kafka クラスタを実行し運営する当社の経験に基づいています。この記事では、AWS で Kafka を現在実行している AWS 顧客を支援し、また AWS にオンプレミスの Kafka 展開を移行することを考えている顧客も支援することを目的としています。

AWS クラウドにおける Oracle から PostgreSQL への移行は、評価段階からカットオーバー段階まで、さまざまな技術とスキルを伴う複雑な多段式のプロセスになる可能性があります。伴う複雑さの内容をさらに詳しく理解するには、AWS データベースのブログ投稿をご参照してください。データベースの移行 – 開始する前に知っておくべきこととは？ このブログの投稿は一連の投稿の 2 回目です。前回の移行プロセスとインフラストラクチャに関する留意事項では、移行プロセスの準備について、そして最適なパフォーマンスを手に入れるためのインフラストラクチャ設定の注意点について説明しています。この 2 回目の記事では、元の Oracle データベースの構成と環境を両方とも 1 回の移行と、 change data capture (CDC) という方法による継続的なレプリケーションで設定する方法について説明しています。ソースデータベースの変更を保存するために Oracle DB コンポーネントを適切に設定することにより、思い通りに AWS Database Migration Service (AWS DMS) のサービス環境を構築することができます。このシリーズの3回目となる最後のブログ記事は、AWS DMS を使用したデータベース移行プロセスのエンドポイントである、ターゲットのPostgreSQLデータベース環境の設定を取り上げます。 AWS DMSは、Amazon RDSまたはAmazon EC2のデータベースのオンプレミスデータベースを Amazon RDS またはAmazon Auroraデータベースに移行するためのサービスです。Amazon DMS は、 Oracle から Oracle への同機種間の移行や、 AWS クラウドの Oracle から MySQL 、PostgreSQL […]

新規で作成される Amazon S3 バケットとオブジェクトは、デフォルトでは (常に継続して) プライベートであり、保護されていますが、アクセスコントロールリスト (ACL) と バケットポリシーを利用すると、他の AWS アカウントに対し、あるいはパブリック (匿名) のリクエストに対し、アクセス権を付与することができます。ACL と ポリシーにより柔軟性が大きく向上します。複数のアカウントへのアクセス許可の付与、特定の IP アドレスへのアクセスの制限、Multi-Factor Authentication (MFA) の使用要求、他のアカウントがバケットに新規オブジェクトをアップロードすることの許可の他、さらに多くのことが可能です。 私たちには、ユーザーがパブリックのバケットやオブジェクトを必要に応じて確実に使用できるようにしたいとの思いがあります。そのため、くれぐれも単純ミスや誤解が原因でバケットやオブジェクトがパブリックでアクセス可能になってしまうことのないよう、ツールを提供しています。例えば、昨年は [パブリック] インジケータ―を提供し、どのバケットがパブリックアクセス可能なのか一目でわかるようにしました。 バケットの表示は、デフォルトでパブリックバケットがページ上部に表示されるようソートされます。 また、Trusted Advisor のバケットアクセス権限チェックを無料にしました。 新しい Amazon S3 Block Public Access 今日は、Amazon S3 Block Public Access の紹介を通して、皆さんがバケットとオブジェクトをより簡単に保護できるようにしたいと思います。これは新しいレベルの保護であり、アカウントレベルで、また今後作成するものを含めた個々のバケットに対して機能します。ACL やポリシーで指定された既存のパブリックアクセスをブロックしたり、新規に作られたアイテムへのパブリックアクセス付与を確実に防止したりできます。AWS アカウントをデータレイクや他のビジネスアプリケーションのホストに使用している場合、パブリックアクセスをブロックすることで、意図せぬ公開をアカウントレベルで防ぐのに役立ちます。パブリックアクセスはウェブホスティングに役立つことをぜひ理解していただきたいと思います。 この機能は簡単に使えるよう設計されており、S3 コンソール、CLI、S3 API、CloudFormation テンプレートでアクセスできます。S3 コンソールとパブリック設定のバケットから始めましょう。 [このアカウントのパブリックアクセス設定] をクリックすると、アカウントレベルでの制御を行うことができます。 パブリック ACL を管理するためのオプションが 2 つと、パブリックバケットポリシーを管理するためのオプションが 2 つあります。それぞれを詳しく見ていきましょう。 […]