Amazon Web Services ブログ

MySQL 5.7でのJSONサポートについて重要な点は？ MySQL 5.6では、数値、日付と時刻、文字列(文字とバイト)の型、および空間データ型をサポートしています。これらの型は広くサポートされていますが、これらの基本データ型は、アプリケーションを進化を作成する際の柔軟性を制限します。 MySQL 5.6を使用している場合は、アプリケーションに機能を追加する計画する際に2つの選択肢があります。最初のオプションは、アプリケーションで現在必要なすべてのフィールドを含む完全なスキーマを設定することです。その後アプリケーションで新しいフィールドが必要な場合は、スキーマを更新してその列を追加する必要があります。このアプローチにはいくつかの利点があります。新しいフィールドにインデックスを作成することができます。また、Amazon Auroraのfast DDLのような機能により、列を追加する際の影響を最小限に抑えることができます。ただし、データベース・スキーマの変更を実行し、その変更に対応するためにSQL文を更新する必要があります。 2番目のオプションは、文字列を使用して柔軟なフィールドセットをエンコードし、アプリケーションレイヤーで文字列を解析することです。柔軟性はありますが、この方法ではデータを解析するのに無駄なコストがかかります。 この様な場面ではJSONが適しており、必要とされる柔軟性を提供することで優れた方法を提供します。 JSONは、データを解析するためのコードを書く必要がないという利点も提供します。ORMまたは言語ランタイムで処理が可能です。JSONサポートはMySQL 5.7.8で導入されました。 これらの利点に加えて、JSONをネイティブ・タイプとしてMySQLで使用することで、データベースはJSONカラムに保存されているJSONドキュメントを自動的に検証できます。無効なドキュメントではエラーが発生します。ネイティブタイプのJSONでは、データベース中でJSON形式を最適化することもできます。JSONカラムに格納されたJSONドキュメントは、ドキュメント要素への高速な読み取りアクセスを可能にする内部形式に変換されます。サーバーが後でこのバイナリ形式で格納されたJSON値を読み取る必要がある場合、その値をテキスト表現から解析する必要はありません。バイナリ形式は、サーバーがサブオブジェクトまたはネストされた値をキーまたは配列のインデックスで直接参照できるように構成されています。これは、ドキュメント内の前後の値をすべて読み取らずに行います。 Amazon AuroraはMySQL 5.7との互換性をサポートしています。つまり、MySQL 5.7互換のAuroraを利用してJSONデータ型を使用したアプリケーションを開発できるようになりました。 この記事の残りの部分では、JSONデータ型とMySQL互換のAuroraを使用する電化製品のECサイトのサンプルアプリケーションをご紹介します。 スキーマの作成 電化製品は、ラップトップ、携帯電話、プリンター、テレビ、DVDなど多様なもを取り扱います。また、製品の属性もどうように多くなります。このため、さまざまな機能や属性を検索できるように、製品属性を正規化された形式で保存するのは難しいくなります。たとえば、製品比較のためにこれを行えるようにします。 まず、店舗用のデータベースを作成します。 CREATE DATABASE online_store; USE online_store 簡単にするため、データベースにはブランド、カテゴリ、製品という3つのテーブルのみ作成します。brandsとcategoriesテーブルにはJSONフィールドがありませんので、先に進むために説明は省かせて頂きます。 CREATE TABLE brands ( id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255) NOT NULL ); CREATE TABLE categories ( id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY […]

DataSunrise 社エンジニアリングリーダー、Radik Chumaren DataSunrise は、多種多様なデータベースのためのアクティビティモニタリング、データマスキング (動的および静的マスキング)、データベースファイアウォール、および機密データ検出を含む、幅広いセキュリティソリューションを提供するデータベースセキュリティソフトウェア企業です。DataSunrise の目標は、外部および内部の脅威と脆弱性からデータベースを保護することです。お客様はよく、DataSunrise Database Security が Amazon Aurora、Amazon Redshift、Amazon RDS for MySQL、Amazon RDS for PostgreSQL、Amazon RDS for MariaDB、Amazon RDS for Oracle Database、および Amazon RDS for Microsoft SQL Server を含む AWS で実行される異なる種類のデータベースエンジンを保護するときに、統合された制御とシングルユーザーエクスペリエンスを提供することから DataSunrise Database Security を選択しておられます。 DataSunrise は、アクティブなデータとデータベースのセキュリティに加えて、監査などの受動的なセキュリティの両方を提供します。アクティブなセキュリティは、機密データへの不正アクセスの防止、疑わしい SQL クエリのブロック、SQL インジェクション攻撃の防止、またはリアルタイムでのデータの動的なマスキングと難読化などの事前定義されたセキュリティポリシーに基づいています。DataSunrise は、高可用性、フェイルオーバー、および自動スケーリングを備えています。 この記事では、監査としても知られる受動的なセキュリティに焦点を当てます。今回は、DataSunrise が Aurora で何を監視するか、どのように機能するか、およびその使用開始方法について説明します。今後の記事では、アクティブなセキュリティ、データマスキング、および機密情報の検出を含む、セキュリティにおけるその他の側面を取り上げます。 DataSunrise 監査の対象 DataSunrise は、SQL クエリ、データフロー、バインディングなどの監査を可能にします。収集される情報には、SQL クエリの詳細と、それらの実行による結果が含まれます。SELECT […]

本日(2018/02/20)、インターリージョンVPCピアリングが AWSの欧州(ロンドン)、欧州 (パリ)、アジアパシフィック (ムンバイ)、アジアパシフィック (シドニー)、アジアパシフィック (シンガポール)、アジアパシフィック (東京)、カナダ (中部) 、南アメリカ(サンパウロ) が、従来の米国東部（バージニア北部）、米国東部（オハイオ）、米国西部（オレゴン）、欧州(アイルランド)に加えて利用可能になりました。 インターリージョンVPCピアリングでは、Gateway、VPNコネクション、ネットワークアプライアンスなどを使う事なく、別なリージョンで稼働しているEC2インスタンス、RDSデータベース、LambdaファンクションなどのVPCリソースに対してPrivate IPアドレスにて通信が可能です。 インターリージョンVPCピアリングは、リージョン間のリソース共有や地理的な冗長性を得るためのデータレプリケーションに関して、シンプルかつコスト効率の良い方法となります。インターリージョンVPCピアリングはVPCと同様な水平方向のスケール、冗長、高可用性テクノロジーにより構築されており、単一障害点や帯域のボトルネック無しに暗号化します。インターリージョンVPCピアリングのトラフィックは常にグローバルAWSバックボーンにとどまり、パブリックなインターネットを横断することは無く、一般的な悪用であったりDDoS攻撃のような脅威を減らすことができます。 インターリージョンVPCピアリングコネクションによって転送されたデータのコストは、インターリージョン間の通常のデータ転送費用となります。 さらなる情報については、Amazon VPC Peeringのドキュメントをご参照下さい。 翻訳は SA菊池が担当いたしました。 原文：こちら

これは、Realtor.com のスタッフデータエンジニアである Ajay Rathod 氏の寄稿です。 Realtor.com は、同社の説明によれば「Move、Inc. が運営する Realtor.com® は、住宅の購入者、売り手、いつか購入を夢見ている人にとって信頼できるリソースです。競合する全国のサイトの中で販売用物件に関する最も総合的なデータベース、情報、ツール、専門家の専門知識を提供し、人々が自宅を手に入れるまでのあらゆるステップを自信を持って進めるように支援します。」 Move, Inc. は、日付や時間で区分された数百万テラバイトのデータを処理します。さまざまなチームがこのデータに対して何百ものクエリを実行します。Move, Inc. は、AWS のサービスを利用して、データの収集および分析のためのインフラストラクチャを構築しました。 データは、様々な情報源から取得します。 Amazon Kinesis と AWS Data Pipeline を使用して Amazon S3 データレイクにデータをロードします。 ストレージとその後のクエリの有効性を高めるために、データは Parquet 形式に変換され、再度 S3 に保存されます。 Amazon Athena は、S3 のデータを照会する SQL (Structured Query Language) エンジンとして使用されます。Athena は使いやすく、多くの場合、さまざまなチームによって速やかに採用されます。 チームは、Amazon QuickSight でクエリ結果を可視化します。Amazon QuickSight は、データを迅速かつ簡単に可視化したり、アカウント内の他のユーザーと共同作業を行うことがでるビジネス分析サービスです。 データアクセスは、AWS Identity and Access Management (IAM) ロールによってコントロールされます。

2 月 8 日、AWS はウェブサイトからコンテンツを簡単に音声出力し、ポッドキャストを公開することができるようにする WordPress 向けの Amazon Polly プラグインをリリースしました。音声を活用することにより、読者にあなたのコンテンツを楽しむ別の手段を提供し、より多くのオーディエンスのニーズを満たすことができます。 本日、AWS は人気が高い Bitnami の Amazon Mahcine Image (AMI) で Amazon Polly プラグインが利用可能になったことをお知らせします。最新の WordPress image packaged by Bitnami と、Amazon Polly WordPress プラグインにプレインストールされている WordPress Multisite image packaged by Bitnami は AWS Marketplace からご利用いただけます。WordPress for Production または WordPress Multi-Tier などのその他 Bitnami ソリューションにも、間もなくこのプラグインが包含される予定です。 統合された Amazon Polly プラグインを使用して、Bitnami WordPress Stack […]

EUC Specialized SAの渡邉（@gentaw0）です。Amazon WorkSpaces は、AWS で稼働するマネージド型でセキュアな DaaS (Desktop-as-a-Service) ソリューションです。Amazon WorkSpaces を使用すると、仮想的な、クラウドベースの Microsoft Windows デスクトップを簡単にプロビジョニングし、ユーザーは必要なドキュメント、アプリケーション、リソースにサポートされている任意のデバイスから、いつでもどこでもアクセスできるようになります。Amazon WorkSpacesでは多要素認証（Multi-Factor Authentication）をサポートしており、オンプレミスまたはクラウド上のRADIUSサーバーと連携することにより認証のセキュリティを強化することが可能です。 多要素認証（MFA）とは、本人確認（認証）する方法として複数の手段を使う事です。認証にパスワードを使用する事が多いかと思いますが、これは本人だけが知っているはずの情報を確認して、認証を行います。MFA を使用する場合は、このパスワードに加えてトークン等が生成するワンタイムパスワード（OTP）も確認する事で、本人しか持っていないはずのトークン（物）も持っている事を確認して認証できます。 Amazon WorkSpaces での認証は、フルマネージド型のディレクトリサービスであるMicrosoft AD、または既存の Active Directory で認証するための AD Connector を選択することができます。お客様は MFA で使用するワンタイムパスワードを認証できる RADIUS サーバーを別途用意する必要があります。RADIUS サーバーはオンプレミスにあっても、AWS 上にあっても構いません。RADIUSに対応しているものであればさまざまな製品を利用することが可能ですが、このブログ記事ではそのなかでもAzure Multi-Factor Authenticationサーバーを使用してAmazon WorkSpacesのMFAを構成する方法について解説します。 ディレクトリの構成 まず、MFAを有効にするためのディレクトリを作成します。現在のところ、以下のタイプのディレクトリでMFAを構成することが可能です。Simple ADはMFAに対応していないため、このシナリオでは利用することはできません。 AD Connector Microsoft AD オンプレミスまたはVPC上にすでにActive Directoryドメインを展開する場合は、AD Connectorを使用します。VPC上に独立したActive Directoryドメインを作成する、またはオンプレミスのActive Directoryドメインと信頼関係を結ぶ場合はMicrosoft ADを使用します。AD Connectorの作成方法については、こちら（https://docs.aws.amazon.com/ja_jp/directoryservice/latest/admin-guide/create_ad_connector.html）、Microsoft ADの作成方法についてはこちら（https://docs.aws.amazon.com/ja_jp/directoryservice/latest/admin-guide/create_managed_ad.html）のドキュメントを参照してください。ディレクトリの作成が完了したら、AWSマネージメントコンソールからAD ConnectorもしくはMicrosoft ADのIPアドレスを確認しておきます。  Azure […]

AWS Database Migration Service (AWS DMS) とAmazon RDS for SQL Server が新たに Amazon RDS for SQL Server からの継続的なレプリケーションをサポートするという新機能を発表できることを嬉しく思います。AWS DMSは、データベースをAWSに迅速かつより安全に移行できるサービスです。また、AWS内のデータ移行にも使用できます。Oracle、Microsoft SQL Server、PostgreSQLなど、広く普及している商用およびオープンソースデータベース間でデータを移行できます。このサービスはSQL ServerからSQL Serverのような同エンジン間の移行と、SQL ServerからAmazon Aurora MySQLまたはSQL ServerからAmazon RDS for MySQLなどの異なるデータベースプラットフォーム間の移行の両方が可能です。 この記事では、Microsoft SQL Server からの継続的なレプリケーションプロセスの概要を簡単に説明します。また、MS-CDC（SQL Serverでの変更データキャプチャ）とAWS DMSを使用して、Amazon RDS for SQL Serverからの継続的な変更をストリーミングするための新機能も紹介します。   背景 AWS DMSは異なるエンジン間の移行（SQL ServerからMySQLへの移行など）用に設計されています。ただし、同エンジン間（SQL ServerからSQL Serverなど）の移行もサポートしています。これまではソースインスタンスで実際に行われていた変更にアクセスする必要がありました。 主キーを持つテーブルの場合、AWS DMSはデフォルトで以下のように使用されるように設計されています。 １．SQL Serverから進行中の変更を移行するタスクを設定すると、AWS DMSは最初に次のコマンドを使用してトランザクションレプリケーション用のデータベースを有効にします。 use master exec sp_replicationdboption […]

MySQLは素晴らしいオープンソースデータベースエンジンで、そのコスト効率から多くの企業で使われています。しかし、その他のオープンソースデータベースと同様に、ビジネスで使えるレベルの性能を出すには多くの労力が必要です。 データベースサイズが増えるとMySQLのスケーラビリティとクラッシュリカバリの複雑さも増します。レプリケーションスレーブを追加することでMySQLデータベースをスケールさせると、特にMySQLマスターで多くの書き込みが発生した場合に、レプリケーションラグを非常にに小さな値で維持することは困難を伴います。ほとんどの場合、安定したパフォーマンスを維持することは難しいです。 一方、Amazon Aurora では最大15個のリードレプリカを追加できます。また、書き込みノードで発生した変更を再実行するために必要な従来のバイナリログ (binlog) レプリケーションのパフォーマンスをAuroraでは気にする必要がなくなります。これはAuroraクラスターボリューム内のデータは、クラスター内のライターとリーダーに対して単一の論理ボリュームとして見えるためです。 多数のテーブルを含む大規模なデータベースでの高速リカバリも Amazon Aurora の重要な利点の一つです。従来のMySQLの実装では、データベースが大きくなるにつれてリカバリ時間が長くなります。MySQLはREDOログファイルを使用するため、クラッシュするとMySQLはテーブルの検出や検証オペレーションを大量に実行します。データベースの表領域が大きいほど、リカバリに必要な時間は長くなります。この影響は MySQL 5.7 でも当てはまります。 このような要因から、MySQLから Amazon Aurora への移行に関心が集まっています。この移行を実行するにはいくつかの方法がありますが、今回は Amazon RDS for MySQL またはオンプレミスや Amazon EC2 上のMySQLから Amazon Aurora with MySQL compatibility への同種間移行について考えます。 同種間移行の方法 AWSホワイトペーパーのサイトにある Amazon Aurora Migration Handbook で同種間移行のための推奨方法がリストされています。Amazon RDS for MySQL から移行するのであれば、RDSスナップショットでの移行方法を使用できます。この方法では、RDS MySQL のDBインスタンスのスナップショットから Aurora MySQL DB クラスターを作成します。これは非常に簡単です。Amazon Aurora へニアゼロダウンタイムで移行した場合は、ソースとなる RDS MySQL DBインスタンスからAuroraリードレプリカを作ることができます。RDSが Amazon Aurora […]

あるデータベースから別のデータベースへのデータ移行は、データの整合性、アプリケーションのダウンタイム、ターゲットとソースデータベース間の重要な設計の違いに関して、相当難易度が高くなる場合があります。AWS Data Migration Service (AWS DMS) は、MongoDB、Oracle、MySQL、Microsoft SQL Server などのデータベースの素早く、安全で、シームレスな AWS への移行を支援します。ソースデータベースは移行中もほとんど動作し続けるため、データベースに依存するアプリケーションのダウンタイムを最小限に抑えることができます。 この記事では、シャーディングされた MongoDB クラスターのライブデータを Amazon DynamoDB のテーブルにシームレスに移行するためのアプローチを説明します。Amazon DynamoDB は、あらゆる規模で一貫性のある 1 桁ミリ秒台のレイテンシーが必要なアプリケーション向けの、完全マネージド型、高速、スケーラブル、柔軟なクラウドデータベースサービスです。この記事で説明されているアプローチは、ほぼダウンタイム無しで移行を実施し、AWS DMS を使用してソースデータを変換し、少数のアクセスパターンを提供します。 DynamoDB と MongoDB のコンポーネント間のマッピング 移行を実施する前に、Amazon DynamoDB と MongoDB のコンポーネントを簡単に比較してみましょう。DynamoDB と MongoDB の多くのコンセプトは類似しており、どちらも JSON のようなデータを柔軟でダイナミックなスキーマでアプリケーションに保存することができますが、いくつかの点で大きく異なります。 このセクションでは、DynamoDB のコアコンセプトをいくつか説明し、DynamoDB と MongoDB のコンポーネントを比較します。MongoDB のコンセプトの詳細については、MongoDB のマニュアルを参照してください。 主要なコンポーネント Amazon DynamoDB で用いる主要なコンポーネントは、テーブル、項目、および属性です。テーブルは項目の集合であり、各項目は属性の集合です。DynamoDB では、テーブルのアイテムを一意に識別するためプライマリキーを使用し、クエリの柔軟性を高めるためにセカンダリインデックスを使用しています。各テーブルはそれぞれに対応するインデックス、キャパシティー、スケーラビリティの設定がある分離されたユニットです。DynamoDB と MongoDB は、どちらもデータセットを項目の集合に分割することが可能です。 以下の表は DynamoDB […]

ネットワークストレステスト 【日本語訳】日本時間 2018年02月08日09:00 このポリシーは、お客様の Amazon EC2 インスタンスから、他の Amazon EC2 インスタンス、AWS プロパティ/サービス、外部エンドポイントのような他の場所へ、大規模なネットワークテストを直接実施することを計画しているお客様に関係するものです。 これらのテストは、ストレステストや負荷テスト、ゲームデーテストと呼ばれることがあります。このポリシーでは、テストにおいて正当な大規模トラフィックあるいはテストトラフィックを特定の対象アプリケーションに対し送信する行為を「ネットワークストレステスト」とします。エンドポイントとインフラストラクチャは、このトラフィックを処理できる必要があります。 このポリシーは、通常のプロダクションのトラフィックとは関係ありません。ネットワークストレステストは、多くの場合、特定のエンドポイントを対象とし、送信元や対象が集中することを含め、通常とは異なるトラフィックパターンを持ち、持続的に大規模なトラフィックが発生し、予期している上限値を超える可能性があるため、通常のプロダクションとは異なります。ネットワークストレステストにおけるこれらの違いは、外部エンドポイント、他のお客様、AWS サービスに対し意図しない影響を与えうる潜在的なリスクとなります。 パケットや接続のフラッディング、それ以外の大規模なトラフィックで、ターゲットやインフラストラクチャへ意図的に過大な負荷をかけるテストは、ネットワークストレステストではなく、分散型 DoS (DDoS) テストとして扱われます。ボリュームのあるネットワークベースの DDoS シミュレーションは、Amazon EC2 プラットフォームでは明示的に禁止されています。このポリシーは、https://aws.amazon.com/security/penetration-testing の範囲のセキュリティやペネトレーションテストは対象としません。 ほとんどのお客様はこのポリシーには該当しません。通常、ユニットテストのように大規模なワークロードをシミュレートするストレステストでは、ネットワークストレステストに該当するだけのトラフィックは生成されません。このポリシーは、お客様のネットワークストレステストによって、Amazon EC2 インスタンスで以下の基準を満たすトラフィックが生成されたときに適用されます。”持続的に 1分以上の間 1 Gbps（秒間 1億ビット）あるいは 1Gpps（秒間 1億パケット）を超えるトラフィック、悪用目的や悪意があるように見えるトラフィック、テスト対象以外（ルーティングや共有サービスのインフラストラクチャなど）へ潜在的に影響を及ぼしうるトラフィック” などが該当します。 お客様は、対象のエンドポイントへのテストが承認され、その起こりうる規模について理解している必要があります。いくつかの外部エンドポイントや AWS サービスは、ある種のテストシナリオに対して期待する閾値よりも低い性能しか発揮できない可能性があります。 AWS を利用する多くのお客様は通常のプロダクションモードで定期的に 1Gbps もしくは 1Gpps 以上のトラフィックを生成していることを確認しております。これは完全に正常であり、特にネットワークストレステストの目的のために実施されたものではない限り、このポリシーの範囲下ではありません。 このポリシーの基準を満たすネットワークストレステストにはリスクがあります。お客様が悪質であると検知され報告されるリスク、お客様が意図せず悪質となり他の対象に影響を及ぼすリスク、お客様が所有するインスタンスで機能制限を受ける可能性などがあり、この際にはテストだけではなく、プロダクションのワークロードへ影響する可能性があります。 実施するテストがこれらの基準を満たすか、お客様で不明な場合は、このポリシーに従い、AWS 側にテストの評価を依頼する必要があります。お客様の体験や、その他の影響を受ける可能性があるサービスを改善していくため、これらのストレステストを実行する前には、Amazon EC2 ネットワークストレステストを申し込みフォームから申請してください。このフォームは aws-security-simulated-event@amazon.com へメールを送ることで入手できます。 お客様のネットワークストレステストが 外部や他の AWS サービスのような EC2 インスタンス以外から直接実行される場合、フォームからの申請が必要かどうかメールでお問い合わせください。 […]