Amazon Web Services ブログ

Amazon RDS for MySQLの delayed replicationで障害から復旧を行う

Amazon RDS for MySQLでdelayed replicationをサポートしました。これにより、レプリカデータベースがソースデータベースより遅延する期間を設定できます。標準のMySQLレプリケーション設定では、ソースとレプリカの間の遅延が最小限に抑えられています。今回のアップデートで意図的な遅延を導入するオプションを選べるようになりました。 遅延は、人為的なエラーから復旧させる必要がある場合に非常に役立ちます。たとえば、誤ってプライマリデータベースからテーブルを削除した場合、レプリカで同じクエリを実行する必要はありません。テーブルが削除される直前でレプリケーションを停止し、レプリカをスタンドアロンインスタンスに昇格させることができます。このブログ記事では、delayed replicationを使用して、このようなシナリオから復旧させる方法をご紹介します。 次の図は、遅延が3600秒(1時間)に設定されたレプリカを人為的エラーから回復する方法を示しています。まず、レプリケーションを停止します。次に、ログの問題の箇所を見つけ、問題のクエリが実行される直前までトランザクションを実行し。最後に、レプリカをマスターに昇格させます。   前提条件 delayed replicationをチェックする前に、Amazon RDS for MySQLソースデータベースインスタンスでMySQL 5.6.40または5.7.22以降が必要です。また、インスタンスに接続するためのMySQLクライアントと、データベースにアクセスできる適切なセキュリティグループが必要です。 バイナリログを十分な時間保持していることを確認してください。バイナリログの詳細については、 MySQL Binary Logsを参照してください。次のコマンド例は、保持期限を24時間に設定する方法を示しています。 call mysql.rds_set_configuration(‘binlog retention hours’, 24);   シナリオの設定 既存のAmazon RDS for MySQLデータベースを既存のリードレプリカで使用するか、新しいデータベースを作成します。このブログ記事では、既存のRDS MySQLデータベースを利用し、新しい読み取りレプリカを作成します。 データベースの作成 MySQLインスタンス用のAmazon RDSをまだお持ちでない場合は、作成をしてください。クライアントマシンからのアクセスを許可するセキュリティグループを使用してデータベースを構成してください。作業したいMySQLデータベースがすでにある場合は、この手順をスキップしてください。 AWSマネージメントコンソール、AWS CLI、AWS SDK、またはAWS CloudFormationテンプレートを使用して、MySQLデータベース用のRDSを作成します。MySQLインスタンスの作成を支援する必要がある場合は、Create and Connect to a MySQL Database with Amazon RDSの手順に従ってください。次のスクリーンショットは、すでに設定されて使用可能な1つのデータベースインスタンスを示しています。 データベースに接続する マスターデータベース・インスタンスが作成されて使用可能になったら、そのデータベースインスタンスに接続します。Amazon EC2 Linuxマシンを使用している場合は、次のコマンドに示すように、いくつかの環境変数を設定して余分なタイピングを省くことができます。 export REGION=”us-west-2″ export […]

Read More

Amazon Dynamo DB グローバルテーブル 東京リージョン対応のお知らせ

みなさん、こんにちわ。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。   Amazon DynamoDBのグローバルテーブル機能が東京リージョンに対応しましたのでお知らせいたします。 DynamoDBはどのような規模でも信頼性が高いパフォーマンスを維持できる、完全マネージド型の非リレーショナルデータベースです。グローバルテーブルの機能により、マルチリージョン、マルチマスターのデータベースを構築することが可能となり、そのレイテンシーを 10 ミリ秒未満に維持できるようになります。選択した AWS リージョンにテーブルの更新内容を自動的にレプリケーションすることができ、また、グローバルテーブルを使用して、DynamoDB テーブルデータを他の AWS リージョンにレプリケーションすることで可用性を高めることもできます。   作成済のDynamoDBテーブルを選択すると、「グローバルテーブル」のタブが出てきます。設定作業はテーブル作成後に行うこととなりますが、テーブルが空である必要があるのでご注意ください。 ここから、機能を有効にすることができます。機能を使うためにはDynamoDB Streamsの機能をオンにする必要があります。DynamoDB Streamsは、テーブルに対して発生した変更をキャプチャし、例えばAWS Lambdaを実行させるなどに機能をつかさどります。グローバルテーブルはこの機能を用います。 そして対象リージョンを指定すると、レプリカテーブルが指定したリージョンに作成されます。 DynamoDBは今年の5月に継続的バックアップとPITR(ポイントインタイムリカバリ)に対応しより使いやすくなっています。今回のグローバルテーブル対応で、より高度な耐障害性とリージョンワイドのアプリケーションへのより高速な対応性能を備えることなりました。 – プロダクトマーケティング エバンジェリスト 亀田

Read More

教師あり学習に Amazon SageMaker の Amazon Mechanical Turk を使用する

教師付き学習には、プロジェクトのトレーニング段階で、何が正しい答えかをアルゴリズムに教えるラベルまたはアノテーションが必要です。事実、MXNet 、TensorFlow 、および PyTorch を使った例の多くは、これらのフレームワークが持ついろんな機能を調べるのに利用するアノテーション付きデータセットから始めています。しかし残念ながら、例からアプリケーションに移行する際に、完全なアノテーションが付随するデータセットを簡単に入手できることはまずありません。このチュートリアルでは、Amazon SageMaker ノートブックの中から Amazon Mechanical Turk (MTurk) を使って、データセットのアノテーションを取得し、トレーニングに使用する方法を解説します。 TensorFlow では、ニューラルネットワーク識別子を使ってアイリス ( アヤメ ) を識別するのに、エスティメーターを利用するという例があります。この例も、SageMaker サンプルノートブックライブラリ、または GitHub の SageMaker Examples プロジェクトの中にあります。チュートリアルとサンプルノートの両方でアイリスデータセットを使用しています。これには、3 つの関連するアイリス種および関連する種の測定が含まれます。これらのデータポイントは、4 つの測定値に基づいてアイリスの種を予測するモデルをトレーニングするのに使用します。 左から右へ、Iris setosa ( 画像は Radomil 氏、CC BY-SA 3.0) 、Iris versicolor ( 画像は Dlanglois 氏、CC BY-SA 3.0) 、および Iris virginica ( 画像は Frank Mayfield 氏、CC BY-SA 2.0) 。 これは TensorFlow […]

Read More

AWS IoT Device Defender が利用可能に – 接続されたデバイスを安全に保つ

週末に事務所を清掃していて、たまたま 1997 年に作成したネットワークマップを見つけました。当時、完全に有線のネットワークに 5 台の PC と 2 台のプリンタを接続していました。現在は、子供たちがすべて育ち、家を出たので、2 台の PC だけになっています。ただし、我が家のネットワークには、2 台のラズベリーパイ、数台の携帯電話、タブレット、TV、ニンテンドー 3DS (Eric および Ana に感謝)、4 または 5 台の Echo デバイス、 いくつかのブランドのセキュリティカメラ、私が購入したさまざまなガジェットがつながっています。また、ランダムな電話やタブレット、そして完全には信頼していないいくつかのデバイスの一時的なホームとなるゲストネットワークもあります。 これはもちろん、一般的なオフィスや工場と比べるとかなり貧弱なコレクションですが、IoT デバイスがますます普及するにつれて私たちが直面しているいくつかの課題を指摘するために使用したいと思います。私はフルタイムのシステム管理者ではありません。強力なパスワードを設定し、気づいた度に更新を適用しますが、それでもセキュリティは常に懸念事項です。 新しい AWS IoT Device Defender 今回は、AWS IoT Device Defender について説明したいと考えています。 これは新しい、完全マネージド型サービス (最初の発表は re:Invent) であり、接続しているデバイスの保護に役立ちます。一群のデバイスを監査し、異常な動作を検出し、発見した問題の緩和措置を推奨します。複数のタイプのデバイスを含む規模および環境で機能することができます。 Device Defender は、推奨されるセキュリティのベストプラクティスに対して IoT デバイスの設定を監査します。監査は、スケジュールに従って実行することもできますし、オンデマンドでも実行することができ、以下のチェックを行います。 不完全な設定 – 監査では、有効期限切れの証明書や失効済みの証明書、複数のデバイスで共有される証明書、重複したクライアント識別子などを探します。 AWS の問題 – 監査では、過度に許可している IoT ポリシー、過度にアクセス権を持つ Cognito […]

Read More

新機能 – Amazon Elastic File System (EFS) のプロビジョンドスループット

Amazon Elastic File System を利用すると、何百、何千もの Amazon Elastic Compute Cloud (EC2) サーバーやオンプレミスのリソースから超並列アクセスが可能なペタバイト規模のファイルシステムを作成でき、アプリケーションを中断させることなくオンデマンドでスケールできるようになります。内部的には、スケーラブルで、高い耐久性を備えた、高可用性があるファイルシステムを提供するために、ストレージは複数のアベイラビリティーゾーンと冗長ストレージサービスをまたいで分散されます。スペースの割り当ておよび請求は従量制であるため、実際の使用量に比例したコストをキープしながら、必要な分だけ消費することができます。アプリケーションは、一貫した低レイテンシーで、高いレベルの総スループットと IOPS を実現できます。EFS は、メディア処理のワークフロー、ビッグデータアナリティクスジョブ、コードリポジトリ、ビルドツリー、コンテンツ管理リポジトリなど、幅広いユースケースで使用されています。これらを利用するお客様は、既存のファイルベースのアプリケーションやワークフローを簡単にリフトアンドシフトでクラウドに移行できるという利点を活かすことができます。 要覧 すでにご存じかも知れませんが、EFS ではファイルシステムを作成するたびに 2 種類のパフォーマンスモードから 1 つを選択します。 汎用 – デフォルトモードであり、こちらから始める必要があります。レイテンシーに敏感なユースケースに最適で、ファイルシステムごとに 1 秒あたり最大 7,000 件までの処理に対応します。 最大 I/O – このモードではより高いレベルの総スループットとパフォーマンスにスケールできますが、わずかにレイテンシーが長くなります。1 秒あたりの処理量に固有の制限はありません。 スループットは、どちらかのモードで、ファイルシステムのサイズに合わせてスケールします。また、必要に応じて高いレベルにバーストすることも可能です。ファイルシステムのサイズにより、どれだけ高く、どれだけ長くバーストできるかの上限が決まります。以下はその例です。 1 TiB – 1 TiB のファイルシステムでは、50 MiB/秒での連続配信が可能で、毎日最大 12 時間、100 MiB/秒までバーストできます。 10 TiB – 10 TiB のファイルシステムでは、500 MiB/秒での連続配信が可能で、毎日最大 12 時間、1 GiB/秒までバーストできます。 EFS […]

Read More

SAP関連サービスやソリューションを提供するAPNパートナーへの連絡方法

AWS Partner Network (APN)は、Amazon Web Services (AWS)のグローバルパートナープログラムであり、世界中の数万社のパートナーによって構成されています。APNコンサルティングパートナーは、AWS上のワークロードとアプリケーションの企画、設計、構築、移行、および運用管理を支援します。APNテクノロジーパートナーは、AWSクラウド上でホストされている、あるいはAWSクラウドと統合されたソフトウェアソリューションを提供します。 SAP on AWSに特化したサービスやソリューションを提供するAPNパートナーをお客様が簡単に見つけられるように、AWS SAP Partner Services and Solution Directoryを作成しました。このディレクトリでは、SAP on AWS向けの以下のタイプのサービスとソリューションを見つけることができます:

Read More

AWS Summit Tokyo 2018セッション一般公開お知らせとメディア系セッションのまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。   AWS Summit Tokyo 2018の各セッション動画及び資料の一般公開が開始されました。これまでは、名刺情報などの登録が必須でしたが、その必要はなく自由にご覧いただくことができるようになりました。 ▼配布サイト https://summitregist.smktg.jp/public/application/add/59   また、このブログ記事では、メディア系サービスやセッションについてまとめてみたいと思います。 2020 に向けて、スポーツイベントにおける AWS 活用事例               動画               資料 【朝日新聞社様ご登壇事例】機械学習を用いた編集業務の生産性向上への取り組み               動画               資料 AWS Media Service と […]

Read More

Amazon Lex と Amazon Elasticsearch Service を使用してドキュメントサーチボットを構築する

私たちはドキュメントの検索に多大な時間を費やしています。ドキュメントストアにまずアクセスし、関連するドキュメントを検索します。ドキュメント内のテキストを検索するには、別の検索を行う必要があります。 このブログ記事では、音声やテキストを使用してドキュメントを検索する方法について説明します。  検索結果は、検索するドキュメントの中で一致する段落の最初のいくつかの文字も表示します。最後に、ボットをウェブアプリケーションと統合します。実践的な状況において、この検索機能は利用できます。例えば、顧客のビジネスで技術者が不完全なマシンで作業している場合、チャットボットを使用して必要なドキュメントを検索できます。チャットボットについては、QnA ボットブログで説明していますが、このブログ記事では、インテント抽出とインポート / エクスポート機能を使った対話管理を解説します。 さらに、Amazon S3 を使用してドキュメントストアを作成し、Amazon Elasticsearch Service (Amazon ES) でドキュメントをインデックスし、プロセス全体を自動化する方法についても説明します。 最終的なボットは、次のスクリーンショットのようになります。: アーキテクチャ アーキテクチャには、Amazon S3 を使って開発したドキュメントストアがあり、ドキュメントは Amazon ES を使用してインデックスを作成しています。インデックスは、Amazon S3 オブジェクト作成イベントに登録済みの AWS Lambda 関数を使って作成します。もう一つの AWS Lambda 関数は、Amazon Lex インテントを実行するのに使用します。最後に、ウェブアプリケーションと Amazon Lex を統合します。Amazon Cognito サービスは、ウェブアプリケーションから Amazon Lex サービスへの呼び出しを認証し、認可します。 使用するコンポーネント Amazon Lex – サーチボットのための対話型インターフェースを構築します。 AWS Lambda – Amazon Lex サービスが提供するインテントを実行するのに、この関数を使用します。 Amazon Elasticsearch Service – 製品の FAQ、およびインストールのためのドキュメントのインデックスを作成します。 Amazon […]

Read More

DDoS に対する AWS のベストプラクティス – ホワイトペーパーが更新されました

あなたは分散型サービス拒否 (DDoS) 攻撃やその他のサイバー攻撃の影響からビジネスを守るために働いており、アプリケーションの可用性と応答性を確保し、サービスに対するお客様の信頼を維持したいと考えています。また、攻撃に対応するためにインフラストラクチャをスケールする必要がある場合でも、不必要なコスト上昇を避けたいと考えています。 AWS はインターネット上の攻撃を防ぎ、高可用性・セキュリティの確保および回復力を得られるように、ツール・ベストプラクティスおよびサービスを提供することをお約束します。私達は最近、2018 年版の DDoS に対する AWS のベストプラクティス(英語のみ)のホワイトペーパーをリリースしました。今回のアップデートでは、 DDoS 攻撃への対策を強化するのに役立つ、以下の新しく開発された AWS サービスを考慮に入れています: 追加された AWS サービス: AWS Shield Advanced、AWS Firewall Manager および AWS Application Load Balancer のような新世代の ELB 追加された AWS サービスの機能: AWS WAF Managed Rules、AWS WAF Rate Based Rules、新しい世代の Amazon EC2 インスタンスおよび API Gateway のリージョン API エンドポイント このホワイトペーパーは、DDoS 攻撃に対する回復力のあるアプリケーションを構築するための規範的な DDoS ガイダンスを提供します。ボリューム型攻撃やアプリケーション層に対する攻撃など、さまざまな攻撃タイプを紹介し、各攻撃タイプを管理する上で最も効果的なベストプラクティスを説明します。また、DDoS 緩和戦略に適合するサービスや機能および、それぞれがどのようにアプリケーションを保護するのに役立つのかについて要点を説明します。 原文: AWS […]

Read More

Amazon Elasticsearch Service エラーログの表示

本日、Amazon Elasticsearch Service(Amazon ES)は、Amazon CloudWatch Logs へのエラーログ出力のサポートを発表しました。 この新機能は、エラーログをキャプチャする機能が提供され、サービスの運用中に発生したエラーや警告に関する情報にアクセスできます。 これらの詳細な情報はトラブルシューティングに役立ちます。 この情報を使用して、Amazon ES の利用者と協力してドメイン上のエラーまたは警告を引き起こすシナリオのパターンを特定できます。 この機能へのアクセスは、ドメインが作成されるとすぐに有効になります。 ログを自由にオン/オフすることができ、支払いは CloudWatch の利用した分のみの料金です。 ドメインのエラーログの配信を設定する アクティブなドメインのエラーログを有効にするには、AWS Management Console にサインインし [Elasticsearch Service ]を選択します。 Amazon ES コンソールで、一覧からドメイン名を選択しダッシュボードを開きます。 次に[Logs]タブを選択します。 このペインでは、検索のスローログ、インデックススローログ、およびエラーログを CloudWatch Logs のロググループに出力するように Amazon ES ドメインを設定します。 スローログの設定に関する詳細は、AWS データベースブログのブログ記事Viewing Amazon Elasticsearch Service Slow Logsを参照してください。 エラーログの設定で、[セットアップ]を選択します。 新しいロググループを作成するか既存のロググループを使用するかを選択できます。 次のようなパスとしてロググループの名前を付けることをお勧めします。 /aws/aes/domains/mydomain/application-logs/ このようなネーミングのスキームを使用すると、CloudWatch アクセスポリシーを簡単に適用できます。このポリシーでは次のような特定のパスのすべてのロググループに権限を付与できます。 /aws/aes/domains CloudWatch ロググループにログを配信するには、Amazon ES が CloudWatch Logs […]

Read More