Amazon Web Services ブログ

Category: Database

S3_INTEGRATION を使用して Amazon RDS for Oracle を Amazon S3 と統合する

Amazon RDS for Oracle では、マネージドサービスソリューションのあらゆる利点を活用できます。リフトアンドシフトアプローチを使用してレガシー Oracle データベースを Amazon RDS for Oracle に移行すると、既存のアプリケーションコンポーネントをリファクタリングしたり変更したりする必要性を減らすことができます。 データウェアハウス (DW) 抽出は、ほとんどのデータベースにおいて不可欠な部分です。データベースのホストと社内データベース用 DW サーバーとの間で、ネットワークファイルシステム (NFS、Network File System) などの共有ファイルシステムに抽出ファイルを保持するのが一般的な方法です。 DW ロード用の共有ファイルシステムを使用してオンプレミスの Oracle から Amazon RDS for Oracle への移行を行う際には、既存の共有転送メカニズムがスムーズに移行できるかという点に特に注意する必要があります。そのことを念頭に置いて、AWS は 2019 年 2 月に、Amazon S3 統合により Amazon RDS for Oracle を強化しました。このオプションにより、Amazon RDS for Oracle Database を Amazon Simple Storage Service (Amazon S3) にシームレスに統合することができます。 この記事では、アプリケーションホストとAmazon […]

Read More

2019 年 11 月 11~15 日までの Amazon DynamoDB のローンチのまとめ

Amazon DynamoDB は、先週 6 つの主要なローンチを行いました。この投稿では、各ローンチの概要を記載しており、すべての新情報を知るのに役立ちます。これらのローンチには、利用可能リージョンの拡大および機能の更新を含みます。これらのローンチについて質問がある場合は、Twitter で@DynamoDB までメッセージをお送りください。 11 月 11 日 (月) Amazon DynamoDB Accelerator (DAX) が欧州 (ロンドン) および欧州 (パリ) の各リージョンで利用可能に DAX が欧州 (ロンドン) および欧州 (パリ) の各リージョンで利用可能になりました。これらの AWS リージョンでは、マイクロ秒のレイテンシーを必要とするアプリケーションのために、Amazon EC2 R4 および T2 インスタンスタイプを用いて、DAX クラスターを作成できます。DAX は、完全に管理された、高可用性のインメモリキャッシュを Amazon DynamoDB に提供します。これにより、DynamoDB からの読み取りを最大 10 倍加速でき、毎秒 100 万リクエストの速度も可能となります。 11 月 12 日 (火) NoSQL Workbench for Amazon DynamoDB がDynamoDB […]

Read More

Redshift コンソールを使用して、Amazon Redshift クラスターの管理を簡素化する

Amazon Redshift は、最も人気があり、最速のクラウドデータウェアハウスです。管理者が Amazon Redshift クラスターを作成、設定、管理するためのコンソールが含まれています。新しい Amazon Redshift コンソールは、ユーザーインターフェイスを刷新し、クラスターとクラスターで実行されるワークロードの管理を改善するためのいくつかの機能を追加します。 新しい Amazon Redshift コンソールには、次の利点があります。 統合されたダッシュボードからのクラスターの正常性とパフォーマンスの可視性。 複数の画面とフローを合理化し、いくつかの日常業務のクリック数を減らすことにより、クラスターの管理を簡素化。 ユーザークエリを監視し、クラスタパフォーマンスメトリクスと相関させる機能を追加することにより、クエリのパフォーマンスの平均診断時間に関する問題を改善。 この記事では、新しいコンソールを使用して最初のクラスターを作成し、AWS アカウントでクラスターを管理および監視する方法について説明します。 前提条件 新しい Amazon Redshift コンソールを使用して最高のエクスペリエンスを得るには、次の前提条件を満たしていることを確認してください。 AmazonRedshiftFullAccess を使用している場合、アクセス許可を変更する必要はありません。AmazonRedshiftFullAccess は、AWS アカウントのすべての Amazon Redshift リソースへのフルアクセスを許可します。 カスタムポリシーを使用している場合、AmazonRedshiftFullAccess をアタッチするか、次のコードを IAM ユーザーのポリシーに追加します。 { “Version”:”2012-10-17″, “Statement”:[ { “Action”:[ “cloudwatch:ListMetrics”, “cloudwatch:GetMetricWidgetImage”, “cloudwatch:GetMetricData”, “tag:GetResources”, “tag:UntagResources”, “tag:GetTagValues”, “tag:GetTagKeys”, “tag:TagResources”, “iam:ListRoles” ], “Effect”:”Allow”, “Resource”:”*” } ] } また、クラスターを最新のメンテナンスパッチにアップグレードする必要があります。 […]

Read More

AWS での安全でスマートなコネクテッドマシンの実行

 この記事は、Konecranes 社のプラットフォームアーキテクトである Henri Gort 氏と、同社のデータレイクソフトウェアエンジニアである Mehmet Yalcinkaya 氏によるゲスト投稿です。彼ら自身の言葉を借りると、「Konecranes は世界をリードする Lifting Businesses™ のグループで、製造およびプロセス業界、造船所、港湾、およびターミナルなどの幅広いお客様にサービスを提供しています。『Konecranes』という言葉には、マシンを意味するフィンランド語の『Kone』と『cranes』が含まれいますが、実際のところ、私たちは生産性を向上させるリフティングソリューションだけでなく、あらゆるメーカーのリフティング装置へのサービスも提供しています。当社は、50 か国に約 16,000 人の従業員を抱えています」とのことです。 この記事では、Konecranes 社が産業用マシンのインテリジェンスとセキュリティを向上させるために、マシンに取り付けられたセンサーからの数十億もの記録をどのように利用しているかが説明されています。 データレイクの作成 まず、私たちは当社のセンサーデータを SQL Server から AWS に移行させました。これは、バッチ ETL プロセスをオンザフライで実行しながら、Amazon S3 および Amazon DynamoDB に SQL からデータを効率的に移動させるためにサーバーレスの AWS Glue サービスを使用して、データレイクを作成することによって実現されました。ETL プロセスは複数のクレーンの履歴データの集合体を対象とし、それらを整合されたデータ構造に統合することで、DynamoDB でマシンの KPI を導くデータをマイニングし、運用のデータを検証しました。 DynamoDB は、運用データを保存するために最適なデータベースです。DynamoDB のスケーリングし、データトラフィックのスパイクに対応する能力と、全体的なパフォーマンスは、Microsoft SQL Server 上の以前のデータベースアーキテクチャをはるかにしのぎます。移行以来、当社のデータベース速度が向上し、データベースの管理コストが低減されました。 AWS Glue の選択 ETL プロセスのための AWS Glue の導入は、複数のメリットを提供してくれました。 […]

Read More

Neptune Streams を使用したグラフの変化の取り込み

 多くのアプリケーションは、Amazon Neptune データベースに保存された項目の変更を、その変更が発生した時点で取り込む機能を利用することができます。Amazon Neptune は、Neptune Streams をサポートするようになりました。これは、Neptune のフルマネージド機能で、グラフに対するすべての変更を、発生順に確実にログに記録し、HTTP REST API を介してこれらの変更を利用可能にします。Neptune Streams は現在、ラボモードで利用可能です。 このブログ投稿では、Neptune Streams 機能を見直し、Neptune が提供するポーリングフレームワークを使用して Neptune と Amazon ElastiCache for Redis データストアを統合するストリームベースのアプリケーションをプロビジョニングし、この同じポーリングフレームワークを使用して独自のストリームベースのグラフアプリケーションを構築する方法を説明します。 Neptune Streams の概要 Neptune Streams を使用して、次のことを行うことができます。 ソース Neptune データベースから別の Neptune データベースに変更をレプリケートする ソース Neptune データベースから、Amazon DynamoDB または Amazon Aurora などの別のデータベースに変更をレプリケートする ソース Neptune データベースの変更を Amazon S3 にアーカイブする Amazon Elasticsearch でソース Neptune データベースで変わるコンテンツをインデックス作成する […]

Read More

Amazon DynamoDB で機密データを保護するためのベストプラクティスの適用

 このシリーズの最初の記事であるAWS データストア内の機密データを保護するためのベストプラクティスでは、いくつかの一般的なセキュリティの概念と、AWS データストアに適用できる AWS セキュリティコントロールについて説明しました。これらを使用して、データに関わるセキュリティ体制をより強固にすることができます。2 番目の記事であるAmazon RDS で機密データを保護するためのベストプラクティスの適用では、こうした概念を Amazon RDS データベースで実装する方法を示しました。この 3 番目であり、最後の記事では、これらの概念を Amazon DynamoDB で実装する方法を示します。 データの分類とセキュリティゾーンモデリング 処理しているデータと処理に関する特定の要件を理解することは重要です。こうした要件は規制であったり、組織の一部として内部的に作成される場合があります。たとえば、この記事で後述するように、データのトークン化などの特殊なセキュリティコントロールの一部は必要ではないかもしれません。常にセキュリティの水準を引き上げようとする必要がありますが、十分に理解してリスクを管理するために適切なコントロールを提供していることも確認してください。 セキュリティゾーンを設計したら、この記事で後述するように、ネットワークアクセスコントロールリスト (ACL) を使用して実装します。この手順では、ネットワークゾーンを粗く定義し、セキュリティグループを使用してこれらのゾーン内でより具体的なマイクロセグメンテーションを許可します。 セキュリティゾーンモデリングを実装するときは、ネットワーク設計を慎重に検討します。CIDR 範囲のサイズによって、各サブネットが表現できる IP アドレスの数が決まります。サブネット内の増加 (より多い IP アドレス) とサブネット数の増加をサポートできるように、CIDR 範囲を設計します。Amazon VPC とオンプレミスのデータセンター間、または VPC 間に矛盾のない IP アドレススペースを確保するための要件とバランスを取ります。詳細については、AWS 単一 VPC の設計を参照してください。 ここで提供されている詳細な説明、およびデータ分類とセキュリティゾーンモデリングの背景にある概念については、AWS データストア内の機密データを保護するためのベストプラクティスを参照してください。 予防的コントロール 次の図はこのシリーズの最初の記事からのもので、防御の概念を詳しく説明しています。コントロールには、予防的コントロールと発見的コントロールの 2 つの主要なカテゴリーがあります。最初に予防的コントロールについて説明しましょう。 DDoS 保護 AWS Shield と連携することで、アプリケーションおよびデータベースを分散サービス拒否 (DDoS) 攻撃から保護することができます。すべての AWS のお客様は、追加料金なしで […]

Read More

SSL/TLS を経由して RDS MySQL, RDS MariaDB, and Amazon Aurora MySQL に sysbench を実行する

sysbench は MySQL 互換のデータベースでベンチマークを実行するために有用なツールです。もし、sysbench を使って Amazon Aurora MySQL のパフォーマンスの評価をしたい場合、Amazon Aurora Performance Assessment Technical Guide が役に立つでしょう。しかし、もし SSL/TLS を経由して sysbench を実行したい場合、このツールや AWS のサービスにあるいくつかの制限について考える必要があります。 この投稿では、RDS MySQL, RDS MariaDB, and Aurora MySQL で sysbench を実行するにあたっての考慮点と、どのように準備するべきかについて、お話いたします。 考慮点 sysbench の最新のパッケージリリースは 1.0.17 になります。もし、yum や RPM のようなパッケージマネージャから sysbench をインストールした場合、このバージョンがインストールされます。このバージョンでは、sysbench は SSL/TLS を使用するにあたって、以下のような制限を持っています: –mysql-ssl オプションは ON または OFF のみが指定可能で SSL_MODE は REQUIRED 固定 クライアント秘密鍵、クライアント公開鍵、CA […]

Read More

Cassandra 開発者向け Amazon DynamoDB 入門

 このブログは、Amazon DynamoDB を Cassandra 開発者にご紹介する投稿です。DynamoDB の開始がスムーズに行えるよう、Cassandra を使った基本操作を説明しています。また、AWS CLI を使えば、DynamoDB で同じ操作が実行できます。 Amazon DynamoDB は完全マネージド型のマルチリージョンマルチマスター NoSQL データベースで、あらゆる規模でも安定した 10 ミリ秒未満のレイテンシーを実現します。ビルトインのセキュリティ、バックアップと復元、およびメモリ内キャッシュを含んでいます。さらに、分散型データベースの運用とスケーリングの管理負担を軽減できます。 こうした機能を搭載しているため、DynamoDB は Apache Cassandra のような他の NoSQL データベースからの移行が必要となります。DynamoDB クライアントと SDK を使用して、IoTや ゲームなどのさまざまなアプリケーションを構築できます。詳細については、「API の使用」をご参照ください。 次のテーブルは、重要な Cassandra と DynamoDB コンポーネント、およびこれらの概念を DynamoDB に関連付ける方法をまとめたものです。DynamoDB は完全マネージド型サービスのため、テーブルが取り扱う最上位のコンポーネントとなります。 Cassandra DynamoDB 説明 ノード NA データが保存される場所。 データセンター NA レプリケーション戦略に使用。 AWS のアベイラビリティーゾーンに類似。 クラスター NA 単一のノード、単一のデータセンター、またはデータセンターのコレクションを持つことが可能。 キースペース NA リレーショナルデータベースのスキーマに類似。 […]

Read More

新しい edX コースで Amazon DynamoDB を使用した NoSQL データベース指向アプリケーションを構築する方法

 最近の組織は絶えずデータからより大きな価値を得る方法を探しており、そのことによりチームや個人が AWS クラウドでデータ指向のアプリケーションを構築する方法を理解することがますます重要になっています。 データ環境はさらに多くのクラウドベースのデータベースを含むように進化し続け、ますます多くの開発者がアプリケーションの特定のニーズを満たす専門的に構築された非リレーショナルデータベースを選択するようになっています。 データベースサービスをご使用のお客様は、必要なデータタイプ、アクセスモデル、そして拡張性に適したデータベースを評価して選択することが求められます。このために、この AWS トレーニングと認定がコースを設定して、Amazon DynamoDB の専門のデータベースサービスを使用する方法を教えてきました。 NoSQL データベースを詳しく説明する NoSQL データベースとそれらが解決する課題を詳細に説明するために、AWS トレーニングと認定は当社のデジタルトレーニングパートナーである edX Amazon DynamoDB: Building NoSQL Database-Driven Applications デジタルコースを独占的に提供します。このコースでは、バックアップと復元、セキュリティと暗号化、グローバルテーブル、そしてベストプラクティスを含むさまざまな Amazon DynamoDB のトピックを見ていきます。また、次のことについてもお教えします。 NoSQL データベースがリレーショナルデータベースと異なる点とそれらが解決する課題 DynamoDB テーブルのプロビジョニング、管理、およびインターラクトの方法 DynamoDB データベースのセキュリティを保護する方法 パーティションキーとスケーリングオプションを使用して、最適なパフォーマンスを確保する方法 このコースについて Amazon DynamoDB: NoSQL データベース指向のアプリケーションを構築することは、以前のアプリケーション開発と AWS マネジメントコンソールの経験で学習者と edX に関する AWS 開発者シリーズ を修了した方々に推奨した中程度のコースです。 4 週間のレッスンに分けて、1 週間あたり 2 時間から 5 時間の学習時間、12 時間のビデオベースの講義、デモ、および実践演習が想定されています。学習者は自分のペースと締め切りを設定できます。 毎週、学習者は自分の知識をテストするために、オプションのクイズにもアクセスすることもできます。 このオンデマンドコースは無料でご利用になれます。ただし、期限があります。検証済みの証明書を取得するため、またはコースの利用可能性を広げるために、学習者は edX の検証済みの証明書トラックに 99 USD の […]

Read More

Amazon Neptune で Streams、グラフ用 SPARQL フェデレ―テッドクエリなどの新機能がリリース

 最新の Amazon Neptune リリースでは、グラフによって開発者の生産性を強化する多数の新機能をご用意しました。本記事では、今回発表した重要機能と、それらを使用する際のヒントをまとめ、詳しくご紹介します。 開始方法 この新しいエンジンリリースは、既存のクラスターには自動適用されません。リリースノートに記載された手順に従って、既存のクラスターのアップグレードを選択することができます。または、エンジンの最新バージョンを受信する既存のクラスターのクローンを作成できます。 Amazon Neptune クラスターが現時点で存在しない場合は、バージョン 1.0.1.0.200463.0 のデータベースを作成します。Neptune Streams は、テストする前にラボモードで有効化する必要があります。Neptune では、お客様からのフィードバックに基づいて、初期段階の機能をプレビュー版としてリリースしています。実際のユースケースで試験使用、検証することができます。そうしたプレビュー版機能は今後のリリースで製品化されるまではラボモードです。ラボモードでは、neptune_lab_mode クラスターパラメータを使用して、Neptune エンジンの実験機能を有効 (または無効) にできます。ラボモードの設定には、AWS コンソールまたは CLI を使用します。 AWS コンソール Neptune 用 AWS コンソールで、左側のナビゲーションメニューから [パラメータグループ] を選択します。Neptune クラスターに関連付けられたクラスターパラメータグループに移動し、[パラメータの編集] を選択します。 neptune_lab_mode パラメータでは、以下を追加して、ストリームおよびトランザクションのセマンティクスを有効にします。 Streams=enabled, ReadWriteConflictDetection=enabled AWS CLI コンソールではなく CLI を使用して、クラスターパラメータグループの値をチェックし、ラボモードのパラメータを設定することもできます。次の 2 つのコマンドをそれぞれに使用します。 aws neptune describe-db-cluster-parameters –db-cluster-parameter-group-name my-test-param-group –region us-east-1 aws neptune modify-db-cluster-parameter-group –db-cluster-parameter-group-name my-test-param-group […]

Read More