Amazon Web Services ブログ

EFS File Sync、Amazon EFS ファイルシステムへの高速なファイル転送

AWS re:Invent 2017 の数日前に使用可能になった EFS File Sync について、お話できるようになりました。 大量のファイルをオンプレミスまたはクラウドのファイルシステムから Amazon Elastic File System に移動させる必要があるなら、このツールが最適です。たとえば、 cp および rsync などのシンプルで、シングルスレッドのコマンドラインツールは、クラウドに対応しておらず、膨大な量のデータをある場所から別の場所へ移動するために必要なスループットを提供することができません。こうしたツールは、多くの場合、スケジューリング、オーケストレーション、ネットワークセキュリティに関するスクリプトで、ビルディングブロックとして使用されるのが一般的です。 安全および並列 EFS File Sync は、安全で高度な並列データ転送メカニズムを使用しており、前述のツールよりも最大 5 倍高速で動作します。VMware ESXi または EC2 インスタンスで実行され、NFS (v3 および v4) 経由でソースファイルシステムにアクセスし、EFS が利用可能なすべての AWS リージョンで使用できるエージェントとして利用できます。このエージェントが AWS とのすべての通信を開始するので、VPN を設定したり、ファイアウォールを介してインバウンド接続を許可したりする必要はありません。 AWS マネジメントコンソールで、エージェントと同期タスクを起動、制御、監視することができます。ジョブは、ファイルシステム全体または特定のディレクトリツリーの転送を指定することができ、転送先にすでに存在するファイルを検出してスキップすることもできます。ファイルのメタデータ (変更やアクセスの時間、POSIX の所有権とアクセス許可、シンボリックリンク、ハードリンク) もコピーされます。 EFS File Sync の使用 このブログへの投稿を書くために、EC2 インスタンスを起動し、NFS ファイルシステム (/data) をエクスポートし、ファイルシステムに Linux カーネルのソースコードを転送しました。 […]

Read More

Schema Conversion Tool ブログシリーズ: ビルド 613 の新機能紹介

AWS Schema Conversion Tool (AWS SCT) は、データベースエンジン間で既存のデータベーススキーマを変換するのに役立ちます。リレーショナル OLTP スキーマまたはサポートされているデータウェアハウス OLAP スキーマから、Amazon RDS (たとえば、Amazon Aurora MySQL または Amazon Aurora PostgreSQL など) に変換できます。また、リレーショナル OLTP スキーマまたはサポートされているデータウェアハウス OLAP スキーマを Amazon Redshift に変換することもできます。サポートされているすべてのソースとターゲットについては、AWS のドキュメントを参照してください。 AWS SCT は 頻繁に更新されるツールの 1 つであり、新機能を組み込んだビルドがほぼ毎月リリースされます。機能リリースごとにリリースノートを提供していますが、それに加えて AWS SCT リリースのブログシリーズを開始し、各ビルドの重要な新機能を詳しく紹介していきます。 ロードマップはお客様の要望に基づいて構築されます。AWS SCT ユーザーとして、AWS SCT の新機能を確認したい場合は、こちらのブログ記事に自由にコメントしてください。お客様からのフィードバックをお寄せいただければ幸いです。また、AWS SCT 自体にフィードバックを残すこともできます (ヘルプに移動して [Leave feedback] を選択します)。 この記事では、本日リリースしたビルド 613 に含まれるいくつかの新機能を紹介します。このブログ記事で紹介する機能は次のとおりです。 Oracle から PostgreSQL […]

Read More

OHDSI を使用して健康分析のために AWS でデータ科学環境を作成する

ヘルスケアデータにテクノロジを適用することには、多くのエキサイティングで重要な成果をもたらす可能性があります。ヘルスケアデータから生成された分析は、医療従事者が自分達が提供するケアを向上させるためにより良い意思決定を行えるようにすることで、個人と集団の健康を改善するようにエンパワメントできます。 観察的なヘルスデータ科学と情報 (OHDSI、「オデッセイ」と発音する) プログラムとコミュニティは、観察的健康データを保存し、分析するためのデータ標準とオープンソースソリューションを生成することを目標にしています。OHDSI ツールを使用して、集団全体の健康を可視化することができます。患者のコホートを構築し、さまざまな状態の発生率を分析し、特定の状態の患者に対する治療の効果を推定することができます。また、機械学習アルゴリズムを使用して健康成果の予測をモデル化することもできます。 ビッグデータツールの操作をするときにしばしば直面する課題の一つは、ツールを実行するときに必要なインフラストラクチャが必要になることです。もう一つの課題は、これらのツールを実装して使い始めるための学習曲線です。アマゾン ウェブ サービスを使用すると、エンタープライズクラスのインフラストラクチャーとテクノロジーを手ごろな費用で伸縮自在で自動化された方法で使用可能にすることにより、従来の IT の多くの課題に対応できるようになります。この記事では、AWS テクノロジーにいくつかの OHDSI プロダクト (Atlas、Achilles、WebAPI、およびOMOP Common Data Model) を組み合わせる方法を示します。そうすることにより、ヘルスデータ科学と情報環境を迅速に、少ない費用で実装できます。

Read More

Amazon RDS リザーブドインスタンスのコストを節約するために AWS コスト管理製品を使用する

Amazon RDS を使用すると、クラウド内のリレーショナルデータベースを迅速かつ簡単に設定、操作、拡張できます。Amazon RDS Reserved Instances(RI)には、1年間または3年間のデータベースインスタンスを予約するオプションが用意されています。このオプションでは、オンデマンド価格と比較して大幅な割引(最大69%)があります。 この記事では、AWS Cost Management 製品を使用する際に、RI でコスト削減の機会を特定するのに役に立つ方法を学ぶことができます。同時に、ネイティブの AWS ツールを使用すると、新規および既存の Amazon RDS の管理に役立てることができます。 AWS Cost Explorer を使用すると、AWS のコストと使用状況を視覚化し、理解し、管理することができます。すでにご存知とは思いますが、Cost Explorer は、コスト分析と使用状況の分析を開始するのに最適です。しかし、Cost Explorer でも、Amazon RDS の使用状況履歴に基づいた、RI 購入推奨事項が提供されていることをご存知でしたか? Cost Explorer の左上隅にあるナビゲーションメニューを使用して、Recommendations エリアから RDS をすばやく選択し、カスタマイズされた RI 購入推奨事項にアクセスできます。 Amazon RDS の Cost Explorer の RI購入推奨事項を開始する 次のスクリーンショットでは、Cost Explorer コンソールを見ることができます。  支払人(マスター)のアカウントから、Cost Explorer が識別した RI 購入機会にアクセスできます。これを行うには、Cost Explorer の RDS RI […]

Read More

Amazon EC2 リソース ID の更新 – 移行する詳細なリソースタイプ

いくつかの必須の EC2 リソースに対する長い ID を提供するための以前の仕事のフォローアップとして、当社は移行の期日を 2018 年 7 月に設定して、同じことを残りの EC2 リソースに対しても行っています。ユーザーごと、リージョンごと、タイプごとにオプトインして、コード、正規表現、データベーススキーマおよびデータベースクエリが期待通りに動作することを確認できます。 EC2 リソースのタイプについて ID を認識、処理、または保存するコードがある場合は、注意深く、この投稿をお読みください。知る必要があることは、次のとおりです。 移行期日 – お使いのコードおよびスキーマが新しい、長い ID を処理し、保存できるのは、2018 年 7 月までです。その後、長い ID はすべての新しく作成されたリソースにデフォルトで割り当てられます。既存のリソースの ID は、そのまま残り、機能し続けます。 詳細なリソースタイプ – 長い ID はすべてのタイプの EC2 リソースに対してサポートされ、希望に応じてオプトインすることができます。 できるだけ早く、テストアカウントから始めて、オプトインするようにお勧めします。このことは、コードを徹底的にテストし、コードを本番稼働させるためにプロモーションする前に、必要な変更を行うための時間を与えます。 その他のリージョン – 長い ID は、現在、AWS 中国 (北京) および AWS 中国 (寧夏) リージョンで使用可能です。 AMI のテスト – テストするために使用できる長い ID をもつ AMI を発行しました […]

Read More

風力発電: AWS でのオープンデータ

空間コンテキストでプロセスを記述するデータは、私たちの日常生活のいたるところにあり、ビッグデータの問題を支配しています。たとえば、道路ネットワークや衛星からのリモートセンシングデータを記述する地図データは、どこへ行く必要があるか示してくれます。シミュレーションやセンサーからの大気データは、天気予報や気候モデルの基礎となります。GPS を備えたデバイスおよびセンサーは、ほぼすべてのモバイルデータに空間的なコンテキストを提供できます。 この記事では、Amazon のクラウドサービスで世界に公開されている膨大な (500 TB) オープン気象モデルデータセットの WIND ツールキットを紹介します。このデータにアクセスする方法と、こうしたデータに簡単にアクセスできるように開発されたオープンソースソフトウェアのいくつかを説明します。このソリューションでは、グリッド (ラスタ) 上に存在する地理空間データのサブセットを検討し、気象モデルから大規模なラスタデータへのアクセスを提供する方法を探索します。このソリューションでは、基礎的な AWS のサービスと、科学データ用によく採用されている形式である Hierarchical Data Format (HDF) を使用します。

Read More

[AWS Black Belt Online Seminar] AWS Well-Architected Framework によるコスト最適化

こんにちは、ソリューションアーキテクトの廣瀬です。 先月 (2018/3/13) 開催致しました AWS Black Belt Online Seminar 「AWS Well-Architected Framework によるコスト最適化」の資料を公開致しました。当日、参加者の皆様から頂いた QA の回答と併せてご紹介致します。

Read More

AWS Cloud9、AWS CodeCommit、Troposphereを使ったCloudFormationテンプレートの作成

AWS Cloud9 は 2017年11月の AWS re:Invent で発表されました。Cloud9 はブラウザベースの IDE で、サーバレスアプリケーションも含め、数多くのクラウド上の開発ユースケースに適しています。AWS CloudFormation を使うことで AWS CodeCommit と連携した AWS Cloud9 の開発環境を迅速に構築することができます。このブログでは、CloudFormation を使った Cloud9 環境の構築手順を説明します。さらに Cloud9 の環境で Python と Boto3 のコードを書き、 Troposphere を使って CloudFormation の YAML テンプレートを生成する方法についても説明します。

Read More

[AWS Black Belt Online Seminar] 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス 資料及びQA公開

こんにちは、ソリューションアーキテクトの上原です。 先日(2018/3/06)開催致しました AWS Black Belt Online Seminar 「 働き方改革を実現する AWS のエンドユーザーコンピューティングサービス」の資料を公開いたしました。当日参加者の皆様から頂いた QA の回答と併せてご紹介致します。

Read More

サーバレスアプリケーションから AWS データベースをクエリする

AWS データベースの顧客は、Amazon Elastic Compute Cloud (Amazon EC2) ホストを仮想プライベートクラウド (VPC) で起動してデータベースクライアントとして使用する必要がないため、費用を節約し、シームレスに拡張し、高可用性の実現します。EC2 ホストのプロビジョニングまたは管理を必要とせず実行するアプリケーションを、サーバーレスアプリケーションと呼んでいます。 この記事では、データベースが公開されていない場合でも、URL から AWS データベースを照会する方法について示します。この方法は、serverless-to-serverless クエリのために Amazon Aurora Serverless データベースに対しても実行が可能です ! Amazon Neptune 、Amazon Relational Database Service (Amazon RDS) for MySQL 、または Amazon RDS for PostgreSQL の各 Python スクリプトの選択を提供しています。また、次の 2 つのコンポーネントを設定して作成する方法についても説明します。 バックエンドデータベースに対してクエリを実行する AWS Lambda 関数 URLにアクセスする際に Lambda 関数を呼び出す API Gateway REST API これらのコンポーネントを簡単に可能な AWS CloudFormation テンプレートを提供します。また、厳密には […]

Read More