Amazon Web Services ブログ

SaaS アプリケーションの、Amazon EFS を使ったより迅速かつ低コストなデプロイ

これまで当社には、独立系ソフトウェアベンダー (ISV) であるお客様たちから、SaaS アプリケーションをデプロイする際に存在する、複数の検討事項についてのお話しが届いていました。これらの考慮事項の範囲は、総保有コスト (TCO) に関するものから、運用や俊敏性への影響などにまで及びます。また、セキュリティ、監査性、可用性の高さ、データ保護などに対処する必要もあり、それらはすべて、ブランド力やマーケットでの認知度に影響を与える要素である、というお話しも聞いています。オンプレミスでもクラウドの場合でも、セルフマネージドの共有ファイルストレージを必要とするアプリケーションでは、上記の基準を満足する技術的ソリューションを決定し維持することは簡単ではありません。 今回のブログでは、マネージド型ストレージへの移行、そして完全マネージド型でクラウドネイティブな Amazon Elastic File System (Amazon EFS) の活用に関し、当社が ISV であるお客様からうかがってきた事項のいくつかをご紹介していきます。 総所有コスト (TCO) ISV のお客様からは、セルフマネージド型ストレージのプロビジョニングとキャパシティ管理に関連し、TCO に影響を与える複数の要素についてうかがっています。これらの要素には、管理上のオーバーヘッド、利用されないキャパシティ、コロケーション (施設、異なる使用条件、別々の契約) 、ハードウェア、そして帯域の問題などが含まれます。Amazon EFS をご利用になるお客様では、セルフマネージド型ファイルストレージのソリューションと比較して最大 90% の節約が可能です*。 Amazon EFS は伸縮自在にスケーリングするため、お客様はファイルの追加や削除に合わせ、自動的に利用量を拡大や縮小することができます。プロビジョニングや管理用のキャパシティを確保する必要はありません。さらに、ストレージボリューム管理の複雑さから逃れられ、実際に必要な分だけを支払えば良い、という別の利点もあります。EFS ライフサイクル管理では、毎日アクセスしないファイルを、EFS Infrequent Access ストレージクラスに透過的に移動することで、コスト削減幅のさらなる調整が可能です。このストレージクラスのコストは 0.025 USD/GB (毎月) だけです (料金は米国東部 (バージニア北部) リージョン) 。 さらに言えば、EFS には、マルチアベイラビリティゾーンアーキテクチャにより提供される追加的なコスト削減手法もあります。これにより、お客様がアプリケーションをスケールアウトする際、コンピューティングに合わせて、よりコストの低い EC2 スポットインスタンスを選択することが可能です。 運用上のシンプルさ ISV のお客様は、予測が不可能な顧客数の増大に合わせスケーリングするために、ビジネスが俊敏さを備えることの重要性についても、お話しくださっています。この課題に関係する要素は、アプリケーション向けにストレージの信頼性を確保することから、新たなマーケットに移動することの煩雑さにまで及びます。また、タイミングを見計らって市場投入することや、コロケーション、ハードウェア、および帯域などの調達リスクについても考慮する必要があります。加えて、セルフマネージド型ストレージソリューションでは、貴重な資本と開発リソースが、インフラストラクチャのデプロイと維持により拘束されるというご意見もありました。 Amazon EFS では、完全マネージド型のストレージソリューションをご利用いただけます。つまり、キャパシティを保持するために、ハードウェアもしくはインフラストラクチャの管理を気にする必要がないということです。さらに、利用量の最適化などを気にする必要もありません。このサービスは、一切の関与を必要とせずに自動で拡大および縮小するので、支払いは実際に利用した分のみです。全体的に見て最も優れている点は、インフラストラクチャの管理から開発リソースを解放できる点であり、アプリケーションに付加価値を追加する作業に注力できるようになります。Faculty 社のデータエンジニアである Scott Stevenson 氏は次のように言います。「偉大なテクノロジーの証しとは、その存在を忘れることができるということです。Amazon […]

Read More

Memsource の機械翻訳管理機能である Memsource Translate に Amazon Translate が追加

これは Memsource のゲスト投稿です。彼らの言葉によれば、「AI を搭載した翻訳テクノロジーで業界を先導することにより、より簡単に、より速く、そしてさらに費用対効果の高い方法でローカリゼーションを行います」とのことです。 Memsource と Amazon Translate は、パートナーシップを強化しています。Memsource の機械翻訳 (MT) 管理機能である Memsource Translate で Amazon Translate を使用できるようになりました。 多くの Memsource ユーザーから共通の問題をお寄せいただきました。選択する機械翻訳エンジンが多すぎるため、ソースコンテンツの翻訳に最適な結果を決定するプロセスが難しくて面倒だというご意見でした。さらに、エンジンが頻繁に変更され、常に新しい言語ペアが追加されます。Memsource の社内評価によると、70% 以上の翻訳プロジェクトで、顧客は最も効果的な機械翻訳エンジンを使用できていないことがわかりました。 Memsource Translate は、内容に最適なエンジンを自動的に選択する、新しい機械翻訳管理機能です。高品質の翻訳を簡単かつ迅速に提供します。また、Memsource の AI を搭載した機能の最新バージョンである機械翻訳品質推定 (MTQE) も含まれています。この機能は、事後編集が行われる前に、リアルタイムで機械翻訳出力の品質スコアを提供します。 サポートされているエンジンの 1 つとして Amazon Translate が追加されたことをお知らせいたします。 Memsource アカウントさえあれば、Amazon Translate で Memsource Translate を使用できます。初めてサインアップすると、無料 Memsource Translate といった文字が表示され、内容をテストできます。 選択機能 選択は、翻訳の言語ペアに基づいています。次の図は、そのプロセスを示しています。 内容をアップロードして言語ペアを選択すると、Memsource Translate は最高ランクのエンジンを自動で選択します。その後、機械翻訳の品質スコアを確認できます。その結果、翻訳者の生産性が向上し、コストが削減されます。 将来の展望 今後数か月のうちに、テキストのコンテンツタイプ (分野) […]

Read More

Amazon Elastic Inference で PyTorch モデル向け Amazon EC2 の推論コストを削減する

Amazon Elastic Inference を使用して、Amazon SageMaker と Amazon EC2 の両方で PyTorch モデルの推論を加速し、推論コストを削減できるようになりました。 PyTorch は、動的なコンピューティンググラフを使用する一般的なディープラーニングフレームワークです。これにより、命令的で慣用的な Python コードを使用してディープラーニングモデルを簡単に開発できます。推論は、トレーニングされたモデルを使用して予測を行うプロセスです。PyTorch などのフレームワークを使用するディープラーニングアプリケーションの場合、推論は計算コストの最大 90% を占めます。ディープラーニングモデルはさまざまな量の GPU、CPU、およびメモリリソースを必要とするため、推論に適切なインスタンスを選択することは困難です。通常、スタンドアロン GPU インスタンスでこれらのリソースの 1 つを最適化すると、他のリソースが十分に活用されなくなります。したがって、未使用のリソースに対して料金を支払うことになる可能性があります。 Elastic Inference は、Amazon SageMaker インスタンスタイプや EC2 インスタンスタイプ、または Amazon ECS タスクに適切な量の GPU による推論アクセラレーションをアタッチできるようにすることで、この問題を解決します。アプリケーションの全体的なコンピューティングとメモリのニーズに最適な AWS の CPU インスタンスを選択し、アプリケーションのレイテンシー要件を満たすために適切な量の GPU による推論アクセラレーションを個別にアタッチできます。これにより、リソースをより効率的に使用し、推論コストを削減できます。PyTorch が、Elastic Inference でサポートされるディープラーニングフレームワークとして TensorFlow と Apache MXNet に加わります。この記事の執筆時点でリリースされているバージョンは 1.3.1 です。 この記事では、Amazon EC2 インスタンスと Elastic […]

Read More

新サービス – AWS Launch Wizard で SAP のデプロイを加速

昨年、当社は、AWS Launch Wizard for SQL Server を発表しました。これにより、エンタープライズワークロード向けの AWS に高可用性 SQL ソリューションを迅速かつ簡単にデプロイできます。 本日発表するのは、AWS Launch Wizard for SAP です。これは、迅速、簡単、柔軟、安全、コスト効率の高い新しいサービスです。この新しいサービスは、AWS CloudFormation と AWS Systems Manager を使用して、基盤となる AWS リソースのプロビジョニングを調整することで、SAP アプリケーションを AWS にデプロイするのに役立ちます。 AWS の数千のお客様が、AWS Quick Start と Amazon Elastic Compute Cloud (EC2) を使用して、SAP ワークロードを構築および移行しました。これには、x1、x1e、ハイメモリインスタンスが含まれます。さらに、これらのお客様は、AWS Partner Network (APN) for SAP を利用して、自分に合ったソリューションを見つけています。SAP のお客様は、AWS リソースを最大限に活用して SAP システムをデプロイするために、よく設計された直感的なウィザードを求めています。 AWS Launch Wizard for SAP […]

Read More

AWS Lake Formation と Amazon RDS for SQL Server の統合

 ビジネスを成長および発展させるには、無数のソース (リレーショナルデータベース、NoSQL データベース、クリックストリーム、IoT イベントなど) からデータを収集し、分析を用いてそのデータを組み合わせて洞察を抽出する必要があります。AWS Lake Formation により、さまざまなソースからのデータを Amazon S3 に基づくデータレイクに取り込むことがでるようになります。さらに、Lake Formation を使用すれば、単一の場所からこのデータへのアクセスが制御できます。 この投稿では、Lake Formation ブループリントを使用して Amazon RDS から Amazon S3 のデータレイクにデータを取り込む方法と、Amazon Athena から抽出されたデータに対して SQL クエリを実行するための列レベルのアクセス制御を行う方法を示します。 ブループリント とは、データをデータレイクに簡単に取り込むことができるデータ管理テンプレートです。Lake Formation は、リレーショナルデータベースや AWS CloudTrail ログなど、予め定義されたソースタイプごとにいくつかのブループリントを提供します。ブループリントから、ワークフローを作成できます。ワークフローは、AWS Glue クローラー、ジョブ、およびデータのロードと更新を調整するトリガーで構成されています。ブループリントは、データソース、データターゲット、およびスケジュールを入力として取り、ワークフローを設定します。 Lake Formation の詳細については、「AWS Lake Formation: How It Works」をご参照ください。 チュートリアルの概要 データレイクは、集中管理された安全なリポジトリで、すべてのデータを元の形式のデータと分析のためにデータの両方を保存します。データレイクを使用すると、データサイロを分解し、さまざまなタイプの分析を組み合わせて、洞察を得たり、より適切なビジネス上の意思決定に導くことができます。 Lake Formation を使用すると、安全なデータレイクを簡単にすばやく設定できます。このチュートリアルには、次の手順が含まれています。 S3 バケットをデータレイクストレージとして登録する データを表すテーブルを保持する論理データベースを作成する Amazon RDS for […]

Read More

Amazon DocumentDB (MongoDB 互換) の開始方法 – パート 1 – Amazon EC2 の使用

Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージドのドキュメントデータベースサービスです。お客様は、基盤となるインフラストラクチャの管理を気にすることなく、現在ご使用のものと同じ MongoDB 3.6 向けのアプリケーションコード、ドライバー、ツールを、そのまま Amazon DocumentDB 上でワークロードを実行、管理、そしてスケールするのに使えます。ドキュメントデータベースである Amazon DocumentDB は、JSON データの保存、クエリ、およびインデックスを容易にします。 このシリーズのパート 1 のこの投稿では、Amazon DocumentDB の開始方法を示します。これを行うため、デフォルトの Amazon VPC に Amazon EC2 インスタンスを作成します。デフォルトの VPC を作成する手順については、Amazon VPC の開始方法を参照してください。また、同じデフォルトの VPC で 1 インスタンスの Amazon DocumentDB クラスターをプロビジョニングします。この投稿では、ローカルコンピューターから EC2 インスタンスに SSH で接続し、mongo シェルを使用して EC2 インスタンスからクラスターに接続する方法を示します。最後に、Amazon DocumentDB クラスターに対してクエリを実行する方法を学びます。このチュートリアルを完了するためにかかる費用は 0.30 USD 未満です。 AWS リソースを作成するときは、AWS IAM のベストプラクティスに従うことをお勧めします。 次の図は、このチュートリアルの最終的なアーキテクチャを示しています。 このチュートリアルでは、特定のリージョンにおけるデフォルトの […]

Read More

完全に自動化されたユーティリティを使用した Neo4j グラフデータベースの Amazon Neptune への移行

 Amazon Neptune は、完全マネージド型グラフデータベースサービスであり、高度に接続されたデータセットと連携するアプリケーションの構築と実行を容易にします。Neo4j などの既存のセルフマネージドのグラフデータベースからデータを移行する場合、サービス専用の高性能で、高速かつスケーラブルな、信頼性の高いグラフデータベースエンジンのメリットを享受できます。 この投稿では、Neptune ツールの GitHub リポジトリから neo4j-to-neptune コマンドラインユーティリティを利用するサンプル AWS CDK アプリを使用して、Neo4j から Amazon Neptune に移行する方法を示します。サンプルアプリは次のタスクを完了します。 Neo4j および Amazon Neptune データベースをセットアップおよび設定する Neo4j のウェブサイトのサンプルプロジェクトから映画のグラフを CSV ファイルとしてエクスポートする neo4j-to-neptune ユーティリティを使用して、エクスポートされたデータを Amazon Neptune のバルクロード用 CSV 形式に変換する 変換されたデータを Amazon Neptune にインポートする アーキテクチャ 次のアーキテクチャは、疎結合アプリを構築して移行するために必要な構成要素を示しています。アプリは、次のリソースの作成を自動化します。 Neo4j グラフデータベースをダウンロードしてインストールするための Amazon EC2 インスタンス、および Amazon Neptune にクエリを実行するための Apache TinkerPop Gremlin コンソール。このインスタンスは、移行元としても、エクスポートされたファイルを Amazon S3 バケットにコピーして […]

Read More
Weekly AWS

週刊AWS – 2020/4/6週

全国のAWSに興味をお持ちのみなさん、こんにちは。ソリューションアーキテクトの小林です。 前回私が週刊AWSを担当した時に書いた多肉植物ですが、植え替えに耐えて無事に新しい土に根付いたようです。ほんのちょっとの間で目に見えるように成長しているので、驚いています。 さて、4月になり新年度が始まりました。AWSの年度は1月始まりなので私たちの活動という視点では特に大きな変化はないのですが、世の中的に新しい年度が始まるタイミングはなんとなく気持ちが引き締まるような気がします。良い機会なので部屋においてある荷物を断捨離するべく行動を開始したのですが、案外いろいろな懐かしいアイテムが出てくるものですね。いつしか無くしてしまったと思っていたモノがひょんなところから出てきたり、とうの昔に捨てたと思っていたモノが引き出しの奥底に眠っていたり。なかなか大変な作業ですが、新しい年度のはじめに押し入れや収納エリアの整理に取り組んでみてはいかがでしょうか? それでは、先週の主なアップデートについて振り返っていきましょう。今回は重要(だと私が思う)アップデートが多かったので、大盛りでのお届けです。

Read More

AWS Data Wrangler v1.0がリリースされました

2019年9月、当ブログでもご紹介したAWS Data Wrangler(以下、Data Wrangler)のv1.0がリリースされました。 以前紹介したときと比べて、主にAmazon Redshift(以下、Redshift)・AWS Glueデータカタログとの連携強化、その他Amazon EMR・Amazon CloudWatch Logsとの連携が追加されており、全体的により使いやすくなりました。v1.0になったことに伴い、改めて「AWS Data Wranglerとは?」および「簡単なチュートリアル」についてご紹介します。 (*)ブログ下段に、2019年9月のブログ投稿以降に追加された主要アップデートのサマリーを記載しています。 AWS Data Wranglerとは? Data WranglerはPandasライブラリの機能をAWSに拡張するオープンソースのPythonライブラリです。DataFrameとAWSデータ関連サービス(Redshift, AWS Glue(以下、Glue), Amazon Athena(以下、Athena), Amazon EMRなど)と接続します。 Pandas、Apache Arrow、Boto3、s3fs、SQLAlchemy、Psycopg2、PyMySQLなどのオープンソースライブラリを用いて、データレイク、データウェアハウス、データベースからのデータのロード/アンロードといった通常のETLタスクに必要となる抽象化された関数を提供します。 (公式ドキュメント:「What is AWS Data Wrangler?」より翻訳・引用) チュートリアル 公式ドキュメントにいくつかサンプルチュートリアルがあります。本ブログではAmazon SageMaker(以下、SageMaker)ノートブックを用いて、公式チュートリアル“01-Introduction.ipynb”、“06-Amazon Athena.ipynb”を参考に、簡易版をご紹介します。 1.S3の設定 1-1.AWSマネジメントコンソールにログインして、サービス一覧から”S3″を選択します。 1-2.[バケットを作成]ボタンをクリックし、[バケット名]に任意の名前(※世界で一意)を入力、リージョンが「アジアパシフィック(東京)」になっていることを確認し、[作成]ボタンをクリックします。 1-3.バケットが作成されたら、[フォルダの作成]をクリックし、フォルダ名に「data」といれてフォルダを作成します。 2.Glueデータカタログのデータベース作成 2-1.サービス一覧から”Glue”のコンソールを開き、左のメニューバーから[データベース]を選択します。 2-2.[データベースの追加]ボタンをクリックし、データベース名に「awswrangler_test」と入力し、[作成]ボタンをクリックします。 3.SageMakerノートブックの起動 ※SageMakerノートブックの起動からコード実行までの手順は簡略化したものとなっています。詳細については、下記URLのステップ2およびステップ3をご確認ください。 https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/gs-setup-working-env.html 3-1.サービス一覧から”SageMaker”のコンソールを開き、左のメニューバーから[ノートブックインスタンス]を選択し、[ノートブックインスタンスの作成]を選択します。 3-2.ノートブックインスタンス名に任意の名前を入力し、ノートブックを作成します。(※ここでは新規にAWS IAMロールを作成します。) 3-3.サービス一覧から”IAM”を選択します。 3-4.手順“3-2”で作成したAWS IAMロールに対して、「AmazonS3FullAccess」と「AmazonAthenaFullAccess」を付与します。 3-5.作成したノートブックインスタンスから[Jupyterを開く]を選択し、ノートブックを起動します。 4.サンプルチュートリアルの実行 以下チュートリアルのシナリオはAmazon S3(以下、S3)上にあるCSVファイルをParquetファイルに変換、その後、Athenaからクエリを実行する例です。 […]

Read More

AWS アカウントのセキュリティを改善するための 10 個の項目

クラウド・セキュリティを向上させたいと考えているなら、AWS のチーフ・インフォメーション・セキュリティ・オフィサー (CISO) であるステファン・シュミットが AWS re:Invent 2019で発表したクラウド・セキュリティのための上位 10 個の項目 を参照してみてはいかがでしょうか? 下記が項目のサマリーです。皆様の理解のために、順番に説明していきます。 1) アカウント情報を正しく保つ AWS が AWS アカウントについて連絡が必要な場合、AWS マネジメントコンソールで設定された連絡先の情報を利用します。これは、アカウントを作成する時に指定した E メールアドレス、代替の連絡先の中で指定されている E メールアドレスになります。全ての E メールアドレスは個人に依存しないようにエイリアスのアドレスにするべきです。また、定期的に指定している E メールアドレスが有効で、E メールが届いた時に返信可能かどうかを確認するプロセスが必要です。特に、 abuse@amazon.com から受信する可能性のあるセキュリティに関する通知に返信出来るかどうかが重要です。あなた自身が不在の時に、他の誰かがメール受信を出来るように代替の連絡先指定のマニュアルページで確認してみてください。 2) 多要素認証 (MFA) を利用する MFA は不正なアクセスからアカウントを保護するためのベストな方法の1つです。MFA をルートユーザおよび AWS Identity and Access Management (IAM) ユーザに対して設定してください。AWS へのアクセス制御に AWS Single Sign-On (SSO) を使っていたり、企業内の ID ストアとフェデレーションを指定している場合には、MFA を Identity Provider (IdP) […]

Read More