Amazon Web Services ブログ

こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。 本日は、先日 1/27 に新たに公開したサーバーレスの新コンテンツの紹介、AWS Hands-on for Beginners の活用方法の紹介、そして AWS を「広く学ぶ」のにオススメな AWS Innovate についてご案内します。 AWS Hands-on for Beginners シリーズ一覧 前回の記事: “スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号   AWS Hands-on for Beginners とは？ AWS Hands-on for Beginners は、動画にそって実際に手を動かしながら AWS サービスについて学んでいただくコンテンツです。名前の通り、初めて AWS サービスをご利用される方向けの内容ですので、学習の最初のステップとしてご活用いただけます。オンデマンド形式での配信となるので、移動時間などのスキマ時間での学習もできますし、分かりにくい部分を巻き戻して何度でもご覧いただくことができます。   [New] サーバーレス第2弾 “AWS SAM を用いてサーバーレスな環境を自動構築する” 編を公開しました AWS Hands-on for Beginners […]

最近の 2 年間で、自然言語処理 (NLP) のフィールドには、多くの素晴らしいブレイクスルーが見られました。先進的な深層学習モデルが、NLP タスクにおける最先端パフォーマンスの基準を引き上げています。新しく公開された NLP モデルからメリットを得るための最良のアプローチは、まずトレーニング済みの言語モデルに新しいデータセットを適用し、その後で、特定の NLP タスク用にファインチューニングを施すことです。このアプローチは転移学習と呼ばれています。この手法によれば、モデルのトレーニングをゼロから始めることに比べ、必要なリソースを顕著に削減することが可能になります。また、少ないトレーニングデータからでも、しっかりした結果を得ることができます。 NLP テクニックが素早い成長を続ける中、トレーニング済み言語モデルをパッケージ化した NLP フレームワークも多く開発されてきており、ユーザーは転移学習を容易に実施できるようになっています。トレーニング済みの言語モデルを備えた NLP フレームワークとして普及しているものの例としては、ast.ai が作った ULMFiT と Hugging Face が作った PyTorch-Transformers の 2 つが挙げられます。 このブログ記事では、Amazon SageMaker で PyTorch-Transformers を使い NLP モデルのファインチューニングを行う方法をご紹介します。また、組み込みの自動モデルチューニング機能を、Microsoft Research Paraphrase Corpus (MRPC) [1] 、および Stanford Question Answering Dataset (SQuAD) 1.1 [2] の 2 つの NLP データセットに適用する方法も合わせて説明していきます。PyTorch-Transformers は、BERT、XLNET、GPT-2 などの先進的なトレーニング済み言語モデルを収録したライブラリです。この記事では、Google により開発 [3] […]

T3 インスタンスはバースト料金設定モデルを使用し、必要に応じて持続的なフルコアパフォーマンスにアクセスしながら、低コストで汎用ワークロードをホストできます。7 つの異なるサイズから選択でき、カスタムの高周波 Intel ® Xeon ® スケーラブルプロセッサーにより、ベースライン量の処理能力を確実に得ることができます。 弊社のお客様はこれらを使って、マイクロサービス、中小規模のデータベース、仮想デスクトップなど、さまざまな種類の本番および開発ワークロードをホストしています。T3 インスタンスの大規模なフリートを起動し、それらを使用して、さまざまな条件、環境、設定でアプリケーションをテストしているお客様もいます。 AWS では、2011 年に EC2 ハードウェア専有インスタンスのサービスを開始しました。ハードウェア専有インスタンスをシングルテナントハードウェアで実行するため、他の AWS アカウントに属するインスタンスから物理的に分離されます。ハードウェア専有インスタンスを使用すれば、コンプライアンス目標達成 (PCI、SOX、FISMA など) を促進でき、さらにライセンスまたはテナントの制限の対象となるソフトウェアを実行することも可能です。 専有 T3 インスタンス 本日より、14 のリージョンにて T3 インスタンスの 7 つのサイズ (t3.nano～t3.2xlarge) をすべて専有形式でご利用いただけるようになりました。このため、T3 インスタンスを使用して専用ハードウェアを必要とするワークロードを実行し、AVX-512 命令および最新世代の Intel ® Xeon® スケーラブルプロセッサーが持つ高度な機能にアクセスしながら、コストの節約が可能となります。 既存の T3 インスタンスと同じように、て専有 T3 インスタンスでは Nitro システムを活用し、無制限のバーストを有効にすることで起動します。ENA ネットワーキングを使用し、最大 5 Gbps のネットワーク帯域幅を提供します。 EC2 API の AWS マネジメントコンソールを使って、専有 T3 インスタンスを起動できます。 […]

AWS DataSync は、大量のデータを AWS クラウドとの間でやり取りするのに役立ちます。新サービス – AWS DataSync – 自動化および高速化されたデータ転送で述べたように、お客様は大規模な移行、アップロードと処理、アーカイブ、バックアップ/DR のユースケースで DataSync を利用しています。 Amazon FSx for Windows File Server は、既存の Windows アプリケーションおよび環境と完全に互換性のあるネットワークファイルストレージを提供します (詳細については、新規 – Amazon FSx for Windows File Server – 高速、完全マネージド、安全 を参照してください)。ネイティブマルチ AZ ファイルシステム、SQL Server のサポート、データ重複排除、クォータ、転送中の暗号化の使用を強制する機能など、非常に幅広い種類のエンタープライズ対応機能が含まれています。お客様は、Amazon FSx for Windows File Server を使用して、Windows ワークロードをクラウドへリフトアンドシフト移行し、安定したサブミリ秒のパフォーマンスと高いスループットの恩恵を受けています。 AWS DataSync の内側 DataSync エージェントは、NFS または SMB を介して NAS またはファイルシステムにアクセスできるように、既存のオンプレミス環境またはクラウドベース環境内に VM […]

AWS のコストと使用状況レポート (CUR) は、AWS の使用状況を追跡し、それに関連する推定請求額を算出します。このレポートは、毎時または日次ベースのデータを表示するように設定することができます。レポートは請求確定日までに、1 日に少なくとも 1 回更新されます。コストと使用状況レポートは、指定する Amazon S3 バケットに自動的に配信され、そこから直接ダウンロードできます。また、このレポートは、Amazon Redshift に統合したり、Amazon Athena でクエリを実行したり、Amazon QuickSight にアップロードしたりすることができます。詳細については、Query and Visualize AWS Cost and Usage Data Using Amazon Athena and Amazon QuickSight を参照してください。 この投稿では、AWS CUR、S3 インベントリレポート、S3 サーバーアクセスログを組み合わせることにより、AWS Glue データカタログと Amazon Redshift を使用して S3 の使用状況と利用料金を分析するソリューションを提供します。 前提条件 開始する前に、次の前提条件を満たしてください。 S3 インベントリとサーバーアクセスログデータファイル用に、S3 バケットが必要です。詳細については、「バケットの作成」と「Amazon S3 とは」を参照してください。 Amazon Redshift が S3 バケットにアクセスできるようにするには、適切な IAM […]

PostgreSQL は、オープンソースのリレーショナルデータベースの中でも最も人気のあるシステムの 1 つです。Oracle や Microsoft SQL Server などの商用データベースから移行する場合、最高のデータベースの選択肢の 1 つと言ってもいいでしょう。AWS には 2 つのマネージド PostgreSQL オプションである Amazon RDS と Amazon Aurora があります。 マネージド PostgreSQL サービスに加えて、AWS は移行を支援するツールやリソースも提供しています。AWS Schema Conversion Tool (SCT) は既存のスキーマの変換や、複数のソースデータベースとターゲットデータベースをサポートする無料の AWS ツールです。AWS には AWS Database Migration Service (DMS) もあります。これは異種データベース間および同種データベース間でデータを転送し、継続的にレプリケートを行うのに役立ちます。同様に、商用データベースと PostgreSQL などのオープンソースデータベースとの間の多数の機能マッピングを文書化した移行プレイブックを提供しています。 この投稿では、コードを PL/SQL から PL/pgSQL に変換するためのヒントとベストプラクティスをご紹介します。これにより、パフォーマンスの向上や PostgreSQL へのコード変換を実行できます。この投稿は、データベースの移行に取り組む開発者を対象としており、読者はデータベースと PL/SQL の基本的な知識があることを前提としています。 パフォーマンスに関する考慮事項 このセクションでは、SQL Server や […]

Amazon Aurora は、ハイエンドな商用データベースが持つ速さや可用性を、オープンソースデータベースのシンプルさやコスト効率の高さと組み合わせた、リレーショナルデータベースエンジンです。PostgreSQL 互換エディションの Aurora では、同じハードウェアで動作させたとき、標準 PostgreSQL の最大 3 倍のスループットが実現できます。既存の PostgreSQL アプリケーションおよびツールは、修正をせずにそのまま使用可能です。この、PostgreSQL の互換性と Aurora のエンタープライズデータベース機能の組合せは、商用データベースを移行する際の理想的なターゲットとなっています。 リレーショナルデータベースでのキャッシング キャッシングは、すべてのリレーショナルデータベースがディスク I/O を削減するために備えている、主要な機能の一つです。これは、最も使用頻度の高いデータを、バッファーキャッシュと呼ばれるメモリの中に一時保存します。バッファーキャッシュにあるデータへのアクセスは、ディスクに保存されたものより高速です。つまり、スケーラビリティやアプリケーションのパフォーマンスを高めることができます。 PostgreSQL では、(テーブルやインデックスブロックなどの) アクセス頻度の高いデータブロックをキャッシュします。この設定は、データベースサーバーが使用する共有メモリバッファーの容量を規定する設定パラメータ (shared_buffers) により定義されます。詳細については、PostgreSQL ドキュメントウェブサイトの「Memory」をご参照ください。 キャッシングとフェイルオーバー Aurora PostgreSQL では、フェイルオーバー優先順位が最も高いリードレプリカを自動的に新しいマスターに昇格することで、高速のフェイルオーバー (約 35 秒) を実現しています。 リードレプリカは、プライマリと同じワークロードで実行するものではありません。従って、リードレプリカにおけるバッファーキャッシュの内容は、アプリケーションでの読み出し/書き込みワークロードを反映しきっていない、あるいは、障害が発生したプライマリの内容と完全に異なっている、ということがあり得ます。 フェイルオーバー発生時のバッファーキャッシュの内容によっては、新たに昇格された書き込みインスタンスにおいてキャッシュをウォームアップ (障害を起こす前のプライマリと同様な状態にキャッシュが遷移) するための時間が必要となります。バッファーキャッシュのウォームアップに必要な時間は、障害以前と同じ応答速度をアプリケーションが得られるようになるまでの時間です。 障害が起きた時点でのバッファーキャッシュの内容によっては、新たに昇格する書き込みインスタンスがキャッシュを (障害前のプライマリを反映した状態までに) ウォームアップするのに、顕著な時間を要することもあります。バッファーキャッシュのウォームアップに要する時間は、障害前と同じく信頼できる応答速度を得られるまで、アプリケーションが待機しなければならない時間となります。 クラスターキャッシュ管理 クラスターキャッシュ管理 (CCM) 機能は、フェイルオーバーが発生した後の、新しいプライマリ/書き込みインスタンスのパフォーマンスを向上させます。レプリカでは、アクセス頻度の高いバッファーをプライマリおよび書き込みのインスタンスからキャッシュして、予防的な読み込みを行っています。CCM により、特定の Aurora PostgreSQL レプリカをフェイルオーバーのターゲットとして指定することが可能です。CCM は、指定されたレプリカのキャッシュにあるデータが、プライマリ DB インスタンスのキャッシュにあるデータと正確に同期するようにします。 CCM の機能説明図を次に示します。読み出し専用 (RO) ノードは、読み出し/書き込み […]

Amazon Linux AMI は 2010 年 9 月の提供開始以来、数多くのお客様の Amazon Elastic Compute Cloud (EC2) による Linux ベースのアプリケーションのビルドを支援してきました。2017 年には、お客様にさらなるセキュリティ、安定性、生産性をもたらすために Amazon Linux 2 を導入しました。新機能を多数追加搭載しながら、当社では Amazon Linux 2 を長期的にサポートしてまいりました。お客様の新しいアプリケーションに役立てていただきたいと願っています。 よくある質問 でも申し上げたとおり、Amazon Linux AMI (2018.03) の最新バージョンは 2020 年 6 月 30 日にセキュリティアップデートの提供が終了します。お客様のご要望もあって、終了期日を延長し、メンテナンスサポート期間を設けます。 終了期日の延長 Amazon Linux AMI は 2020 年 12 月 31 日まで延長され、引き続きセキュリティアップデートおよびパッケージの更新版を必要に応じて提供することになりました。 メンテナンスサポート 2020 年 12 月 31 日を過ぎると […]

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。今週も週刊AWSをお届けします。 2020年が始まったと思ったらもう1月が終わってしまいますね。寒い日が続きますが、みなさまいかがお過ごしでしょうか。 以前にもお伝えしましたように今年のAWS Summit Tokyoは例年より少し早めの開催です。5/13～の東京、および6/30の大阪両方において、受け付け開始になった事を知らせるメール登録がこちらのページで可能になっていますので、参加予定の方はぜひ登録をしておいていただければと思います。 また、今年も引き続きオンラインセミナーの方に力を入れていきます。こちらのページに今後の予定が掲載されています。私は久しぶりに2/4(火)12時から「Amazon QuickSight アップデート」をしゃべる予定です。そのほかにも色々なオンラインセミナーを企画していますので、よろしければご参加ください。 それでは、先週の主なアップデートについて振り返っていきましょう。

開催概要 2020年1月23日 AWS 目黒オフィスにて、デジタルネイティブビジネスを展開されるお客さま向けに、12月上旬の AWS re:Invent 2019 の内容についての振り返りとして、サービスアップデート、およびピックアップセッションの共有を行いました。資料はこちらです。 AWS re:Invent 2019 recap For Digital Native Business from Amazon Web Services Japan 足元も悪い中50名以上ものお客様にお集まりいただき、みなさま非常に集中力高く受講いただき、終了後のQAも非常に活発に行われました。 なお今回はAWS目黒オフィスに新設されたイベントブースにて開催したのですが、ProfessionalなPAチームによるサポートにより、素晴らしい環境でイベントをご提供することができました。 サービスアップデート まずは、Solutions Architect 石本・金杉より、re:Invent会期前・会期中に発表されたアップデートについて共有させていただきました。 本年は総数 275+ と、非常に多くのアップデートが発表され、1時間半の時間枠では到底収まりませんでした。そのため、デジタルネイティブビジネスを展開されるお客様によくご利用いただけそうなサービスに絞った形で、紹介をさせていただきました。 主に注目を集めたのは、以下のトピックです。 Container ECS Capacity Providers ECS Cluster Auto Scaling AWS Fargate Spot AWS Fargate for EKS Serverless Amazon RDS Proxy Provisioned Concurrency for Lambda Function […]