Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

AWS Step FunctionsとAWS Lambdaを使って複数のETLジョブの統合を行う

抽出、変換、ロード(Extract, Transform, Load, ETL)操作は、現在のエンタープライズデータレイクのバックボーンにひとまとまりとして形成されています。rawデータを役に立つデータセットへ変換し、最終的には、洞察可能な状態に変換します。ETLジョブは通常1つまたは1つ以上のデータソースからデートを読み、様々な種類の変換を適用し、結果を利用準備できているターゲットに書き込みます。ETLジョブのソースとターゲットはリレーショナルデータベースであるAmazon RDS(Amazon Relational Database) もしくはオンプレミス、データウェアハウスとしてAmazon Redshift 、オブジェクトストレージとしてAmazon Simple Storage Service(Amazon S3) のバケットなどがあります。Amazon S3は、AWSでデータレイクを構築するという状況において特に一般的です。 AWSは、ETLジョブの作成とデプロイを支援するAWS Glueを提供しています。AWS Glueは抽出・変換・ロードを行うフルマネージドなサービスであり、お客様が簡単に自分のデータとして準備、ロードできるものとなります。他のAWSサービスでもETLジョブを実装、デプロイすることも可能です。 AWS Database Migration Service(AWS DMS)、Amazon EMR(ステップAPIの利用)、さらにAmazon Athenaも含まれます。   ETLジョブワークフロー統合へのチャレンジ 多様なETLテクノロジーを含むETLワークフローをどのように統合できるでしょうか? AWS Glue、AWS DMS、Amazon EMRなどのサービスは、Amazon CloudWatch Eventsをサポートしており、ETLジョブを連動させることができます。 Amazon S3は、中心に置かれたデータレークストアでもあり、CloudWatch Eventsをサポートしています。しかし、CloudWatchイベントのみに依存するということは、ETLワークフローの視覚的表現が1つもないことを意味します。また、全体的なETLワークフローの実行ステータスを追跡し、エラー・シナリオを処理することは困難になります。 本ブログでは、AWS Step FunctionsとAWS Lambdaを使用して、任意の複雑なETLワークフローでさまざまなテクノロジを含む複数のETLジョブを編成する方法を説明します。

Read More

【開催報告】AWS Data Lake ハンズオンセミナー (+個別案件相談会)

こんにちは。AWS ソリューションアーキテクトの八木達也 (@ygtxxxx) です。 6月14日に、「AWS Data Lake ハンズオンセミナー (+個別案件相談会)」を開催いたしました。前回行ったワークショップの二回目となります。前回も盛況でしたが、今回も60名を超すお客様にご参加頂きました。 はじめに、AWSにおけるデータ活用のベストプラクティスであるAmazon S3を中心とした Data Lakeについて解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、AWSサービスを駆使して実際にラムダアーキテクチャを構築してみる、というのがゴールです。とはいえすべてを構築し切るのはボリュームが大きいため、今回から、コース別に取り組めるようにハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。 アンケートでは以下のようなお声を頂き、満足頂けた方が多かったように思えます。 ・お客様の声 「非常にわかりやすいテーマと資料でした。すぐ実践できそうな内容で満足でした。」 「個々のサービスのサンプルは御社サイトから読めますが、今回のように組み合わせた具体的なサンプル提示は大変助かります。」 「わかりやすいハンズオンでした。実践的に提案する場合でも利用できる内容なので、提案時に勧めたいです。」 また、ハンズオン後にはソリューションアーキテクトによる個別案件相談会(事前登録制)も実施致しました。相談者の方々には具体的なソリューションを持ち帰って頂くことができたと思います。 次回は秋ごろに開催予定です。ご参加お待ちしております。

Read More

Performance Insights を使用した Amazon RDS データベースの負荷分析

AWSは Amazon Aurora with PostgreSQL compatibility の一般リリースを先日発表しました。このリリースには Performance Insights と呼ばれる Amazon Relational Database Service (Amazon RDS) に有用な機能の最初のリリースも含まれます。データベースの負荷(どのSQL文が負荷を発生させており、それはなぜなのか)を可視化するダッシュボードを使用して、エキスパートな方とエキスパートではない方の両方が、Performance Insights でパフォーマンス問題を容易に検出できます。

Read More

Amazon RDS for PostgreSQLにおける自動バキュームのケーススタディ

PostgreSQLデータベースにおいて、自動バキューム処理(autovacuum)は複数の重要なメンテナンス操作を実行します。周回を防止するためにトランザクションIDをフリーズすることに加えて、デッドタプルを削除し空きスペースを回復させます。書き込み回数の多いデータベースの場合は、自動バキュームを頻繁に実行するようにチューニングすることをお勧めします。そうすることで、テーブルやインデックスを膨らませるデッドタプルの蓄積を避けることができます。

この記事では、デッドタプルが蓄積される状況でどのように自動バキューム処理を監視し、チューニングするかを実際に示すために、ケーススタディを用いてご説明します。

Read More

[AWS Black Belt Online Seminar] AWS で実現するライブ動画配信とリアルタイムチャットのアーキテクチャパターン 資料及び QA 公開

先日 (2018/6/12) 開催しました AWS Black Belt Online Seminar「AWS で実現するライブ動画配信とリアルタイムチャットのアーキテクチャパターン」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

[AWS Black Belt Online Seminar] AWS 認定取得に向けて 資料及び QA 公開

先日 (2018/6/6) 開催しました AWS Black Belt Online Seminar「AWS 認定取得に向けて」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180606 AWS Black Belt Online Seminar AWS 認定取得に向けて from Amazon Web Services Japan PDF Q. APNのビジネスプロフェッショナルやテクニカルプロフェッショナルはどの位置づけになりますか? A. eラーニングの内容は、クラウドコンセプトやAWSサービスの基本的なことを学習できる コンテンツです。AWS認定の「クラウドプラクティショナー」の学習コンテンツとして 最適な位置づけであり、AWSとしても強く推奨しています。 Q. アソシエイト新旧の違いを再度フォローしていただけると助かります。 A. 新しいバージョンの「AWS 認定ソリューションアーキテクト – アソシエイト」は、旧バージョンのリリースから 4 年間のソリューションアーキテクトの変更に対応した、新しい試験ガイドに基づいた試験です。過去数年にわたって開発された、適切に設計されたプログラムを反映しています。詳細につきましては、こちらをご参照ください。 Q. Eメールによる合格通知が来るまでにはどれくらいかかりますか。 A. 通常、試験終了から3日以内にメールでの試験結果が通知されます。ただし、以下 3 試験につきましては、メール内に試験結果の詳細は記載されず、アカウントに試験結果のアップロードが完了した時点(5営業日以内)で通知メールが送信されます。 AWS 認定ソリューションアーキテクト – アソシエイト (新版) AWS 認定クラウドプラクティショナー AWS 認定セキュリティ […]

Read More

2018 年 7 月の AWS Black Belt オンラインセミナーのご案内

こんにちは。マーケティングの鬼形です。7 月の AWS Black Belt オンラインセミナーの配信についてご案内させて頂きます。 !!オンラインセミナーお申し込み方法: オンラインセミナー登録ページよりお申し込みください 【一般提供開始!】Amazon Neptune 2018 年 7 月 3 日 | 12:00 – 13:00 | IT 知識レベル:★★☆☆☆ | AWS 知識レベル:★★☆☆☆ 2018年6月に Amazon Neptune の一般提供が開始されました。この Webinar ではグラフデータベースの概念、および Amazon Neptune の基本的なアーキテクチャーを説明し、どのようなシーンで利用するのか、Amazon Neptune 利用時に押さえておくべきポイントについてご紹介致します。 対象者 グラフデータベースについて知りたい方 既にグラフデータベースを使用されている/検討されている方 本セミナーで学習できること Amazon Neptune の基礎、利用シーン、活用のポイントを学ぶことができます スピーカー 五十嵐 建平 Solutions Architect   【東京リージョン一般提供開始!】Amazon Elastic File System (Amazon EFS) 2018 年 7 […]

Read More

双方向の扉を活用した、AWS上のミッションクリティカルなSAPシステムの変革

この記事は、Amazon Web Services (AWS)で戦略的ISVパートナーのGMを務めるBas Kamphuisによるものです。 誰もが一方通行の扉を通ることを好みません。 一方通行の扉が閉まった後、始めた場所に戻るための簡単な方法はありません。お客様の選択肢は限られており、無意識に始めた旅の方向性を変えるには多大な時間とリソースを費やす必要があります。 最初の扉を開けないほうが良かったと思うかもしれません。 SAPをお使いの多くのお客様にとって、複雑でミッションクリティカルなSAP環境をどのように構築して稼働するかを決定することは、一方通行の扉を通り抜けることに似ています。SAPは多くのエンタープライズオペレーションにとって重要なツールですが、SAPの導入を成功するには、従来より大幅な設備投資、複雑に連携したシステムアーキテクチャ設計、企業の厳しい要件に合わせたカスタマイズソリューション、そして弾力性と信頼性を兼ね備えた堅牢なITバックボーンが必要です。

Read More

Amazon AppStream 2.0を使ったSAP GUIの展開

多くのお客様が、AWS上でSAP環境をより速く、より安全に、よりコスト効率よく稼働することで、デジタル変革を加速しています。これにより、AWSの規模とパフォーマンスのメリットが得られます。ただし、AWS上にSAP環境があるとはいえ、多くのユーザーがまだローカルコンピュータとローカルネットワーク上のSAP GUIを使用してアクセスしている可能性があります。 例えば、デスクトップ上でSAP GUIを実行し、AWS上のSAP環境との間で大量のデータをやり取りするユーザーは、待ち時間が長くなり、アプリケーションの動作が遅くなる可能性があります。同時に、SAP管理者は各ユーザーのコンピュータ上にあるオンプレミスのSAP GUIを管理して、最新のセキュリティパッチがすべて適用済みであることを確認する必要があります。そこで、AWS上でSAP環境を実行することができるように、AWS上でSAP GUIを実行することで、ユーザー体験をさらに向上させる方法があります。

Read More

SAP on AWS – 過去、現在、そして未来

私の多くのAWSの同僚がSAPPHIRE NOWの準備を進めていますが、AWSをSAP製品にとって最適な基盤とし、AWSをより良いものにするための計画を共有するためにも、これまでに実施してきたことを最新化する良い機会だと思いました。 これまでのストーリー 弊社のエンタープライズ顧客は、巨大なメモリ集約型のワークロードをAWSクラウドに持ち込みたいと思っています。特に、SAP HANAの大規模な本稼働環境の展開に重点を置いています。この重要な要件を満たすためにこれまで実施してきたことは以下のとおりです: 2016年5月 – クラウド上でSAP HANAを稼働する目的で構築された2TBメモリを搭載したx1.32xlargeインスタンスタイプを発表しました。 2016年8月 – 最大7ノード、つまり14TBメモリまでのスケールアウトクラスタのサポートとSAP認定を発表しました。 2016年10月 – テス​​ト用および小規模なSAP HANA展開に最適な、1TBのメモリを搭載したx1.16xlargeインスタンスタイプを発表し、両方のX1インスタンスのリージョンの利用可能範囲を拡大しました。 2017年5月 – 最大17ノード (34TBメモリ)の非常に大規模なスケールアウトのSAP HANAクラスタのSAPサポート、および4TBのメモリを搭載したx1e.32xlargeインスタンスタイプを発表しました。 2017年11月 – x1.32xlargeを最大25ノード (50TBメモリ)のさらに大規模なオンデマンドのSAP HANAクラスタのSAPサポートを発表しました。

Read More