Amazon Web Services ブログ

Category: Amazon Redshift

AQUA (Advanced Query Accelerator) – Amazon Redshift クエリをブースト

Amazon Redshift は、規模に関係なく、他のクラウドデータウェアハウスよりも最大 3 倍優れたコストパフォーマンスを提供します。これは、独自のハードウェアを設計し、機械学習 (ML) を使用することによって実現しています。 例えば、私たちは、2019 年の終わりに Amazon Redshift 向けの SSD ベースの RA3 をローンチしました (「Amazon Redshift Update – Next-Generation Compute Instances and Managed, Analytics-Optimized Storage」)。昨年 4 月 (「Amazon Redshift update – ra3.4xlarge Nodes」) と 12 月にノードサイズを追加しました (「Amazon Redshift Launches RA3.xlplus Nodes With Managed Storage」)。高帯域幅ネットワーキングに加えて、RA3 ノードには、洗練されたデータ管理モデルが組み込まれています。RA3 ノードのローンチでは、次のような記事を書きました。 各インスタンスには S3 でバックアップされた大容量の高性能 SSD ベースのストレージのキャッシュがあり、スケール、パフォーマンス、および耐久性を確保できます。ストレージシステムは、データブロックの温度、データのブロック、ワークロードパターンなどの複数のキューを使用して、キャッシュを管理して高性能を実現します。データは自動的に適切な階層に配置され、キャッシュやその他の最適化の恩恵を受けるために特別なことをする必要はありません。 多くのお客様が RA3 […]

Read More

大阪リージョンに2つのアップデート Amazon VPC Endpoints For Amazon EC2, Amazon Redshift Spectrum

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 大阪リージョンが3つのAZを伴うフルリージョンとしてラウンチしてから3週間が過ぎました。利用を開始したり、検討されている方も多いのではないでしょうか。3月2日のラウンチ後も機能拡張は続いておりますが、今日2つの機能がリリースされましたのでご報告いたします。 1.Amazon VPC Endpoints For Amazon EC2 2.Amazon Redshift Spectrum Amazon VPC Endpoints For Amazon EC2 AWS PrivateLinkは、サービス間のプライベート接続がVPCエンドポイント経由で可能となるサービスです。今回のアップデートにより、大阪リージョンにおいて、インターネットを経由せずにAmazon Virtual Private Cloud(Amazon VPC)内からAmazon EC2にアクセスできるようになりました。これにより、 インターネットゲートウェイやNATゲートウェイを必要とせずに、EC2 APIによりセキュアな接続方法が提供されます。PrivateLinkはAWS IAMをベースとした ロールベースのアクセス制御ポリシーを設定することが可能で、従来のIPアドレスやプロトコル、ポート番号ベースの制御より、より細かい権限設定が可能となります。オンプレミスからのアクセスは、AWS DirectConnect、別のVPCからのアクセスはVPC Peeringを使用してVPCエンドポイントにアクセスすることもできます。 詳しくはこちらをご覧下さい。 Amazon Redshift Spectrum Amazon Redshiftは最も高速で最も広く使用されているクラウドデータウェアハウスです。データウェアハウス、運用データベース、およびデータレイクにあるペタバイト規模の構造化データと半構造化データを、標準的な SQL を使用してクエリを実行することも可能です。さらに、Apache Parquet のようなオープンフォーマットでクエリの実行結果を Amazon S3に保存することも簡単です。 今回の大阪リージョンのアップデートでは、S3のデータに対して直接クエリを実行可能なRedshift Spectrumがサポートされ、AWSの各サービスに対して透過的なデータ処理を実現することが可能となりました。Parquet、ORC、JSON、CSVなどのオープンデータ形式をサポートし、構造体、配列、マップなどの複雑なデータ型を使用したネストされたデータのクエリもサポートしています。 詳しくはこちらをご覧ください。 さて、機能拡張が続く大阪リージョンですが、西日本のお客様だけではなく、地理的に離れた場所にシステムの災害対策拠点、バックアップ拠点を作りたいという要件をお持ちのお客様が東京リージョンに対するDR拠点などとして検討されているケースも増えてきています。 このセミナーでは、私の方より、1)社内システム、2) フロントエンドシステム、そして 3) DR拠点の3シナリオに分けて大阪リージョンと東京リージョンの使い分け検討指標についてご紹介を予定しています。もしよろしければご参加ください。 – シニアエバンジェリスト […]

Read More

[AWS Black Belt Online Seminar] Amazon Redshift Advanced Guide −最新ベストプラクティスとアップデート 資料及び QA 公開

先日 (2020/07/29) 開催しました AWS Black Belt Online Seminar「Amazon Redshift Advanced Guide −最新ベストプラクティスとアップデート」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200729 AWS Black Belt Online Seminar Amazon Redshift Advanced Guide −最新ベストプラクティスとアップデート AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. CTAS で、Parquet の外部テーブルを作成する際の質問です。利用イメージとして、データの全件洗替を上記でしたいのですが、S3 ファイルの上書きができないため、SQL 以外でS3ファイルを削除する必要がある認識です。Redsfhit で完結できないでしょうか。 A. データ全件洗い替えの方法はご認識いただいている通りとなります。現状 Redshift の CTAS での既存 S3 ファイルの上書きや、SQL 経由での S3 ファイルの削除をサポートしていないため、Redshift SQL のみでの完結は出来ません。 Q. Amazon DynamoDB (DDB) の 1 テーブルに複数 Entity […]

Read More

[AWS Black Belt Online Seminar] Next Generation Redshift 資料及び QA 公開

先日 (2020/02/18) 開催しました AWS Black Belt Online Seminar「Next Generation Redshift」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200218 AWS Black Belt Online Seminar Next Generation Redshift AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Concurrency Scalingの1日あたり1時間分の無料クレジットは繰越されるのでしょうか? A. はい、繰り越されます。クレジットはクラスターごとに最大30時間まで累積します。詳細はAmazon Redshift の料金 の「同時実行スケーリングの料金」をご参照ください。 Q. 無料アカウント(期間)にRA3をお試しする事可能ですか? A. いいえ、無料トライアルの2ヶ月間でお試しいただけるのはDC2.largeインスタンスタイプのみとなります。詳細は Amazon Redshift 無料トライアル をご参照ください。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 — AWSome Day Online Conference 「AWSome Day Online」は、実際に足を運んでいただく 1 […]

Read More

【開催報告】Amazon Analytics 事例祭り – データウェアハウスマイグレーション

こんにちは。アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクトの平間です。 9月24日に、「Amazon Analytics 事例祭り – データウェアハウスマイグレーション」を開催いたしました。今回は既存のデータウェアハウス(DWH)環境から、AWSの高速かつ完全マネージド型のDWHであるAmazon Redshiftへ移行されたお客様に、移行の決め手や移行後の効果について「本音」でお話ししていただきました。セミナーは前半がAWSソリューションアーキテクトからAWSのデータレイク及びアナリティクスサービスの概要と、DWHの移行をどのように検討すればよいかの方法をお話させていただき、後半はお客様より移行時の体験談をお話しいただいております。

Read More

[AWS Black Belt Online Seminar] Amazon Redshift Update 資料及び QA 公開

先日 (2018/1/22) 開催しました AWS Black Belt Online Seminar「Amazon Redshift Update」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190122 AWS Black Belt Online Seminar Amazon Redshift Update from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Redshiftアドバイザ実行中、Redhiftのパフォーマンスに影響を及ぼさないでしょうか? A. Redshiftアドバイザのための各種ログ収集は内部的にスケジューリングされて自動実行され、パフォーマンスに影響を及ぼさないように動作します Q. クエリエディタについて質問です。ds2.xlargeでも、将来的に使えるようになるのでしょうか? A. 将来的なことはご回答できませんが、お客様のRequestに答えられるよう活動してまいります​ 今後の AWS Webinar スケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております! AWS Black Belt Online Seminar 1月分申込先 ≫ AWS Black Belt Online Seminar 2月分申込先 ≫ 2019 年 1 […]

Read More

AWS DevDay Tokyo 2018 Database トラック資料公開

Database フリークな皆様、こんにちは!AWS DevDay Tokyo 2018 Database トラックオーナーの江川です。 2018 年 10 月 29 日(月)〜 11 月 2 日(金)にかけて、AWS DevDay Tokyo 2018 が開催されました。本記事では、11/1(木)に実施された Database トラックのセッション資料をご紹介します。 セッション資料紹介に先立ち、お客様セッションとしてご登壇いただいた、Sansan株式会社間瀬様、株式会社ソラコム安川様、Amazon Pay 吉村様にお礼申し上げます。併せて、ご参加いただいた皆様、ストリーミング配信をご覧いただいた皆様ありがとうございました。   ●お客様セッション資料 AWSサービスで実現するEightの行動ログ活用基盤(Sansan株式会社 間瀬哲也様) AWSサービスで実現するEightの行動ログ活用基盤 from Tetsuya Mase DynamoDB Backed なテレコムコアシステムを構築・運用してる話(株式会社ソラコム 安川 健太様) AWS Dev Day Tokyo 2018 | Amazon DynamoDB Backed な テレコムコアシステムを構築・運用してる話 from SORACOM,INC DynamoDBとAmazon Pay で実現するキャッシュレス社会 […]

Read More

【開催報告】AWS Data Lake ハンズオンセミナー 秋

こんにちは。AWS ソリューションアーキテクトの上原誠(@pioh07)です。 9月21日に、「AWS Data Lake ハンズオンセミナー」を開催いたしました。前回行ったワークショップの3回目となります。前回も盛況でしたが、今回も80名近くのお客様にご参加頂きました。 はじめに、AWSにおけるデータ活用のベストプラクティスであるAmazon S3を中心とした Data Lakeについて解説し、ビッグデータ分析基盤の考え方として有名なラムダアーキテクチャの解説を行いました。 当イベントでは、AthenaやRedshiftのAWSサービスを駆使して実際にラムダアーキテクチャを構築してみる、というのがゴールです。とはいえすべてを構築し切るのはボリュームが大きいため、コース別に取り組めるようにハンズオンコンテンツを用意しました。最初にコースの説明を行い、出席いただいたお客様ご自身の課題に合わせてコースを選択頂き、ハンズオンを行っていただきました。今回、参加者も多くいらっしゃいましたので、サポートするソリューションアーキテクトも4名で対応させていただきました。 今回参加できなかった方も、ソリューションアーキテクトのサポートを受けながらハンズオンを行いログ分析を初めてみてはいかがでしょうか?   次回は冬ごろに開催予定です。ご参加お待ちしております。

Read More

【開催報告】Digital Advertising Japan Seminar 2018 – Machine Learning 事例祭り –

こんにちは。AWS ソリューションアーキテクトの八木達也 ( @ygtxxxx ) です。 7月23日に、「Digital Advertising Japan Seminar 2018 – Machine Learning 事例祭り –」を開催いたしました。 AWSジャパン主催でデジタル広告業界の方向けのイベントを開催するのは2年ぶりでしたが、定員60人のところ55名の方にお集まりいただき、盛況となりました。             このイベントは「Digital Advertising、AdTech 領域における Machine Learningの実践知」を「互いに学び合う」ことができる場を作ることを目標としていたため、AWSメンバーによるプレゼンテーションだけではなく、お客様プレゼンテーションを中心としたAGENDAを構成しました。機会学習という領域における、テクノロジー視点でのお取組み、組織育成視点でのお取組み、それぞれの視点で最先端な活動をなさる方々よりご登壇を頂きました。 まずは主催者の唐木/八木よりオープニングセッションを行いました。 唐木より全体の説明を行い、八木より「Machine Learning for Digital Advertising」というタイトルでプレゼンテーションを行いました。 Machine Learning for Digital Advertising from Amazon Web Services Japan 次に、アナリティクス スペシャリスト ソリューションアーキテクトの志村より「AWS ML Services Update」というタイトルでプレゼンテーションを行いました。 AWS ML Update from Amazon […]

Read More

[AWS Black Belt Online Seminar] データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 資料及び QA 公開

こんにちは、マーケティングの鬼形です。 先日 (2018/6/19) 開催しました AWS Black Belt Online Seminar「データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180619 AWS Black Belt Online Seminar データレイク入門: AWSで様々な規模のデータレイクを分析する効率的な方法 from Amazon Web Services Japan PDF Q. RDSからGlueでData Catalogを作成する際、負荷などかかるのでしょうか?分析用にユーザ操作から切り離したほうが良いのか?気にしなくて良いのかを知りたいです。 A. RDS をクロールする際、スキーマ取得のため Connection を使用します。瞬間的な処理にはなりますが、Connection が使用される点に留意いただき、検証の実施と実行タイミングの検討をお願いいたします。 Q. ベストプラクティス 2/5, 3/5 で説明されていた Parquetを使用した場合のメトリクスはRedshift Spectrum ではなく、Athenaを使用している場合に同様の情報を知ることは可能でしょうか。 A. Athena では同様の情報を確認いただくことができません。 以上です。 今後の AWS Black Belt Online Seminar のスケジュール 直近で以下のオンラインセミナーを予定しています。各オンラインセミナーの詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております! […]

Read More