投稿日: Oct 6, 2021
Amazon EMR と Apache Ranger の統合を使用する場合に、Apache Hive メタデータテーブルを更新するために Apache Spark SQL を使用することについてのサポートを発表します。
今年 1 月、Amazon EMR と Apache Ranger の統合の提供を開始しました。これは、Apache Spark ユーザーが Hive Metastore を通じて Amazon S3 にあるデータにアクセスするときに、データベース、テーブル、および列レベルの許可を定義および適用できる機能です。これまでは、Apache Ranger が有効である場合には、SHOW DATABASES や DESCRIBE TABLE などの Spark SQL ステートメントを使用してのみデータを読み取ることができるように制限されていました。今後は、INSERT INTO、INSERT OVERWRITE、および ALTER TABLE のステートメントを使用して、Apache Hive メタデータテーブルにデータを挿入したり、Apache Hive メタデータテーブルを更新したりすることもできます。
この機能は、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (北カリフォルニア)、米国西部 (オレゴン)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (パリ)、欧州 (ミラノ)、欧州 (ストックホルム)、カナダ (中部)、アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (香港)、アジアパシフィック (東京)、アジアパシフィック (シドニー)、南米 (サンパウロ)、中東 (バーレーン)、およびアフリカ (ケープタウン) といった AWS リージョンの Amazon EMR 6.4 でご利用いただけます。
使用を開始するには、次のリソースのリストを参照してください:·
AWS ビッグデータのブログの投稿:
- Authorize SparkSQL data manipulation on Amazon EMR using Apache Ranger
- Introducing Amazon EMR integration with Apache Ranger
Amazon EMR マネジメントガイド: