发布于: Nov 21, 2022
AWS Glue 爬网程序现已支持 Snowflake，可让您更轻松地了解 Snowflake 模式的更新并从中提取有意义的见解。
为了爬取 Snowflake 数据库，客户可以使用 AWS Secret Manager 中的凭证信息创建和调度带有 JDBC URL 的 Glue 爬网程序。您可以通过配置选项指定是否希望爬网程序爬取整个数据库，或通过包含模式/表路径和排除模式来限制表，以减少爬取时间。每次运行爬网程序时，爬网程序都会对信息进行检查和编目，例如更新或删除 AWS Glue Data Catalog 中的 Snowflake 表、外部表、视图和实体化视图。对于具有非 Hive 兼容类型（如地域或几何）的 Snowflake 列，爬网程序将提取该信息作为原始数据类型，并使其在 Data Catalog 中可用。