亚马逊AWS官方博客

Category: AWS Big Data

EMR与外部KDC集成进行身份认证

安全始终是亚马逊云科技的头号工作,也是Aamzon EMR这项托管Hadoop服务的首要原则。很多客户越来越意识到安全的重要性,尤其数据安全的重要性,在客户进行全球化业务扩展的时候,面对各国家区域的合规要求,更多采用Kerberos在EMR上进行身份验证。但是很多hadoop用户第一次尝试集成EMR和Kerberos时,尤其面对安全审计部门要求而初次使用EMR与外部Kerberos进行集成时,往往由于对Kerberos本身不熟悉,对EMR不熟悉,导致配置错误而无法集成,本文提供了步骤指南,帮助用户在亚马逊云上从头构建的关键步骤包括,创建Kerberos并集成EMR和LDAP。

Read More

Amazon Glue ETL作业调度工具选型初探

Amazon Glue是一项完全托管,无服务器架构的ETL服务。客户无需预置基础设置,只需要专注开发ETL代码,并且使用Amazon Glue时,只需为ETL作业运行时间付费。 在迁移现有ETL任务到Glue的过程中,有可能面临编排选型的问题。本文就编排选型,如何实现自动化迁移工作流,减少开发人员适配工作上做一定的探索。

Read More

Amazon Redshift Spectrum – EB 级的 S3 数据就地查询

Amazon Redshift 允许 AWS 客户构建 PB 级的数据仓库,使来自各种内部和外部源的数据得以整合。由于 Redshift 针对大型表上的复杂查询(通常涉及多个join)进行了优化,因此它可以毫不费力地处理大量零售、库存和财务数据。加载数据后,我们的客户可以使用由 Redshift 合作伙伴提供的大量企业报告和商业智能工具。

Read More

使用 Amazon Athena 的联合查询和由用户定义的函数简化 ETL 数据管道

Amazon Athena 最近在预览版中增加了对联合查询及由用户定义的函数 (UDF) 的支持。请参阅使用 Amazon Athena 的全新联合查询对任何数据源进行查询,以了解更多详细信息。Jornaya 帮助营销人员智能的与市场中购买大型生活用品(如房屋、抵押贷款、汽车、保险和教育等)的消费者建立联结。

Read More