Category: AWS Big Data

安全始终是亚马逊云科技的头号工作，也是Aamzon EMR这项托管Hadoop服务的首要原则。很多客户越来越意识到安全的重要性，尤其数据安全的重要性，在客户进行全球化业务扩展的时候，面对各国家区域的合规要求，更多采用Kerberos在EMR上进行身份验证。但是很多hadoop用户第一次尝试集成EMR和Kerberos时，尤其面对安全审计部门要求而初次使用EMR与外部Kerberos进行集成时，往往由于对Kerberos本身不熟悉，对EMR不熟悉，导致配置错误而无法集成，本文提供了步骤指南，帮助用户在亚马逊云上从头构建的关键步骤包括，创建Kerberos并集成EMR和LDAP。

Atlas 是一套可伸缩且可扩展的数据治理服务，使企业能够有效和高效地满足其在 Hadoop 生态中的合规要求，并允许与整个企业数据生态系统集成。

基于rclone构建Cross Border Data Transfer服务，简化Cross Border Data Transfer任务管理。

Amazon Glue是一项完全托管，无服务器架构的ETL服务。客户无需预置基础设置，只需要专注开发ETL代码，并且使用Amazon Glue时，只需为ETL作业运行时间付费。 在迁移现有ETL任务到Glue的过程中，有可能面临编排选型的问题。本文就编排选型，如何实现自动化迁移工作流，减少开发人员适配工作上做一定的探索。

本文中介绍了如何通过SQL脚本的方式来对一张Redshift表中的varchar数据列进行优化。

这是一篇使用 JuiceFS 作为 Amazon EMR 存储后端的快速入门文章，JuiceFS 是一个专门为在云端工作而设计的 POSIX 兼容的共享文件系统并且兼容 HDFS。JuiceFS 与自建的 HDFS 相比，可以节省 50% ~ 70% 的成本，同时达到与自建 HDFS接近的性能。

Amazon Redshift 允许 AWS 客户构建 PB 级的数据仓库，使来自各种内部和外部源的数据得以整合。由于 Redshift 针对大型表上的复杂查询（通常涉及多个join）进行了优化，因此它可以毫不费力地处理大量零售、库存和财务数据。加载数据后，我们的客户可以使用由 Redshift 合作伙伴提供的大量企业报告和商业智能工具。

本篇博客会带您一步一步地在AWS上部署Apache Superset并在Superset上创建一个展示新冠肺炎情况的Dashboard（示例如下）。新冠肺炎数据存储于Amazon S3上并通过Amazon Athena来直接查询。

Amazon Athena 最近在预览版中增加了对联合查询及由用户定义的函数 (UDF) 的支持。请参阅使用 Amazon Athena 的全新联合查询对任何数据源进行查询，以了解更多详细信息。Jornaya 帮助营销人员智能的与市场中购买大型生活用品（如房屋、抵押贷款、汽车、保险和教育等）的消费者建立联结。

我们将讨论在较高层面构建 Intuit 数据湖所包含的技术和过程，包括设置账户和资源所使用的整体结构与自动化等。请关注我们这个空间的未来动态，阅读由其他合作构建 Intuit 数据湖的团队和工程师发布的关于该系统特定方面的更详细博文。