亚马逊AWS官方博客

Category: AWS Big Data

AWS EMR HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案

本文介绍的演练操作源于某真实案例，用户有一个 80 TB 的 HBase 数据库，其中有一张超大表，数据量约为 50 TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。 本文将讨论并演示：将一个 50 TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上，过程中会给出详细的步骤说明和操作脚本。

在多主节点的 Amazon EMR 集群中实现用户身份认证与细粒度访问控制（二）Yarn 队列控制与 HBase Simple 认证

目前随着用户越来越重视数据的安全合规，当基于 Amazon EMR 做为最重要的组件之一来构建数据湖时，如何对 Amazon EMR 的数据访问控制是非常重要的。本博客提供的解决方案提供一个全面的 Amazon EMR 数据访问控制和权限管理框架，帮助有数据细粒度权限管控要求的 Amazon EMR 用户，实现多种组件的身份认证以及数据访问控制。

在多主节点的 Amazon EMR 集群中实现用户身份认证与细粒度访问控制（一）Open LDAP 身份认证与基于 Hive MetaStore 的访问控制

目前随着用户越来越重视数据的安全合规，当基于 Amazon EMR 做为最重要的组件之一来构建数据湖时，如何对 Amazon EMR 的数据访问控制是非常重要的。本博客提供的解决方案提供一个全面的 Amazon EMR 数据访问控制和权限管理框架，帮助有数据细粒度权限管控要求的 Amazon EMR 用户，实现多种组件的身份认证以及数据访问控制。

Stable Diffusion Quick Kit 动手实践 – 在 SageMaker Training Job 上进行 SDXL Dreambooth 训练并推理

本文是 Stable Diffusion Quick Kit 系列博客的一部分，介绍如何在 SageMaker Training Job 中加载进行 Stable Diffusion XL（以下简称SDXL）的 Dreambooth 微调训练，及训练完成后使用 Stable Diffusion WebUI 开源框架进行模型部署和即时推理，实现训推一体的整体 pipeline 及业务流程。

Amazon MSK 基于 S3 的数据导出、导入、备份、还原、迁移方案

Amazon MSK 集群的数据导出、导入、备份、还原多采用 Kafka MirrorMaker，但是，在某些场景中，受环境限制，两个于 Kafka 集群之间的网络可能无法连通，或者两个 AWS 账号相互隔离，亦或是需要将 Kafka 的数据沉淀为文件存储以备他用。此时，基于 Kafka Connect S3 Source / Sink Connector 的方案会是一种较为合适的选择，本文就将介绍一下这一方案的具体实现。

利用 Amazon MSK，Amazon Redshift 和 Amazon Quicksight 搭建简易实时数仓

很多客户有快速搭建简易实时数仓的需求，例如内控审计平台，希望从公司各业务线实时收集要监控的数据，并不需要复杂的 ETL 处理，而进到数仓后，希望既支持近实时的多维度查询，又支持后续的离线分析。那么，利用 Amazon MSK, Amazon Redshift 和 Amazon Quicksight 搭建简易实时数仓，是一个很好的选择，能实现项目的快速落地。

解决方案：如何在 Amazon EMR Serverless 上执行纯 SQL 文件？

长久已来，SQL 以其简单易用、开发效率高等优势一直是 ETL 的首选编程语言，但遗憾的是，Amazon EMR Serverless 未能针对执行 SQL 文件提供原生支持，这对于倚重纯 SQL 开发数仓或数据湖的用户来说并不友好。为此，我们专门开发了一组工具类，借助这组工具类，用户可以在 Amazon EMR Serverless 上直接执行 SQL 文件。

← Older posts
Newer posts →