Category: AWS Big Data

前言
关于Spark和Amazon EMR
正文
数据集
启动EMR Spark集群
PySpark编程和调试
使用Spark SQL API和DataFrame编写报表任务
使用EMR步骤功能提交PySpark任务
创建EMR一次性集群运行PySpark任务
对并表后的数据进行查询
结语

Amazon 始终以满足客户需求为工作重点。客户强烈要求希望能在 Amazon Redshift 中使用存储过程，以便更轻松地从原有的本地数据仓库迁移现有工作负载

我们看到越来越多的用户，越来越关注数据的时效性，以流处理为起点开始设计他们的大数据平台，比如说数据采集时，不再是周期性的用SQL进行批量查询，而是实时采集系统日志或者数据库 WAL（Write-Ahead Logging）这些变更信息。

在本文中，我将展示如何使用 AWS Step Functions 和 AWS Glue Python Shell 以完全无服务器的方式为那些基于Amazon Redshift 的 ETL 工作流编排任务。AWS Glue Python Shell 是一个 Python 运行时环境，用于运行中小型 ETL 任务，例如提交 SQL 查询和等待响应。Step Functions 可让您将多个 AWS 服务协调到工作流中，从而可以轻松运行和监视一系列 ETL 任务。AWS Glue Python Shell 和 Step Functions 均无服务器，允许自动运行和扩展它们以响应定义的事件，而无需配置、扩展和管理服务器。

这篇文章重点介绍了 Amazon Redshift 的主动安全性，尤其是 DataSunrise 对个人身份信息 (PII) 的屏蔽和访问控制功能，您可以使用 DataSunrise 的被动安全性产品（如敏感信息访问审计）来支持这些功能。文章还讨论了 Amazon Redshift 的 DataSunrise 安全性、工作原理以及如何使用。

这篇文章讨论了如何使用新控制台创建第一个集群，以及如何在您的 AWS 帐户中管理和监控集群。

在本文中，我们将说明此客户如何在不需要停机的情况下将大型数据仓库从 IBM Netezza 迁移到 Amazon Redshift，然后再说明如何遵照计划充分的迁移过程及利用 AWS Schema Conversion Tool (SCT) 和 Amazon Redshift 最佳实践。

AWS最近发布了 Amazon Elasticsearch Service 与 Amazon Cognito 集成的服务，现在企业用户在使用 Kibana访问 Amazon Elasticsearch Service时，可以使用企业目录凭证来进行联合身份认证

此博文显示了如何使用 Amazon S3 中的示例数据集设置跨账户 Amazon Redshift COPY 和 Spectrum 查询的逐步演练。示例数据集使用 AWS KMS 托管的密钥 (SSE-KMS) 进行静态加密。

在本博文中，我将介绍如何在 AWS 账户中自动部署 Amazon Redshift 集群。有关安全性和高可用性的 AWS 最佳实践有助于集群配置，并且您可以使用 AWS CloudFormation 快速创建集群。 我将向您介绍一组 CloudFormation 示例模板，您可以根据需要对其进行自定义。