亚马逊AWS官方博客

AWS Localization

Author: AWS Localization

使用 AWS Glue 对非原生 JDBC 数据源运行 ETL 作业

AWS Glue 是一项完全托管的ETL(提取、转换和加载) 服务，可以帮助您更轻松地准备和加载数据以进行分析。在 AWS 管理控制台上，简单点击几下，就可以创建和运行 ETL 作业。只需要将 AWS Glue 指向您的数据源，AWS Glue 就可以发现您的数据，并将相关的元数据（例如，表定义和结构）存储在 AWS Glue的数据目录中。

使用 Performance Insights 优化 Amazon RDS for MySQL

Amazon RDS Performance Insights为 Amazon RDS 提供了一个直观的调优界面，可帮助您发现和调查 RDS 数据库的性能问题。对于所有数据库引擎类型（例如 RDS for MySQL、RDS for PostgreSQL 和 Amazon Aurora）而言， Performance Insights 的外观和感觉都相同。当然每种引擎的实现又略有不同

使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能

经 EMRFS S3 优化的提交程序是一款新的输出提交程序，可用于 Amazon EMR 5.19.0 及更高版本的 Apache Spark 作业。此提交程序使用 EMR File System (EMRFS) 可提高将 Apache Parquet 文件写入 Amazon S3 时的性能。在本文中，我们将运行性能基准测试，将此经优化的新提交程序算法与现有提交程序算法（即 FileOutputCommitter 算法版本 1 和 2）进行比较。最后，我们会讨论新提交程序的当前限制，并在可能的情况下提供解决方法。

在 Amazon EMR 上使用 S3DistCp 在 HDFS 和 Amazon S3 之间高效迁移数据的七个技巧

对于 Amazon EMR 客户来说，尽管在 Amazon S3 中直接处理数据早已稀松平常，但有时您可能需要将数据从 S3 复制到 Amazon EMR 集群上的 Hadoop 分布式文件系统 (HDFS) 中。此外，您的某个使用案例还可能需要在存储桶或区域之间迁移大量数据。在这类使用案例中，简单的复制操作对大型数据集来说显然不适用。Amazon EMR 可以提供这方面的帮助。它提供了一个实用程序 S3distCp，用以帮助将数据从 S3 迁移到其他 S3 位置或集群上的 HDFS。

Annalect 如何使用 Amazon Redshift 构建事件日志数据分析解决方案

在本文中，我们将介绍如何在 AWS 上构建一个解决方案，以管理、增强和分析来自我们广告技术合作伙伴的事件日志数据。我们使用 Amazon S3 作为存储，使用 Amazon EC2 和 AWS Batch 进行计算，使用AWS Glue Data Catalog、Amazon Redshift 以及 Amazon Redshift Spectrum 进行分析。该架构高度可扩展、按需分配底层基础设施，被证明是面向我们数据分析用户的高性能、高性价比的解决方案。

← Older posts
Newer posts →