亚马逊AWS官方博客

Tag: AWS 大数据

使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能

经 EMRFS S3 优化的提交程序是一款新的输出提交程序，可用于 Amazon EMR 5.19.0 及更高版本的 Apache Spark 作业。此提交程序使用 EMR File System (EMRFS) 可提高将 Apache Parquet 文件写入 Amazon S3 时的性能。在本文中，我们将运行性能基准测试，将此经优化的新提交程序算法与现有提交程序算法（即 FileOutputCommitter 算法版本 1 和 2）进行比较。最后，我们会讨论新提交程序的当前限制，并在可能的情况下提供解决方法。

在 Amazon EMR 上使用 S3DistCp 在 HDFS 和 Amazon S3 之间高效迁移数据的七个技巧

对于 Amazon EMR 客户来说，尽管在 Amazon S3 中直接处理数据早已稀松平常，但有时您可能需要将数据从 S3 复制到 Amazon EMR 集群上的 Hadoop 分布式文件系统 (HDFS) 中。此外，您的某个使用案例还可能需要在存储桶或区域之间迁移大量数据。在这类使用案例中，简单的复制操作对大型数据集来说显然不适用。Amazon EMR 可以提供这方面的帮助。它提供了一个实用程序 S3distCp，用以帮助将数据从 S3 迁移到其他 S3 位置或集群上的 HDFS。

Annalect 如何使用 Amazon Redshift 构建事件日志数据分析解决方案

在本文中，我们将介绍如何在 AWS 上构建一个解决方案，以管理、增强和分析来自我们广告技术合作伙伴的事件日志数据。我们使用 Amazon S3 作为存储，使用 Amazon EC2 和 AWS Batch 进行计算，使用AWS Glue Data Catalog、Amazon Redshift 以及 Amazon Redshift Spectrum 进行分析。该架构高度可扩展、按需分配底层基础设施，被证明是面向我们数据分析用户的高性能、高性价比的解决方案。

Narrativ 使用 Amazon Redshift 帮助创建者货币化其数字化内容

在 Narrativ，我们已看到在过去 15 个月内，平台使用量产生巨大增长，而我们的产品所产生的数据也发生类似数量级的增长。此博文分享了我们使用 AWS 发展成为稳固、可扩展、高性能且具有成本效益的分析环境的内容，我们还讨论了一路来从数据仓库和数据湖分析中学习到的最佳实践。

使用 Amazon QuickSight ML Insights 检测欺诈性呼叫

欺诈者不断寻找新的技术和设计新的伎俩。这改变了欺诈方式使检测变得困难。企业通常使用基于规则的欺诈检测系统来应对。然而，一旦欺诈者意识到他们当前的伎俩或工具被识别出，他们很快就会找到破解方法。此外，在面临大量数据时，基于规则的检测系统往往会因为大量的数据显得吃力并且速度会下降。这使得难以检测欺诈行为并迅速采取行动，从而导致收入损失。

使用 Apache Flink 和 Amazon Kinesis Data Analytics for Java 应用程序构建和运行流应用程序

流处理有助于实时数据的收集、处理和分析，并能够持续生成见解和快速响应新出现的情况。当派生见解的值随时间减少时，此功能非常有用。因此，您对检测到的情况反应越快，反应就越有价值。例如，考虑一个可以在欺诈性信用卡交易发生时对其进行分析和阻止的流应用程序。将该应用程序与传统的面向批处理的方法相比较，该方法在每个工作日结束时识别欺诈性交易，并生成一份供您在次日早上读取的全面报告。

← Older posts
Newer posts →