Category: Analytics

Amazon EMR帮助Drop公司充分发挥数据资产的力量，据此做出更明智的产品与业务决策。我们使用Amazon EMR功能改善数据处理管道的整体性能与成本效率，借此获得了巨大的商业成功，这又反过来敦促我们持续探索管道改进的新方法。最终，我们意识到只有与最新AWS技术以及Amazon EMR功能保持同步，才能不断将业务系统的运营效率提升至新的高点。

本文介绍了与原有Amazon EMR 5.29版本相比，在Amazon EMR 6.0.0上运行Hive所带来的性能改进。性能的显著提升有助于减少查询运行时间与执行成本。此外，我们还了解到如何将Hive LLAP与Amazon EMR 6.0.0配合使用、如何进行具体配置、如何使用LLAP监控器查看状态与指标，以及如何通过启用Hive LLAP实现进一步性能提升。未来我们还将发布关于更多新功能的更新内容与在Amazon EMR上运行Apache Hive的后续改进消息，敬请期待！

在Wind Mobility公司，我们一直将数据视为运营体系的最前沿。为此，我们需要保证数据基础设施拥有充分的灵活性，能够切实满足行业中不断变化的实际需求——这也是我们选择无服务器架构的根本原因。过去一年以来，我们构建起一套数据湖、一套数据仓库、一款商务智能套件以及多种生产级数据科学应用程序。所有这一切，都出自一支小型技术团队之手。

Spark是一套分布式计算框架，通过PyArrow实现了Pandas UDF等多项新功能。我们可以使用Spark的分布式与高级机器学习模型生命周期功能构建起具有大批量生产模型的规模化产品。

本文向大家介绍了如何使用Amazon AppFlow将Google Analytics数据传输至Amazon S3，并使用Amazon Athena对数据进行分析。利用这套架构，大家无需自主构建专门面向Google Analytics或者其他SaaS应用的数据提取应用程序。Amazon AppFlow使您能够一次性建立起全自动数据传输与转换工作流，以及与之配套的集成查询环境。

在加入AWS之前，我曾领导过一支开发团队，负责使用Elasticsearch构建移动广告解决方案。Elasticsearch是一款高人气开源搜索与分析引擎，适用于日志分析、实时应用程序监控、点击流分析以及搜索等多种场景。我负责的这套平台在推动公司业务中，发挥着至关重要的作用。

本文展示了两种控制用户及组对外部schema及表执行访问的方法。在使用Grant usage语句的第一种方法当中，无论表指向哪一条Amazon S3数据湖路径，被授权的组都可以访问schema中的所有表。这种方法灵活性更强，可以轻松实现访问授权，但无法允许或拒绝访问该schema中的某一或某些特定表。

AWS Glue 是一项完全托管的提取、转换和加载 (ETL) 服务，可让客户更轻松地准备和加载数据以进行分析。Glue 是一项“无服务器”服务，您无需预置或管理任何资源，并且只需在 Glue 有效运行时为资源付费。

本文还向大家展示了如何轻松在Amazon Redshift schema当中控制存储配额。我们不仅完成了schema之上创建并变更配额，同时授权特定用户使用该schema的操作步骤，同时也探讨了如何将数据导入schema并通过系统视图在多种用例下监控事务结果及磁盘使用量。通过这项强大的功能，相信大家能够通过Amazon Redshift切实满足各类业务需求。

本文探讨了EMR Managed Scaling功能，它可以自动调整集群大小，借此以最低成本实现最佳性能。