亚马逊AWS官方博客

Category: Analytics

如何使用 Apache Spark 与 Amazon EMR 改善 FRTB 的内部模型方法实现

随着金融机构积极拥抱FRTB,AWS提供的定性式解决方案将帮助更多组织满足愈发严苛的业务需求。凭借着AWS出色的弹性与速度表现,金融机构可以更快地响应新的、更复杂的法规要求。我们参考实例展示了金融机构如何实际使用AWS计算、存储以及其他服务资源。

Read More

Drop 如何使用 Amazon EMR for Spark 实现成本减半,并将处理速度提升5.4倍

Amazon EMR帮助Drop公司充分发挥数据资产的力量,据此做出更明智的产品与业务决策。我们使用Amazon EMR功能改善数据处理管道的整体性能与成本效率,借此获得了巨大的商业成功,这又反过来敦促我们持续探索管道改进的新方法。最终,我们意识到只有与最新AWS技术以及Amazon EMR功能保持同步,才能不断将业务系统的运营效率提升至新的高点。

Read More

在 EMR 6.0.0 上利用 Hive LLAP 实现 Apache Hive 性能倍增

本文介绍了与原有Amazon EMR 5.29版本相比,在Amazon EMR 6.0.0上运行Hive所带来的性能改进。性能的显著提升有助于减少查询运行时间与执行成本。此外,我们还了解到如何将Hive LLAP与Amazon EMR 6.0.0配合使用、如何进行具体配置、如何使用LLAP监控器查看状态与指标,以及如何通过启用Hive LLAP实现进一步性能提升。未来我们还将发布关于更多新功能的更新内容与在Amazon EMR上运行Apache Hive的后续改进消息,敬请期待!

Read More

Wind Mobility 公司如何构建无服务器数据架构

在Wind Mobility公司,我们一直将数据视为运营体系的最前沿。为此,我们需要保证数据基础设施拥有充分的灵活性,能够切实满足行业中不断变化的实际需求——这也是我们选择无服务器架构的根本原因。过去一年以来,我们构建起一套数据湖、一套数据仓库、一款商务智能套件以及多种生产级数据科学应用程序。所有这一切,都出自一支小型技术团队之手。

Read More

使用 Amazon AppFlow 与 Amazon Athena 分析 Google Analytics 数据

本文向大家介绍了如何使用Amazon AppFlow将Google Analytics数据传输至Amazon S3,并使用Amazon Athena对数据进行分析。利用这套架构,大家无需自主构建专门面向Google Analytics或者其他SaaS应用的数据提取应用程序。Amazon AppFlow使您能够一次性建立起全自动数据传输与转换工作流,以及与之配套的集成查询环境。

Read More

使用角色链限制 Amazon Redshift IAM 角色和组对 Amazon Redshift Spectrum 外部表访问

本文展示了两种控制用户及组对外部schema及表执行访问的方法。在使用Grant usage语句的第一种方法当中,无论表指向哪一条Amazon S3数据湖路径,被授权的组都可以访问schema中的所有表。这种方法灵活性更强,可以轻松实现访问授权,但无法允许或拒绝访问该schema中的某一或某些特定表。

Read More