亚马逊AWS官方博客

Category: Database

居安思危 – Amazon Aurora 故障恢复之降低DNS切换对应用影响篇

在提升单计算节点故障恢复的速度以外,Aurora在写节点发生故障时,会通过failover的机制提升集群中的一个读节点来作为新的主节点对外提供服务,再去同步地恢复故障的主节点。通过使用健康的读节点进行替换,能够进一步提升Aurora集群的可用性,进而使对应用程序的影响在30到60秒左右。那么,是否还能进一步降低节点切换对应用程序的影响呢?本篇博客会从这个角度进行相应探讨,涵盖故障切换的过程、花费时间的分析排查以及减少对应用程序影响的几种方案。

Read More

推荐系统系列之推荐系统召回阶段的深入探讨

在当今信息化高速发展的时代,推荐系统是一个热门的话题和技术领域,一些云厂商也提供了推荐系统的SaaS服务比如亚马逊云科技的Amazon Personalize来解决客户从无到有迅速构建推荐系统的痛点和难点。在我们的日常生活中,推荐系统随处可见,我根据这几年参与的推荐系统和计算广告项目总结了一些实践经验并以推荐系统系列文章的形式分享给大家,希望大家看后对推荐系统有更全新更深刻的理解。

Read More

使用Athena (Presto) 分析本地 Oracle 数据库导出的数据

在企业环境下,混合云架构是一种常见的架构,理想环境下摄取本地Oracle数据库的数据是通过Apache Sqoop或DMS使用网络专线将数据迁移到s3存储桶,进行数据分析。但受本地条件限制,很多用户是用Oracle Datapump或者Exp/Imp将数据导出后,再将本地数据传输到s3存储桶。本文通过阐述使用上述两种不同的工具,介绍如何将数据导入s3存储桶,使用Athena做数据分析。

Read More

在 Amazon Athena 中使用 EXPLAIN 和 EXPLAIN ANALYZE 优化联合查询性能

Amazon Athena 是一种交互式查询服务,可使用标准 SQL 轻松分析 Amazon Simple Storage Service(Amazon S3)中的数据。Athena 是一种无服务器服务,因此您无需管理任何基础设施,而且只需为所运行的查询付费。2019 年,Athena 增加了对联合查询的支持,以便跨存储在关系、非关系、对象和自定义数据来源中的数据运行 SQL 查询。

Read More

推荐系统系列之推荐系统概览(下)

在当今信息化高速发展的时代,推荐系统是一个热门的话题和技术领域,一些云厂商也提供了推荐系统的SaaS服务比如亚马逊云科技的Amazon Personalize来解决客户从无到有迅速构建推荐系统的痛点和难点。在我们的日常生活中,推荐系统随处可见,我根据这几年参与的推荐系统和计算广告项目总结了一些实践经验并以推荐系统系列文章的形式分享给大家,希望大家看后对推荐系统有更全新更深刻的理解。

Read More

利用DynamoDB和S3结合gzip压缩,最大化存储玩家数据

本文主要讲述在游戏场景下,根据DynamoDB的限制),在限制下尽可能存储更多的数据和当存储量超出限制时,扩展存储的最大化利用空间。重点描述如何利用DynamoDB+S3保存玩家存档中的大数据量属性,避免数据存在S3上后,在数据写入S3的时发生脏读的情况。同时利用gzip压缩减少数据大小,减少IO的开销提升性能。

Read More