亚马逊AWS官方博客
Tag: Amazon Redshift
在亚马逊云科技上构建智能湖仓
但随着系统中数据规模的持续增长,数据移动也变得越来越困难。为了解决这一挑战、进而从数据中获取最大收益,亚马逊云科技提出了Lake House“智能湖仓”方案。
Redshift表设计优化 – 优化已有数据表中的列大小
本文中介绍了如何通过SQL脚本的方式来对一张Redshift表中的varchar数据列进行优化。
使用 Amazon Kinesis 和 Amazon EMR 构建数据批处理分析架构
使用Amazon Kinesis和Amazon EMR构建数据批处理分析架构,并和流式处理汇总到Redshift做集中数仓查询.
使用 Amazon Neptune 与 Amazon Redshift 构建客户 360 度知识库
大家可以使用Neptune为客户360度解决方案建立企业知识库,并将这套解决方案与不同数据源关联起来,据此建立各类客户状态看板、增强分析方案、在线推荐引擎乃至组群趋势分析等。
配置和优化 Amazon Athena 联合 Amazon Redshift 查询性能
在本文中,我们探讨了如何使用Lambda配置并使用Athena联合AmazonRedshift功能。现在,您无需等待从Amazon Redshift数据仓库到Amazon S3的数据转移流程,也不再需要负担查询的日常维护工作。
Cookpad 如何在扩展 Amazon Redshift 集群规模的同时,通过限制资源用量有效控制成本
Amazon Redshift已经成为Cookpad公司为员工提供自助服务分析的关键基础。正如前文所述,我们使用AWS提供的种种新功能对集群容量进行了扩展,且全程未添加任何节点。
使用 Amazon Redshift 通过配额机制监控及控制 schema 存储空间
本文还向大家展示了如何轻松在Amazon Redshift schema当中控制存储配额。我们不仅完成了schema之上创建并变更配额,同时授权特定用户使用该schema的操作步骤,同时也探讨了如何将数据导入schema并通过系统视图在多种用例下监控事务结果及磁盘使用量。通过这项强大的功能,相信大家能够通过Amazon Redshift切实满足各类业务需求。
关于 Amazon ElastiCache for Amazon RDS、Amazon Aurora 以及 Amazon Redshift 中的自动查询缓存机制
传统的缓存系统构建方式往往非常复杂,而且需要占用大量资源。Heimdall Data能够自动对SQL结果进行缓存处理,且无需变更应用程序本体,从而大大降低运营负担。从实际用例来看,用户的常规缓存命中率可达90%、响应性能提高达20倍,且每年可节约长达数月的软件开发与管理时长。现在,您可直接在AWS Marketplace上下载Heimdall的免费试用版本。
在生产中结合使用 Amazon Redshift Spectrum、Amazon Athena 和 AWS Glue 与 Node.js
在此博文中,我们解释了将带 Redshift Spectrum 的 Amazon Redshift 扩展为现代数据仓库的原因。我将介绍我们的数据增长及平衡成本和性能的需求如何促使我们采用 Redshift Spectrum。我还将分享我们的环境中的关键性能指标,并讨论提供可扩展和快速环境的额外 AWS 服务,并提供数据供我们日益增长的用户群进行立即查询。
使用 AWS Glue 和 Amazon Redshift 分析您的 Amazon S3 支出
AWS 成本和使用情况报告 (CUR) 会追踪您的 AWS 使用情况,并提供与之相关联的预计费用。您可以配置此报告为以小时或日为间隔显示数据;在账单收费期最后结束前,它至少每天会更新一次。成本和使用情况报告会自动发送到由您指定的 Amazon S3 存储桶,可以在那里直接下载。您还可以将该报告整合到 Amazon Redshift,也可以通过 Amazon Athena 进行查询,或者把它上传到 Amazon QuickSight。