Category: Analytics

亚马逊云科技大中华区专业服务团队（AWS Professional Services）发布了第一版数据分析基座快速部署解决方案（Data Analytics Foundations, DAF），提供一套解耦封装的功能模块，基于AWS的云原生服务进行了基础设施即代码IaC化的开发，功能面包括：数据整合、数据存储、数据处理、流程编排、目录和发现、资源监控、数据服务、数据管理和访问安全控制等，可以按需一键部署到AWS账号环境中。

EMR Instance Fleets可实现费用和可用性自动选择的最佳组合，但目前不支持自定义弹性伸缩。通过此方案，客户针对EMR Instance Fleets集群基于自定义阈值进行弹性伸缩，可最大化的优化成本及精细化管理。

本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项，以及通过 SASL/SCRAM 身份验证的方式来安全地访问集群。Amazon MSK提供了三种可以公开访问集群的机制 – IAM 访问控制、SASL/SCRAM 以及 mTLS 身份验证，用户可以根据实际场景针对三种不同的认证方式进行选择并使用。

Amazon MSK提供了多种可以公开访问集群的机制，本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项，以及通过 mTLS 身份验证的方式来安全地访问集群。

本文将会讨论如何对 EMR 进行配置，在集群的运行过程中，当 Spot 实例发生中断时，维持 EMR 集群的稳定性。

本博文以Redshift作为数仓，并使用 AWS Database Migration Service (AWS DMS) 及其更改数据捕获 (CDC) 功能将Aurora 数据库的数据同步到Redshift的方案来阐述系统实施过程中遇到痛点及解决办法,主要以围绕DMS数据同步，Redshift Serverless及权限控制来进行详细阐述。

Spark on EKS在Graviton2实例上的性能调优实践

自从Amazon Opensearch Service登陆中国北京和宁夏区，越来越多的企业借助其特性进行交互式日志分析、实时应用程序监控、网站搜索等。由于企业对Opensearch Service的依赖日益加深，快速部署Opensearch Service的需求也愈发增多。IaC(Infrastructure as Code)这一概念以及相关工具的出现很好的满足了企业对快速部署和管理云上资源的这一需求。本文着重介绍如何使用AWS CDK进行快速部署Opensearch Domain。

在AWS的云上大数据服务平台Amazon EMR上，我们可以使用JAVA技术栈的JDWP技术，对Spark，Flink两大最流行的离线、实时计算框架应用，在on yarn的hadoop集群上进行远程debug，这样开发的小伙伴能快速调试和定位生产环境中遇到的各种问题，而不用下载业务数据并在本地，或者只能依赖输出日志去推断问题，简化整个业务敏捷开发的运维和调优

Amazon Opensearch 的 KNN 插件可以方便地进行向量的 ingestion，storage 和 TopN 检索，并很好地利用 Opensearch 的分布式特性，对于海量向量数据的检索可以实现并行计算，性能能随集群 size 扩缩而线性增长。