亚马逊AWS官方博客

云原生编排数据分析管道初探

公有云是适合数据分析和大数据处理的天然平台。近年来,云服务和开源社区涌现出许多优秀的工作流编排工具,方便就数据分析中复杂的抽取转换加载 (ETL) 过程进行任务编排。要成功运行数据分析管道,需要至少两个必要准备,一是搭建好支持运行数据管道的基础设施。二是编排好数据管道的 ETL 任务顺序。前者涉及运维,后者事关业务。从数据分析的角度,则希望运维难度最小,业务易用度最大。本文从上述两个角度切入,就 Airflow 和状态机支持数据分析管道的情况进行分析,并初步探讨云原生编排数据管道的方法和意义。

Read More

使用托管节点组结合启动模板简化EKS升级与运维

随着应用容器化不断流行与深入,采用Kubernetes(K8S)作为容器编排方式的应用也随之增加。作为亚马逊云科技的用户,在云上使用Amazon Web Service托管的K8S服务Elastic Kubernetes Service(EKS)服务的客户也在不断增加。同时根据K8S社区的发布规则K8S每年会有三个小版本的发布, 相应的EKS也会跟随上游K8S的版本发布3个版本,目前支持的版本以及相应终止支持的时间信息可以参考亚马逊EKS发布日历。

Read More

如何将您的自定义容器镜像导入Amazon SageMaker Studio notebooks

Amazon SageMaker Studio是第一套用于机器学习(ML)的全集成开发环境(IDE)。Amazon SageMaker Studio可帮助数据科学家们快速启动Studio notebooks以探索数据、构建模型、启动Amazon SageMaker训练作业并部署托管端点。Studio notebooks中随附一组预构建镜像,这些镜像由Amazon SageMaker Python SDK 与IPython运行时或内核的最新版本构成。凭借此项新功能,您可以轻松将自定义镜像导入Amazon SageMaker notebooks当中。在本文中,我们将具体探讨如何将自定义容器镜像导入Amazon SageMaker notebooks。

Read More

如何注册成为亚马逊云科技 Marketplace海外区卖家

亚马逊云科技Marketplace(以下简称Marketplace)是一个提供甄选的数字化产品的平台,分海外区和中国区,产品类型包括AMI映像,CloudFormation Template,SaaS,容器,SageMaker等。Marketplace海外区是中国ISV (Independent Software Vendor)触达亚马逊云科技庞大的海外用户群,拓展海外业务的绝佳选择。为了能够上架产品,首先需要注册成为Marketplace海外区卖家。本文将介绍注册成为卖家的具体流程。

Read More

基于云的数据网格技术如何实现金融监管数据采集

实践证明,现代云技术可以通过汇集数据并使用数据仓库和大数据工具进行分析,以经济高效的方式实现有价值的见解。例如,使用 Amazon EMR 之类的大数据分析工具整合来自证券交易的数据,以实现增强风险管理。对监管机构来说,面临的挑战在于能够通过以受控、高度灵活且经济高效的方式分析各种大型数据集来获取见解和有价值的信息。随着市场的演变和经济风险的变化,监管机构和中央银行的需求也将发生变化,因此监管生态系统必须继续适应所有参与者并具有成本效益。

Read More

预处理日志以便在 Amazon ES 中进行异常检测

Amazon Elasticsearch Service(Amazon ES)支持实时的异常检测,它使用机器学习(ML)主动检测实时流数据中的异常情况。当分析应用程序日志时,它可以用来检测例如异常高的错误率或请求数量的突然变化等异常状况。例如,来自特定地区的食品配送订单数量的突增可能是由于天气变化或该地区用户遇到技术故障造成的。发现这种异常情况可以促进对事件的快速调查和补救。

Read More