亚马逊AWS官方博客

Tag: AWS Step Functions

云原生编排数据分析管道初探

公有云是适合数据分析和大数据处理的天然平台。近年来,云服务和开源社区涌现出许多优秀的工作流编排工具,方便就数据分析中复杂的抽取转换加载 (ETL) 过程进行任务编排。要成功运行数据分析管道,需要至少两个必要准备,一是搭建好支持运行数据管道的基础设施。二是编排好数据管道的 ETL 任务顺序。前者涉及运维,后者事关业务。从数据分析的角度,则希望运维难度最小,业务易用度最大。本文从上述两个角度切入,就 Airflow 和状态机支持数据分析管道的情况进行分析,并初步探讨云原生编排数据管道的方法和意义。

Read More

使用 Step Functions 编排从数据库到数据仓库的数据ETL

数据仓库是信息的中央存储库。业务分析师、数据工程师、数据科学家和决策者通过商业智能 (BI) 工具、SQL 客户端和其他分析应用程序访问数据。数据和分析已然成为各大企业保持竞争力所不可或缺的部分。企业用户依靠报告、控制面板和分析工具从其数据中获得洞察力、监控企业绩效以及更明智地决策。

Read More

使用 Amazon SageMaker Processing 与 AWS Step Functions 构建机器学习工作流

机器学习(ML)工作流负责编排并自动执行机器学习任务序列,包括数据收集,机器学习模型的训练、测试与评估,外加模型部署。AWS Step Functions能够在端到端工作流中编排并自动执行与 Amazon SageMaker相关的各项机器学习任务。AWS Step Functions数据科学软件开发工具包( AWS Step Functions Data Science Software Development Kit,简称SDK)是一套开源库,使您得以轻松创建包含数据预处理、模型训练和部署的工作流。您可以使用Python创建机器学习工作流,而无需分别设置及整合各项AWS服务。

Read More

在 AWS 上构建云原生机器学习流水线

近两年,机器学习已经渗透到各行各业,各种人工智能和机器学习的应用蓬勃发展,在其背后实际上会有一个完善的机器学习平台和流水线来支撑模型的开发、测试和迭代。但是这样一个系统性的平台,往往需要通过整合基础架构层和平台层来完成。在本篇Blog中,我们将展现如果通过AWS的服务构建云原生的机器学习流水线。

Read More

使用 AWS Batch 轻松玩转遥感计算

随着卫星发射技术的成熟,以及大数据和人工智能技术的发展,遥感数据应用越来越多。AWS Open Data以及以AWS Batch 为代表的批量计算服务可以帮助客户随时启动数千台计算节点,帮助客户缩短项目周期,降低运维成本。本Blog旨在给客户使用AWS Open Data 以及AWS Batch 提供使用引导,降低他们的学习门槛。

Read More

AWS Step Functions 添加了对“选择”状态的更新、对上下文对象的全局访问、动态超时、结果选择并为 Amazon States Languages 添加了内部函数

今天,我们宣布通过更新 Amazon States Language (ASL) 来增强 AWS Step Functions。ASL 是一种基于 JSON 的结构化语言,用于定义状态机和可执行工作的状态集合(任务状态),确定要过渡到下一个状态的状态(选择状态),并在出错时停止执行(失败状态)。通过今天推出的更新,客户可以编写简化的工作流应用程序,提高状态机定义的灵活性,减少 lambd 调用,并减少状态过渡以节省成本。

Read More