亚马逊AWS官方博客

OpenSource | 2018 年 re:Invent 大会上的开放源

2018 年 re:Invent 2018 大会标题图片

2018 年 re:Invent 大会渐行渐近,由于与开放源相关的议程太多,在这里全部罗列出来基本是不可能之事! 开放源几乎覆盖了每个主题领域,届时将有涉及 AWS 开放源项目和服务的议程,以及有关如何在 AWS 堆栈中使用广泛的开放源工具的构建器议程、专题座谈等等。

为确保本博文的内容不过于冗长,下面的描述经过大力精简,着重强调其开放源方面。请点击议程链接查看完整的描述、演讲嘉宾以及日期/时间/地点信息。

重要提示:此列表可能会在 re:Invent 大会之前、期间和之后进行扩展和更新。另外请查看 re:Invent 目录,了解日期/时间/地点变动以及新增加的议程和重复的议程。

人工智能/机器学习

AIM204-S — 更智能的事件驱动型边缘站点与 Amazon SageMaker 以及 Flogo 项目的结合使用 借助开放源事件驱动框架 Flogo 框架,直接在边缘设备或 AWS Lambda 上使用深度学习框架的模型推理。

AIM301 — 面向开发人员的深度学习简介:以 Samsung SDS 为例 了解 Samsung SDS 如何使用开放源深度学习框架 Apache MXNet开发适用于心律失常检测的深度学习模型。

AIM302 — 边缘站点的机器学习 使用 Amazon SageMaker 进行机器学习模型训练,然后使用 AWS Greengrass 将它们部署到边缘设备,从而让您可以快速在边缘站点处理数据,即使没有连接也可以处理。

AIM314 — 使用 Amazon Lex 和 Amazon Alexa 创建“问答”机器人,使用两个开放源项目:QnABot 和 Lex-Web-UI。

AIM329 — Amazon SageMaker 与 Chainer:诀窍与陷阱 在 Amazon SageMaker 中使用以 Python 编写的开放源深度学习框架 Chainer

AIM350 — 将您自己的 Apache MXNet 和 TensorFlow 脚本用于 Amazon SageMaker

AIM401-R — 使用 TensorFlow 的深度学习应用程序  此代码级的议程也将包含有关使用 TensorFlow 的教程和示例。

AIM403-R Amazon SageMaker 与 Apache Spark、ft.Moody’s 的集成 Amazon SageMaker 包含一个 Apache Spark 库,您可以用它来轻松训练来自 Spark 集群的模型。在此代码级的议程中,将您的 Apache Spark 应用程序与 Amazon SageMaker 集成,然后深入了解从 Spark 启动训练作业、在 Spark 管道中集成训练作业等等。

AIM407-R — 使用 Apache MXNet 构建深度学习应用程序,以 Workday 为例 Workday 如何使用 MXNet 来构建 计算机视觉和自然语言处理 (NLP) 模型,从而从纸质文件中自动提取信息。Workday 还将分享它使用 MXNet 工具包 Sockeye 为序列到序列 NLP 模型快速开发原型的经验。

AIM412 — 使用 Amazon SageMaker 进行自动化模型调整 在许多情况下,好模型与完美模型的差距就在于超参数的选择。例如,您应使用多少个层;学习的速率应该是多少;正则化参数应是多少,等等。了解 Amazon SageMaker 如何在训练期间让最佳超参数集的发现成为一个稳妥的过程。

AIM414 — 使用 Apache MXNet、Sockeye 和 Amazon SageMaker 进行序列到序列建模 “带注意力的编码器-解码器架构”是一种先进的自然语言处理架构,在 Sockeye 中使用 Amazon SageMaker 的序列到序列算法实施。

AIM418 — 使用 MXNet 和 Amazon SageMaker 构建深度学习应用程序 轻松快速大规模部署机器学习模型。使用 Amazon SageMaker 构建计算机视觉使用案例的模型,快速进行训练以获得最佳结果,然后轻松部署到生产环境。

AIM431 — 使用 MXNet 进行基于深度学习的文本转语音合成 了解如何借助 Apache MXNet 中的开放源库 Gluon 接口,使用深度学习技术构建多种语音的 TTS 系统。

另请参阅……

Lynn Langit 的文章 re:Invent 大会指南:机器学习以及机器学习博客中的 Your Guide to AI and Machine Learning at re:Invent 2018。您还可以搜索 MXNetTensorFlowSageMaker 等等目录。

分析

ANT329 — TIBCO:使用 Amazon SageMaker 的人工智能和数据科学创新……大规模利用 Amazon SageMaker、TIBCO Connected Intelligence Cloud 和开放源:数据库计算、视觉合成和笔记本、用户之间的Slack 式协作、通过 TIBCO Live Apps 等低代码工具进行模型生命周期部署……

ANT338 — 机器学习最佳实践:数据准备、模型构建、生命周期管理 ……了解如何使用 Apache Spark 进行数据准备,因为大规模统一了不同来源的数据。使用 TensorFlow 进行模型训练,并在可复制的环境中使用 MLflow 跟踪多个用户之间的试验运行……

ANT349 — 提高数据工程效率:将Jupyter Notebook 与 Amazon EMR 结合使用(构建器议程) Jupyter Notebook 可帮助大数据客户在 Amazon EMR 轻松利用开放源的 Apache Spark 进行数据学研究、交互式分析以及在部署到生产环境前创建作业原型。

ANT387 — 如何将 Jupyter Notebook 与 Amazon EMR 结合使用以提高生产率(专题座谈)

汽车

AMT302 — 轻松驾驶:机器学习、无服务器和物联网如何推动驾驶成为一项服务 ……Avis Budget Group (ABG) 和 Slalom 演示它们使用 AWS 联网汽车参考架构、Amazon SageMaker、Amazon Kinesis Data Analytics 和 AWS Lambda 等产品构建的无服务器驾驶平台,以及 ABG 使用 Uber 的开放源框架 deck.gl 创建的操作控制面板。

计算

CMP203-R — Amazon Linux 2:稳定、安全、高性能的 Linux 环境 现在提供五年支持的下一代 Amazon Linux 操作系统。

CMP207 — AWS 计算领导力会议:Amazon EC2、容器和无服务器技术的新增功能 在此主题演讲中,完美将宣布一些新的计算功能,分享让 AWS 计算业务与众不同的深刻见解。我们还将宣布 Amazon EC2 实例、EC2 联网、EC2 Spot 实例、Amazon Lightsail、容器和无服务器技术方面的新增功能。

CMP310 — Kubernetes 上的应用程序移动性 实施混合云策略并使用 Helm 将同一应用程序部署到采用 VKE 管理的 Kubernetes 集群。使用 PrometheusGrafana 等开放源工具进行端到端网络配置自动化和应用程序监控的最佳实践。

CMP348 — 在 AWS 上使用 GRAIL 的 Reflow 进行分布式增量数据流处理  GRAIL 基于云的开放源批处理系统 Reflow 利用 Amazon EC2、Amazon S3 和 Amazon DynamoDB 来支持大规模、高吞吐量、经济高效的数据分析,从而促进 GRAIL 的研发工作。

CMP376 — Amazon EC2 上的又一周,又一百万容器 Netflix 的容器管理平台 Titus 提供方便的计算资源管理模式,让开发人员只需维护其应用程序的构件,并借助 Netflix 以容器为中心的设计工具,为开发人员提供一致的体验,覆盖从开发人员的笔记本电脑到生产环境的整个过程。

CMP416 — 在 AWS 上构建和保存高性能的原生云开放源应用程序 拜耳如何从本地封装的软件架构过渡到开放源软件和来自 AWS 的云服务,从而在 AWS 上构建可扩展的现代化、高性能开放源应用程序。了解开放源应用程序架构和所使用的 AWS 产品。

容器

今年有许多议程涉及容器,覆盖多个主题。请参阅 re:Invent 大会的容器主题目录以及搜索 “containers”,此外还可参阅 Tung Nguyen 的博客文章 re:Invent 大会指南:容器

CON404-R – Amazon Linux 的维护和输入 Amazon Linux 2 提供了一种与 AWS 完美集成的 Linux 分配,但从补丁、封装到推送的过程对客户而言并非总那么直观。Iliana Weller 介绍了在 Amazon Linux 2 中实施更改的生命周期,以及完美如何安全地在全球部署存储库和映像的技术细节。

内容分发

CTD415 — 在边缘站点使用 AWS Lambda@Edge 渲染网站 使用 AWS Lambda@Edge 和 Amazon CloudFront 为全球互联网用户提供高性能和个性化的体验的实践议程。现场演示将 Amazon S3、Amazon DynamoDB 和 CloudFront 与 Lambda@Edge 组合使用以构建在全球各地同时托管的网站……通过在边缘站点使用 jQueryMustache 等开放源库来渲染网页内容,从而降低源服务器成本……

演示

DEM47 — 随时随地运行一切即服务 Mesosphere 回答:“我们如何跨混合云将 Spark、TensorFlow、HDFS 等我们选择的开放源框架作为服务来运行?”

开发运营

DEV308-R — 赢得您的开发运营黑带:使用 AWS CloudFormation 来部署场景 将 AWS CloudFormation 与构建和管道自动化工具组合使用,从而实现可重复、一致、合规的部署,同时不会牺牲敏捷性的使用案例。此议程还将涉及 cfn-lintmuSAM

DEV321-R — AWS CloudFormation 新增功能 AWS CloudFormation 的最新改进和最佳实践,覆盖许多使用案例,包括可编程选项、跨区域和跨账户自动化、运营安全、与其他许多 AWS 产品的额外集成。此外还将涉及 cfn-lint

DEV322-R — AWS CLI 新增功能 在我们介绍 AWS CLI v2 的一些新增功能和重大改进过程中,收听 AWS CLI 核心开发人员的观点。

DEV325-R — AWS Java 生态系统实践 我们将使用真实的代码示例,构建一个使用开发工具包和新的基于 HTTP2 的活动流式处理 API 无服务器应用程序,并使用 2018 年推出的 AWS Java 工具部署。您将了解 2.0 版的新增功能和升级的好处,以及如何在 AWS 已经丰富的 Java 生态系统中利用新的工具。

DEV327 — 基本应用之外:AWS 上的高级基础设施即代码 云基础设施开发人员可以利用的有关声明式、命令式和混合式代码编写场景的高级使用案例。例子包括演示如何使用 AWS CloudFormation 创建自定义资源以及利用 AWS 无服务器应用程序模型 (AWS SAM) 等转换功能以创建简单和复杂的宏。包含有关 troposphere 的讨论。

DEV333-R — AWS 上的 .NET:与 AWS 软件工程师一起解决问题 来自 .NET 开发工具包团队的专家非常乐意帮助解答与您在 AWS 上的 .NET 体验有关的问题,包括适用于 .NET 的开发工具包、AWS Lambda 与 .NET 的结合使用、AWS Lambda 对 PowerShell 的支持以及适用于 Visual Studio Team Services (VSTS) 的 AWS 工具。

DEV337-R – 使用 React 和 AWS Amplify 构建无服务器应用程序 在几个小时内构建具有全面功能且安全的原生云应用程序。此演示包括使用基于云的 IDE AWS Cloud9,在 React 中通过 AWS Mobile CLIAWS Amplify 使用 AWS Mobile Hub 构建完全无服务器的原生云应用程序。

DEV341-R — 借助 AWS CloudFormation 提高您的安全性 如何利用来自互联网安全中心 (CIS) 的指南,如何增强安全检查,如何构建并使用额外的工具来保护 AWS 资源。包含有关 prowler 的部分。

DEV411-R — 基础设施即代码:AWS 最佳实践 ……如何使用 aws-cdk(目前已在 GitHub 中推出开发人员预览版)定义和部署云基础设施,它可让您使用以对象为导向的概念来定义和部署 AWS 基础设施……

DEV427-R — 使用 Python 来部署无服务器应用程序:AWS Chalice 深度解析 AWS Chalice 是一种用于在 Python 中编写无服务器应用程序的微框架。我们将使用一个 Chalice 示例应用程序,演示 Chalice 如何构建和部署该应用程序,包括部署规划器、自动化生成 IAM 策略、以及 Chalice 如何构建适用于 Python 的 AWS Lambda 部署包。收听核心 Chalice 开发人员有关最佳实践的经验,了解如何发挥微框架的最大作用。针对有无服务器经验并且需要可帮助改进开发过程的工具的 Python 开发人员的专题座谈。

全球合作伙伴峰会

GPSTEC405 — 使用无服务器微服务优化您的 SaaS 产品 使用 ReactJSNodeJS 无服务器微服务,解开 IDE 并将由多个整体式单一组合环境组成的 SaaS 应用程序转换为高效、可扩展和安全的多租户 SaaS 平台。使用 Amazon API Gateway 和 Amazon Cognito……借助 OIDC 的 JWT 令牌强制隔离租户并进行数据分区。利用 AWS SAMAWS Amplify 来简化无服务器微服务的编写、测试、调试和部署。

GPSWS404 — AWS Greengrass、容器与您的边缘应用程序开发流程 手动构建和部署一个 Greengrass Core,然后亲手体验一款可让您比以往更快的速度迭代应用程序的开放源工具。最后,我们将征集您对该工具满足您的需求的反馈。

GPSWS405 — 使用 Scikit-learn 的无服务器人工智能 利用无服务器技术实现人工智能 (AI),让预测动态化,无需托管模型,也无需维护服务器。如何在适用于 Python 的开放源机器学习库 Scikit-learn 中训练模型,然后从 AWS Lambda 函数加载和调用训练后的模型,以及如何加载库并发送数据进行预测。

物联网

IOT208-R – Amazon FreeRTOS:面向微控制器的物联网操作系统 随着主机厂将越来越多的功能转移到更廉价、更小巧的物联网设备上,它们的开发和运营环境面临许多挑战,这些挑战导致了安全漏洞、低效代码、兼容性问题和许可不明确等问题。借助 Amazon FreeRTOS,现在可以更轻松、快速、经济地构建、部署和更新基于联网微控制器的设备,同时保证对设备安全性的放心。

IOT315 — 嵌入式物联网开发的挑战以及 Amazon FreeRTOS 如何改变局面

……以及 有关 Amazon FreeRTOS 的更多议程

媒体和娱乐

MAE301 – 媒体资产管理架构和媒体档案总体拥有成本解析 将内容迁移到 AWS 中的媒体资产管理系统的基本流程,利用常见的开放源工具进行资产注册,以及使用 AWS ML 服务来增强与资产有关的元数据……

MAE309 — 构建 AWS 分析解决方案来监控视频流式处理体验 构建和部署端到端的分析解决方案,以监控视频流式处理体验。将开放源视频播放器与 Amazon Kinesis Data Streams 集成以实时获取事件……

移动

MOB201 — 从概念到客户:使用 AWS 开发支持现代云的应用程序 将您的应用程序概念变为现实的过程,包括您全程理解概念所需的所有基础设施。AWS 平台的服务和开发工具包可如何帮助您更快获得高质量的发布,然后使用无服务器技术进行扩展以获得成功。如何使用 GraphQL 和机器语言功能快速构建可扩展的生产级应用程序。

MOB316-R — GraphQL 简介 GraphQL 是移动和 Web 应用程序可以用来与 AWS AppSync 通信,从而轻松使用尽可能小的请求进行数据查询和转换,实现高电池和带宽效率的通信的机制。我们将介绍 GraphQL 的基础知识并回答您的问题。

MOB318-R —让 REST 歇一歇:轻松将您的 API 迁移到 GraphQL 我们将解答有关如何轻松将 RESTful API 迁移到 GraphQL,同时保留向后兼容性的问题。

MOB323 — 一切都关乎客户:GraphQL 与客户服务应用程序中的实时订阅
了解 ALDO 在其店内现代应用程序中采用 GraphQL 和无服务器技术,提供高度实时化、个性化的客户体验,同时优化店内零售运营的历程。

MOB401 — 使用 AWS AppSync 改进 GraphQL API 十大诀窍与陷阱
在 AWS 上可靠地运行无服务器 GraphQL API 的诀窍、陷阱和最佳实践,包括版本控制、多重环境、CI/CD、高级架构设计、监控、修改和高级搜索场景等。

MOB402 – 使用 AWS AppSync 在 GraphQL 中进行身份验证和授权 在全球可用的 GraphQL API 中保护用户数据安全的一些常见使用案例和设计模式,并将讨论 AWS AppSync 中的身份验证和授权最佳实践。

MOB403-R — 将应用程序从 REST 迁移到 GraphQL 在 AWS AppSync 上将使用 REST 和 RPC API 的应用程序迁移到 GraphQL,并将讨论有关迁移的最佳实践。

MOB404-R — 使用 AWS AppSync 的高级 GraphQL 设计模式 设计良好的GraphQL 架构在确保 API 的高性能方面迈进了一大步。深入了解 GraphQL 执行过程,然后设计用于 AWS AppSync、云生解析器以及常见集成场景所用订阅的最优架构。与使用 GraphQL 验证身份有关的最佳实践。

MOB420-R — 设计可扩展 GraphQL API 的最佳实践

安全性

SEC325-R — 数据保护:加密、可用性、弹性和持久性 AWS 提供的全面数据保护功能,包括将 AWS Encryption SDK 与 KMS 组合用于自定义软件开发的最佳实践。

SEC329 — AWS 加密开发工具包:繁忙工程师的客户端侧加密指南 客户端侧加密选项以及使 用AWS 加密开发工具包在 JavaPython 和 C 中实施客户端侧加密。带上笔记本电脑,并在参加研讨班前确保您拥有活跃的 AWS 账户和管理员权限。

SEC330 — 使用自动化的数学证据实现合规性认证的自动化 审计人员如何使用开放源和经过社区验证的工具来独立验证设计和运营有效性

SEC378 – 安全地大规模部署 了解DevSecOps 最佳实践,如何确保仅将合规的代码部署到您的 AWS Organization 中,以及 AWS 产品与开放源技术的组合可以如何帮助您实现此目标。

SEC403 — 使用 AWS 安全性产品和开放源的五个新安全性自动化案例 各种安全性自动化和整改功能背后的实际代码。我们将演示每条脚本,介绍使用案例,执行代码审核以解释各种挑战和解决方案……

无服务器

SRV224-R — AWS SAM:从本地调试到 CI/CD 在本地启动简单的无服务器项目,使用 AWS 无服务器应用程序模型 (AWS SAM) Local 来调试您的 AWS Lambda 函数。准备好进入 AWS 后,我们将使用 AWS CodeCommit、AWS CodePipeline、AWS CodeBuild 和 AWS CloudFormation 为我们新的无服务器应用程序创建一个 CI/CD 管道。

SRV225-R — 无服务器 REST API 在此构建器议程中,了解如何使用 AWS Lambda 和 AWS 无服务器应用程序模型 (AWS SAM) Local 来开发您的第一个无服务器 REST API。

SRV227 — 构建大流量 Web 应用程序 了解如何使用 AWS Lambda、Amazon API Gateway 和 Amazon S3 等服务来构建可自动扩展的无服务器网站。我们将分析可以帮助您构建无服务器应用程序的框架,例如 AWS 无服务器应用程序模型 (AWS SAM)。

SRV307-R — 使用 GraphQL 和图形数据库来构建无服务器应用程序构建具备实时、离线和数据同步功能的数据驱动型无服务器卡路里跟踪应用程序……此应用程序将与 AWS AppSync 集成,从而通过 GraphQL 技术和离线功能提供多个数据来源的实时数据。

SRV343-R — 在 AWS Lambda 和Amazon API Gateway 上安全部署的最佳实践 AWS Lambda、Amazon API Gateway 和 AWS 无服务器应用程序模型 (AWS SAM) 提供了多项功能,您可以使用这些功能来实施采用金丝雀发布等安全部署策略的持续部署管道。我们将分析适用于不同场景的方案,例如微服务架构、混沌工程和 A/B 测试等,从而发现适用于您的使用案例的最佳实践,此外还将介绍 Capital One 的团队如何使用 AWS SAM 和 AWS CodeDeploy 创建部署管道,以完成在 Golang 和 AWS Lambda 上构建的 Capital One Credit Offers API 的金丝雀部署。

SRV355 — AWS Lambda 和 Amazon API Gateway 的 CI/CD 最佳实践 自动化部署在 AWS Lambda 上运行的无服务器应用程序的方法。首先,我们能将介绍如何使用开放源 AWS 无服务器应用程序模型 (AWS SAM) 来进行无服务器应用程序建模和表达。然后我们将讨论如何使用来自 AWS CodePipeline 和 AWS CodeBuild 的 CI/CD 工具,以及如何使用 AWS CodeStar 启动整个工具集。

SRV372-R — 使用 GraphQL、AWS AppSync 和 AWS Lambda 构建 Web 应用程序 …… 了解使用 AWS AppSync 来支持您的应用程序,GraphQL API 与基于 REST 的 API 的区别……我们将演示 GraphQL 技术如何用于提供多个来源的实时数据,例如 Amazon DynamoDB、Lambda 和 HTTP 终端节点。

存储

STG204 — 数据湖的实施:处理和查询已有数据 在 Amazon S3 和 Amazon Glacier 中利用各种 AWS、开放源和第三方工具构建数据湖的最佳实践。

STG313 — 将数据快速迁移到 Amazon S3 和 Amazon EFS — 立即开始 从 AWS 命令行工具,到使用开放源工具的脚本,到针对媒体工作流构建的专有商业工具,通过许多方法都可以将基于文件的数据迁移到 Amazon S3 和 Amazon EFS。首先使用最佳实践来提高您的数据传输性能,包括扩展并行流和自动化工作流等。在此议程中熟悉您的环境并获得 AWS 专家的指导。