亚马逊AWS官方博客

2020 年 2 月份 AWS 在线技术讲座

加入我们，观看由 AWS 解决方案架构师和工程师主导的实时在线演示。AWS 在线技术讲座涵盖了一系列主题和多层次的专业知识，包括技术深入探讨、演示、客户示例以及 AWS 专家的实时问答。
注意 – 所有研讨会均免费，所注明的时间为太平洋时间。无法加入我们的实时演示？通过我们的按需门户访问网络研讨会录像和幻灯片。

用 Airflow 实现 EMR 集群的动态启停并通过 Livy 远程提交任务

互联网行业每天都有大量的日志生成，需要在固定时间段对数据进行ETL工作。用户常规的做法是启动一组长期运行的EMR集群，配置远程提交任务的服务器，结合自身的任务调度系统定期提交任务，但集群执行完成任务之后会闲置，造成不必要的开销。另一种方法是在需要执行任务的时候启动集群，任务完成之后关闭集群，但因为每次启动集群后，主节点与核心节点的IP都会发生分变化，导致每次都需要重新配置提交任务的服务器，造成额外的工作负担。本文介绍了一种通过Apache Airflow任务调度系统动态启停Amazon EMR集群的方法，并通过EMR内置的Livy远程提交作业，这样可以节省大量的成本并且无需进行过多的额外配置。

使用 AWS FireLens 轻松实现 AWS Fargate 容器日志处理

AWS 容器服务团队在 2019 年 11 月推出了一款新工具 FireLens，该工具可以让您更轻松的处理容器日志。利用 FireLens，您可以将容器日志发送到所需的存储和分析工具，而无需修改应用部署脚本、手动安装额外软件或编写其他代码。
一个常见的客户场景是，运行在容器中的应用会将访问日志和错误日志分别写入到不同的日志文件中，然后将不同日志文件的数据分别发送到不同的目标位置进行后续的分析和存储。在这篇文章中，将演示如何通过配置 AWS Fargate for ECS 和 AWS FireLens，实现上述场景的日志处理。