Tag: EMR 远程调度

亚马逊云科技上的 EMR 大数据平台提供了计算存储分离的弹性架构（计算在虚拟机上，存储在s3上），基于此，常见的如流式处理，即时查询等作业可以单独运行在一个长期开启的EMR集群之中；而对于定时，跑批等业务可以运行在动态启停的EMR集群之中。对于后者来讲，由于其动态启停的特性，我们往往需要外置任务调度器于EMR集群之外。在上述的背景之下，我们会在接下来的文章之中对于当调度器外置之后,常见的远程调度EMR集群的方式，相应的优缺点，相关的例子等方面进行探讨