亚马逊AWS官方博客
通过 Amazon EMR 重新配置动态修改集群
这篇文章讲解了如何使用新的 EMR 集群重新配置功能在运行的集群上配置实例组的基础知识。并详细介绍了提交重新配置请求的额外语义、重要的配置级别概念以及重新配置跟踪方法的方式。
新增功能 — 触发内核错误以诊断 EC2 实例无响应的问题
今天,我们宣布推出一个新的 Amazon Elastic Compute Cloud (EC2) API,借助此 API 可以在 EC2 实例上远程触发生成内核错误。
Amplify 控制台 — 托管全堆栈式无服务器 Web 应用程序
AWS Amplify 控制台是一种全堆栈式 Web 应用程序托管服务,让您可以从首选的源代码存储库实施持续部署。Amplify 控制台于2018 年 11 月在 AWS re:Invent 大会上推出。从那时以来,我们团队持续倾听客户的反馈并快速迭代,发布了多项新功能。本文是一篇简要回顾。
将网络负载均衡器与 Amazon EKS 上的 NGINX 入口控制器配合使用
在本文中,我们将讨论如何在 Amazon EKS 上使用 NGINX 入口控制器,以及如何在它前面设置网络负载均衡器 (NLB)。
Elasticsearch 分片分配探秘
在这篇文章中,我们讨论了在 Elasticsearch 中执行分片放置和均衡决策所依据的算法。每次重新路由调用都要经历分配未指定的分片、移动必须从当前节点撤出的分片以及尽可能重新平衡分片的过程。这些操作可保持集群持久平衡。
使用 Amazon Kinesis Data Firehose 和 Amazon EMR 中的 Apache Spark 优化流式数据处理
对于大多数公司而言,处理不断增加的数据量并整合新数据源充满挑战。 通常,AWS 客户会收到来自各种连接设备和传感器的海量消息,这些消息必须先经过有效注入和处理,之后才能执行进一步分析。 通常 Amazon S3 是适合保存所有类型数据的地点。 但是,数据在 Amazon S3 中的存储方式会对后续数据处理的效率和成本产生重大影响。 具体而言,如果 Apache Spark 处理的是大量小文件而不是较少的大文件,则可能会因文件操作量大而承受巨大负担。 在这些文件中,用于打开每个文件、读取元数据信息和关闭文件都会占用几毫秒时间。大量文件操作占用的总时间较多,这会导致处理缓慢。这篇博文将介绍如何使用 Amazon Kinesis Data Firehose 将传送到 Amazon S3 的大量小消息合并为较大消息。 这样可以加快运行 EMR 服务 中运行的 Spark 的的处理速度
通过 Amazon EMR 重新配置动态修改集群
如果您是使用长期运行的 Amazon EMR 集群的开发人员或数据科学家,您将面临快速变化的工作负载。这些变化通常需要不同的应用程序配置才能在集群上以最佳方式运行。
通过重新配置功能,现在可以更改正在运行的 EMR 集群上的配置。从 EMR 版本 emr-5.21.0 开始,该功能允许您在不创建新集群或通过 SSH 手动连接到每个节点的情况下修改配置。
新版 AWS Tools for PowerShell 的预览版
今天,团队向 PowerShell Gallery 发布了一组新模块来解决旧版本中存在的问题(如加载时间过长等)。这些模块处于预览版本,因此团队希望收集您给出的反馈(无论好坏)!
借助 AWS Step Functions 将回调 URL 用于批准电子邮件
这篇博文将向您展示如何创建 Step Functions 状态机,以使用 sfn-callback-urls 应用程序完成电子邮件批准步骤。可以在 AWS Serverless Application Repository 中找到该应用程序。该状态机会发送一封包含批准/拒绝链接的电子邮件,随后发送确认电子邮件。您可以轻松针对自己的使用案例扩展此状态机。
物联网设备在 OTA 场景下利用证书方式进行 AWS 平台资源的授权访问
为了保证物联网设备能够保持在功能上随时更新,并且在出现问题的时候及时得到修复。小到智能手环,空气净化器, 大到家用汽车,设备厂商无不是通过提供OTA(Over-The-Air)功能来提高用户满意度。在做设备的OTA升级之前,设备厂商通常会提前把需要设备加载的固件保存在可以被设备访问的存储空间里(如果是AWS,通常会保存在S3对象存储里),然后通知用户有新的固件可供升级。接下来用户通过Web或移动端去控制设备下载固件并完成升级过程。