亚马逊AWS官方博客

AWS Localization

Author: AWS Localization

使用 Amazon Kinesis Data Firehose 和 Amazon EMR 中的 Apache Spark 优化流式数据处理

对于大多数公司而言,处理不断增加的数据量并整合新数据源充满挑战。 通常,AWS 客户会收到来自各种连接设备和传感器的海量消息,这些消息必须先经过有效注入和处理,之后才能执行进一步分析。 通常 Amazon S3 是适合保存所有类型数据的地点。 但是,数据在 Amazon S3 中的存储方式会对后续数据处理的效率和成本产生重大影响。 具体而言,如果 Apache Spark 处理的是大量小文件而不是较少的大文件,则可能会因文件操作量大而承受巨大负担。 在这些文件中,用于打开每个文件、读取元数据信息和关闭文件都会占用几毫秒时间。大量文件操作占用的总时间较多,这会导致处理缓慢。这篇博文将介绍如何使用 Amazon Kinesis Data Firehose 将传送到 Amazon S3 的大量小消息合并为较大消息。 这样可以加快运行 EMR 服务 中运行的 Spark 的的处理速度

Read More

使用高级 Amazon CloudWatch 指标和 AWS Lambda 通过空闲检查和自动资源终止优化 Amazon EMR 成本

许多客户在开发环境中使用 Amazon EMR 运行大数据工作负载,例如 Apache Spark 和 Apache Hive 查询。数据分析师和数据科学家经常使用这些类型的集群,并将它们称为分析 EMR 集群。用户常常会忘记在完成工作后终止这些集群。这将导致集群空闲运行,进而增加不必要的成本。
在这篇博文中,我们将提出一种解决方案来减少这方面的成本。我们实施了一个 bash 脚本,将其安装在 EMR 集群的主节点上,并将该脚本计划为每 5 分钟运行一次。该脚本可监控集群并每 5 分钟向 CloudWatch 发送一次自定义指标 EMR-INUSE(0=非活动;1=活动)。如果 CloudWatch 在一些预定义数据点收到 0(非活动),则将触发警报,然后执行终止集群的 AWS Lambda 函数。

Read More

通过 Amazon EMR 重新配置动态修改集群

如果您是使用长期运行的 Amazon EMR 集群的开发人员或数据科学家,您将面临快速变化的工作负载。这些变化通常需要不同的应用程序配置才能在集群上以最佳方式运行。
通过重新配置功能,现在可以更改正在运行的 EMR 集群上的配置。从 EMR 版本 emr-5.21.0 开始,该功能允许您在不创建新集群或通过 SSH 手动连接到每个节点的情况下修改配置。

Read More

使用 AWS IoT 来构建全球性的物联网解决方案 | AWS 上的物联网

客户使用 AWS IoT 来构建全球性的分布式物联网解决方案。连接到 AWS IoT 的设备必须在某个 AWS 区域预置。但在向全球配送设备时,您不需要知道该设备开始运行时将连接到哪个 AWS IoT 区域。在本博文中,我将介绍一个全球性的 AWS IoT 设备预置流程。

Read More

通过 IoT 设备模拟器、AWS IoT Analytics、Amazon QuickSight、Microsoft Power BI 和 Tableau 了解商业结果 | AWS 上的物联网

本博客探索了如何将 AWS IoT Analytics 作为一个主动迭代式和交互式的平台使用,从而快速建立 IoT 解决方案的原型以及进行开发、部署和监控。通过使用 IoT 设备模拟器,消除了设备遥测方面的硬件依赖,并且可以借助从 Amazon QuickSight 到 Microsoft Power BI 和 Tableau 等多种报告工具可视化显示商业结果。

Read More

通过 AWS IoT Device Defender 检测异常设备行为防止非法入侵 | AWS 上的物联网

对于企业而言,管理好联网设备的安全绝非易事。尽管已经采取各种安全措施,像 Gilfoyle 这样下定决心的黑客仍可能成功侵入您的联网设备。要及时采取行动,关键是要检测到已被攻破的设备。AWS IoT Device Defender 与在您的设备上运行的代理结合,可以让您发现异常的设备行为并采取必要的行动。

Read More

如何使用 AWS IoT Greengrass 在边缘安装面部识别模型 | AWS 上的物联网

您可能已经了解如何使用 AWS IoT Core 和 AWS IoT Greengrass 进行远程设备通信和控制。通过 AWS IoT Greengrass 机器学习 (ML) 推理,您可以在本地设备上运行机器学习模型,而且不会出现任何传输延迟。在这篇博文中,我将向您展示如何在 Raspberry Pi 上使用 AWS IoT Greengrass ML 推理来执行本地面部识别,以满足家庭监控需求。

Read More

利用 AWS IoT Device Management 服务轻松部署设备组 | AWS 上的物联网

为了解决预配置和管理互连事物的复杂难题,制造商需要设法简化各类任务并实现自动化,例如预配置设备标识,并将这些标识提供给安全且可重复的方式制造的设备。AWS IoT Device Management 服务提供了一项批量预配置互连事物的新功能,为这项艰巨任务提供了有力支持。

Read More