亚马逊AWS官方博客

AWS Team

Author: AWS Team

在 Amazon SageMaker Ground Truth 中标记数据,以实现 3D 对象跟踪与传感器融合

在本次实验中,我们了解了Ground Truth 3D点云标记作业对于输入数据的要求与选项,同时尝试创建了对象跟踪标记作业。关于我们能够在3D点云标记作业中实现的其他任务类型,请参阅3D点云任务类型。另外,我们还要感谢KITTI团队为我们提供这套宝贵的数据集,用于演示如何准备3D点云数据并将其引入SageMaker Ground Truth。

轻松便捷为 AWS WAF 部署一套仪表板

在本文中,我们详细介绍了如何通过几个步骤为AWS WAF部署仪表板,以及如何利用它发现并阻止Web应用程序攻击。现在,您可以采用同样的基本思路为自己的应用程序部署这套解决方案了。如果您对本文中的解决方案及仪表板有任何建议或反馈,请在下方评论区或者项目的GitHub页面上与我们交流。

在 Amazon EMR 上监控 Spark Streaming 应用程序

如何监控和调优Spark Streaming实时应用程序是一项非常挑战的工作,您需要随时应对环境中发生的种种变化。另外,还需要监控源数据流和作业的输出,从而可以了解全面的情况。Spark是一套非常灵活并且丰富的框架,它能够提供多种方式来对任务进行监控。本文主要探讨了其中一种有效的方法,使用SparkListeners并将提取到的指标与CloudWatch指标相集成,从而实现监控Spark Streaming微批处理程序的性能。

在 Amazon EMR 上使用 Dr. Elephant 与 Sparklens 实现 Hadoop 与 Spark 性能调优

本文介绍了如何在Amazon EMR集群上启动Dr. Elephant与Sparklens工具,以及如何尝试针对计算与内存密集型作业做出优化与性能调整。Dr. Elephant与Sparklens可以帮助大家提高数据集并行性与计算节点利用率,借此加快作业执行速度并提高内存管理效率。凭借工作负载调优与集群并行性控制,这两款工具还能帮助大家克服Spark与Hive作业处理中常见的各类挑战。

Bottlerocket:一套专用型容器操作系统

Bottlerocket是一套与传统通用型Linux发行版完全不同的操作系统,我们坚信其中承载的种种变化将给用户的安全性与运营带来长期改善。我们也希望Bottlerocket中内置的各类工具(包括紧急状态下专用的admin容器等机制)能够帮助各位简化工作负载迁移流程。