亚马逊AWS官方博客

Tag: 使用指南

在 Amazon SageMaker Ground Truth 中标记数据,以实现 3D 对象跟踪与传感器融合

在本次实验中,我们了解了Ground Truth 3D点云标记作业对于输入数据的要求与选项,同时尝试创建了对象跟踪标记作业。关于我们能够在3D点云标记作业中实现的其他任务类型,请参阅3D点云任务类型。另外,我们还要感谢KITTI团队为我们提供这套宝贵的数据集,用于演示如何准备3D点云数据并将其引入SageMaker Ground Truth。

轻松便捷为 AWS WAF 部署一套仪表板

在本文中,我们详细介绍了如何通过几个步骤为AWS WAF部署仪表板,以及如何利用它发现并阻止Web应用程序攻击。现在,您可以采用同样的基本思路为自己的应用程序部署这套解决方案了。如果您对本文中的解决方案及仪表板有任何建议或反馈,请在下方评论区或者项目的GitHub页面上与我们交流。

在 Amazon EMR 上监控 Spark Streaming 应用程序

如何监控和调优Spark Streaming实时应用程序是一项非常挑战的工作,您需要随时应对环境中发生的种种变化。另外,还需要监控源数据流和作业的输出,从而可以了解全面的情况。Spark是一套非常灵活并且丰富的框架,它能够提供多种方式来对任务进行监控。本文主要探讨了其中一种有效的方法,使用SparkListeners并将提取到的指标与CloudWatch指标相集成,从而实现监控Spark Streaming微批处理程序的性能。

在 Amazon EMR 上使用 Dr. Elephant 与 Sparklens 实现 Hadoop 与 Spark 性能调优

本文介绍了如何在Amazon EMR集群上启动Dr. Elephant与Sparklens工具,以及如何尝试针对计算与内存密集型作业做出优化与性能调整。Dr. Elephant与Sparklens可以帮助大家提高数据集并行性与计算节点利用率,借此加快作业执行速度并提高内存管理效率。凭借工作负载调优与集群并行性控制,这两款工具还能帮助大家克服Spark与Hive作业处理中常见的各类挑战。