利用 Amazon SageMaker 帮助 EagleView 降低成本和减少处理时间

EagleView 将航空影像与机器学习、计算机视觉和分析工具结合使用，以便为建筑、房地产、保险、紧急服务和能源等行业的客户提供洞察。为了收集图像，EagleView 运营着一个全国性的固定翼飞机网络，覆盖了美国 90% 到 95% 的国土以及加拿大的大部分国土。这些飞机拍摄的图像具有超高分辨率，清晰度是标准航空照片的 4 倍、卫星影像的 70 倍。该机组每年拍摄 10 亿多张图像，航程长达 950 万英里。

随后，该公司的图像处理系统使用专有的 EagleView 算法识别和提取各种信息。例如，它可以检测结构并提取房屋属性。它需要对某些商业案例进行近乎实时的推理，因为这些商业案例的服务水平协议非常严格，要求将延迟控制在几分钟内。

EagleView 于 2019 年成立，最初只是一个小型团队，并只使用在 Amazon Elastic Kubernetes Service（Amazon EKS）上运行的几个基本对象检测机器学习模型。Amazon EKS 是一项在 AWS 和本地数据中心运行 Kubernetes 的托管式 Kubernetes 服务。该团队的 Amazon EKS 基础设施完全能够处理基础机器学习模型，但由于 EagleView 快速增长并向新的行业扩张，他们需要更强大的解决方案来处理日益复杂的使用案例。

随着对机器学习的需求不断增长，EagleView 遇到了大量工作负载带来的挑战，系统必须同时处理数千个请求。该团队开始难以满足他们的 SLA 要求。因此，该公司找到了一个高性能的机器学习解决方案，以帮助管理他们用来提取图像数据的大型管道。该团队决定使用 Amazon SageMaker，以便与他们的其他 AWS 服务顺利集成。

“我们希望以标准化方式部署具有自动扩展功能的模型，”EagleView 机器学习主管 Bishwarup Bhattacharjee 表示。“我们需要一个具有很多开箱即用功能的框架，这就是我们选择 Amazon SageMaker 的原因。

2021 年，EagleView 团队开始探索如何使用 Amazon SageMaker 并构建概念验证。该公司在 8 个月内将他们的两个管道迁移到了 Amazon SageMaker。在此过程中，EagleView 得到了 AWS 团队的支持，以快速解决一些托管问题。此外，EagleView 还与 AWS 团队一起参加了一些培训和讨论会议，以深入了解 Amazon SageMaker 的功能。

“我们的使用案例有时非常复杂，尤其是需要使用不同类型的端点，”Bhattacharjee 说道。“AWS 为我们提供了支持，以帮助我们应对这些挑战，实在是太棒了。”

该团队一直在使用 NVIDIA Triton 推理服务器来部署他们的计算机视觉模型。无需解决复杂的配置，EagleView 在 Amazon SageMaker 上使用集成的 NVIDIA Triton 推理服务器容器，简化了所有模型的迁移。

由于他们在使用原始基础设施，该团队需要对他们的模型进行大量配置和调试，以执行大型批处理。而现在，通过 Amazon SageMaker 推理，可以在 EagleView 的大型批处理管道上处理数百万个图像。该团队以前需要 16 个小时才能处理 1000 平方英里的航空影像。而迁移之后，该团队只需 1.5 小时即可处理这些图像，这意味着处理时间减少了 90%。如此高的效率能够帮助该团队实现在 1 年内处理 1PB 数据的目标。

”迁移到 Amazon SageMaker 之后，我们提高了流程的可靠性，“EagleView 的解决方案架构师 Bhavesh Savalia 表示。”由于不必花时间进行优化，因此我们可以将下一个管道投入运营并支持更大的工作负载。”

通过在 Amazon SageMaker 上使用近乎实时的推理端点，EagleView 将他们的模型性能提高了 3 到 4 倍。该系统的稳定性也大大提高，因此该团队可以在不影响 SLA 分辨率的情况下支持更大的推理负载。通过使用 Amazon SageMaker 异步推理（对传入的请求进行排队并异步处理），当没有任何需要处理的请求时，EagleView 会将实例计数自动调整为零，从而节省成本。总体而言，迁移之后，EagleView 已经节省了 40% 到 50% 的成本。

“通过使用 Amazon SageMaker 部署我们的模型，我们节省了大量成本并获得了性能优势，”Savalia 说道。“现在，我们可以根据需求进行扩展，并使用更具成本效益的机器实现更高的性能。”