概览
概览
在自动驾驶数据闭环的业务场景中，企业面临的挑战是难以高效的从 PB 级的视频和图片中选取有价值的数据，以训练和优化自动驾驶算法。为解决该挑战，亚马逊云科技利用大语言模型和图像文本多模态嵌入空间架构，构建自动驾驶场景检索解决方案指南，为自动驾驶科技公司及车企提供简便易用的自动驾驶场景检索体验。该指南基于 Amazon Bedrock、Amazon SageMaker、Amazon OpenSearch 等服务构建。
在自动驾驶数据闭环的业务场景中，企业面临的挑战是难以高效的从 PB 级的视频和图片中选取有价值的数据，以训练和优化自动驾驶算法。为解决该挑战，亚马逊云科技利用大语言模型和图像文本多模态嵌入空间架构，构建自动驾驶场景检索解决方案指南，为自动驾驶科技公司及车企提供简便易用的自动驾驶场景检索体验。该指南基于 Amazon Bedrock、Amazon SageMaker、Amazon OpenSearch 等服务构建。
优势
优势
通过多模态检索，用户可以快速访问和分析庞大数据集中的相关数据，简化了自动驾驶系统的开发和测试过程。
通过多模态检索，用户可以快速访问和分析庞大数据集中的相关数据，简化了自动驾驶系统的开发和测试过程。
借助文搜图和图搜图技术帮助检索特定驾驶场景，节省了手动筛选大量数据的时间，节省了人力资源及成本。
借助文搜图和图搜图技术帮助检索特定驾驶场景，节省了手动筛选大量数据的时间，节省了人力资源及成本。
借助亚马逊云科技服务的可扩展性和高性能，该方案可以帮助用户处理大型数据集，并随着数据需求的增长自动拓展云端资源，使用户能够加速自动驾驶系统的开发和验证，更快、更高效地将更安全、更可靠的自动驾驶汽车推向市场。
借助亚马逊云科技服务的可扩展性和高性能，该方案可以帮助用户处理大型数据集，并随着数据需求的增长自动拓展云端资源，使用户能够加速自动驾驶系统的开发和验证，更快、更高效地将更安全、更可靠的自动驾驶汽车推向市场。
架构图及说明
用户通过前端客户端输入搜索查询并访问数字资产。
API Gateway 将输入查询传递给搜索和问答组件,该组件包含 AWS Lambda 函数、Amazon OpenSearch 和模型库。Lambda 函数将从 OpenSearch 检索搜索结果,并将结果返回给 API Gateway。如果搜索类型是向量，Lambda 函数将使用嵌入模型获取输入图像 / 文本向量。
Lambda 函数将传递图像或视频帧到自动标注组件。该组件利用托管在 Amazon SageMaker 端点上的 Amazon Bedrock 或 Recognize-Anything 模型为提供的视觉数据生成标签。
架构图及说明
用户通过前端客户端输入搜索查询并访问数字资产。
客户端将输入的查询或操作传递给 Amazon API Gateway，并从 API Gateway 接收响应。
API Gateway 将输入查询传递给搜索和问答组件,该组件包含 AWS Lambda 函数、Amazon OpenSearch 和模型库。Lambda 函数将从 OpenSearch 检索搜索结果,并将结果返回给 API Gateway。如果搜索类型是向量，Lambda 函数将使用嵌入模型获取输入图像 / 文本向量。
Lambda 函数从 Amazon Simple Storage Service (Amazon S3) 检索原始图像。然后,如第 3 步所述,返回搜索请求。
Lambda 函数将传递图像或视频帧到自动标注组件。该组件利用托管在 Amazon SageMaker 端点上的 Amazon Bedrock 或 Recognize-Anything 模型为提供的视觉数据生成标签。
.770f164f68c5d78fda7851fb65fb6e87917324fa.png "探索所有亚马逊云科技解决方案")
.a946cb579fc09577bd78f0c5d0c56775fef4fd28.png "查找合作伙伴")
.3db3ee7cfb55628d41dfbe6bb7a1e68511ac321f.png "开始在控制台中构建")