概述
本指南演示如何利用 AWS IoT Greengrass 在边缘部署带有本地小型语言模型 (SLM) 的 StrandsAgent,从而在分布式设备实例集中实现稳健的代理操作。可通过本指南帮助组织满足关键运营需求,包括低延迟处理、离线功能以及增强的数据机密性。所述解决方案对于具有严格边缘计算需求的行业尤其有价值,例如机器人、汽车、石油和天然气以及智能家居自动化。通过 Ollama 推理引擎将云支持与边缘处理相结合,企业即使在间歇性连接的情况下也能保持可靠运营,同时确保敏感数据安全地保留在本地。
优势
通过 Ollama 在本地运行基础模型,将 AI 功能直接部署到您的设备实例集。即使云连接受限或不可用,您的运营也能凭借本地智能功能持续不间断地运行。
使用 AWS IoT Greengrass 和 S3,通过集中式工作流程对向数千台边缘设备的 AI 模型分发进行管理。专注于开发智能应用程序,由 AWS 服务处理安全模型部署和设备管理。
使边缘设备能够跨多个数据来源(包括文档和 OPC-UA 工业系统)进行推理。Amazon Strands Agents SDK 的编排能力能够智能地协调专业代理,为复杂查询提供上下文相关的响应。
工作原理
这些技术细节包含一张架构图,用于说明如何有效使用本解决方案。该架构图展示了关键组件及其相互作用,并逐步概述了架构的结构和功能。
自信地进行部署
为部署做好准备了吗? 查看 GitHub 上的示例代码,了解详细的部署说明,以根据需要按原样部署或进行自定义部署。
免责声明
示例代码;软件库;命令行工具;概念验证;模板;或其他相关技术(包括由我方人员提供的任何前述项)作为 AWS 内容按照《AWS 客户协议》或您与 AWS 之间的相关书面协议(以适用者为准)向您提供。您不应将这些 AWS 内容用在您的生产账户中,或用于生产或其他关键数据。您负责根据特定质量控制规程和标准测试、保护和优化 AWS 内容,例如示例代码,以使其适合生产级应用。部署 AWS 内容可能会因创建或使用 AWS 可收费资源(例如,运行 Amazon EC2 实例或使用 Amazon S3 存储)而产生 AWS 费用。
找到今天要查找的内容了吗?
请提供您的意见,以便我们改进网页内容的质量。