看家护娃陪餐一个都不少！华来科技利用生成式 AI 解锁智能摄像头 5 大新玩法

作为智能家居和智慧安防电子产品的领先供应商，华来科技一直致力于为用户提供简单、易用的智能家居和智能安防产品及解决方案。近几年来，智能家居和智能安防领域竞争愈加激烈，其中的主力产品摄像头早已成为红海赛道。华来科技计划引入生成式 AI 赋能产品创新和提升产品差异化，生成式 AI 部署则采取 “三步走” 的方式来推进：首先，借助大模型多模态能力开发生成式 AI 新功能，打造智能摄像头；其次，构建自有 AI 工具链，并作为服务提供给终端用户；第三，引入或开发垂直领域大模型以更有效适配智能家居场景。当前，华来科技处在第一阶段，即借助大模型多模态能力打造具备生成式 AI 功能的智能摄像头，服务于终端用户多种场景。然而，在此过程中，华来科技遇到了不少挑战：

• 生成式 AI 对技术门槛高，华来科技缺乏将生成式 AI 技术和大模型赋能产品设计的经验，同时在产品工程化落地方面缺乏工具支撑，学习成本高、周期长将影响产品开发和上市速度；
• 业界大模型不断推陈出新，如何选择性价比的模型，在适配自身业务场景的基础上，控制新品研发总体成本？
• 智能摄像头在海外不同国家提供服务时，需要满足多语言要求，如何选择合适的大模型更好地将生成式 AI 功能输出的语言适配本地化，是华来科技的重要考虑；
• 华来科技对海外区域的安全合规要求陌生，不同国家/区域的监管法规和对数据隐私安全的要求不同，如何在满足业务需求时满足法律法规，并消除用户的顾虑，也是华来科技的主要挑战之一。

华来科技自 2017 年开始与亚马逊云科技合作，借助亚马逊云科技快速开拓美国、日本、英国等海外业务并保障业务稳定运行，目前已经将所有上云业务都部署在亚马逊云科技上。对于生成式 AI 应用，华来科技起初尝试在其展厅参观路线图中通过摄像头抓拍来访者在各展点的逗留照片，与亚马逊云科技合作，利用大语言模型生成整个参观路线中的图文总结，用于园区政府部门的新闻稿披露等。2023 年 3 月以来，华来科技携手亚马逊云科技探讨生成式 AI 技术在智能家居中的应用并打造智能摄像头，延续双方在生成式 AI 合作的新篇章。

对绝大多数用户来说，安防只是摄像头的核心场景之一，更多的用户可借助摄像头的远程监控能力实现对特定区域和对象的看护和观察。华来科技把智能摄像头的核心场景定义为 “看家”、“看娃”、“看宠物”，满足用户更加丰富的使用场景，并计划面向日本、美国等区域用户开发新的智能摄像头，并在这些场景中利用生成式 AI 自动作出判断和分析，减少用户干预。

• 看护孩子：智能摄像头持续观察并记录孩子开心、有趣的时刻，识别危险情境和行为，由大模型总结孩子的状态并提供给用户；
• 看宠物：智能摄像头对宠物的喝水排便饮食等情况进行统计，由大模型分析宠物行为是否正常、身体是否健康；
• 陪餐：针对摄像头日本老龄化程度重、独居人群多的情况，可将摄像头置于家庭中心，陪伴这些人吃饭记录并与人交互；
• 侦探：不同于传统的监测、报警功能，除了告知有人闯入，引入角色描述特点，通过细微观察提供车辆、人物等更详细信息，通过侦探视角将所见描述出来；同时对每天拍摄的海量视频/图片进行语义分析，对相似画面进行分类管理，减少用户观看相似图片时间。

智能摄像头要具备以上这些功能，需要做到感知、决策和执行三个步骤。

• 感知：从摄像头获取视频流，理解画面当中正在发生的事情，把视频做切片，以抽帧的方式传输给模型，然后大模型根据抽帧规则，利用大模型的多模态图生文能力，读取每一帧到底发生什么；
• 决策：读取内容后进行内容生成和加工，利用大模型对内容进行语义理解，提取关键特征做出判断，比如在看护宝宝场景中，关注重点是宝宝现在是否有危险、心情、状态等，需要大模型据此作出判断或建议；
• 执行：接下来大模型需要做出下一步的判断，根据提示词构建的规则来决定是否推送给用户、过滤掉信息或是生成总结等，并触发相应的执行动作。

亚马逊云科技 Amazon Bedrock 上可通过一个 API 访问来自众多领先人工智能公司的高性能基础模型。为适配不同功能需求，华来科技在亚马逊云科技的助力下，通过 Amazon Bedrock 便捷调用不同模型并运行公司的数据集，根据运行效果来选择不同的模型。华来科技通过 Amazon Bedrock API，针对抽帧后的图片理解采用某业界领先大模型，针对图片搜索采用 Amazon Titan Multimodal Embeddings 模型， 根据当天视频生成一日总结则采用了其它大模型。

借助业界领先大模型丰富的多模态能力和亚马逊云科技 Amazon Titan Multimodal Embeddings 模型的图片管理和多模态搜索能力，华来科技针对儿童看护、宠物日常活动分析、就餐陪伴、家居安防等 5 个用户最关注的场景陆续推出了生成式 AI 新用用：宝宝保姆 “奈绪”、猫咪观察员 “桃”、小狗观察员 “丸”、吃饭妖怪 “饭君”，以及侦探 “ViewSay” 。

此外，华来科技还基于亚马逊云科技多模态视频分析解决方案指南开发了 “多模态视频分析智能产品增值订阅服务” 平台，提供 App 订阅服务，终端用户可通过订阅这些服务使用智能摄像头的 5 项生成式 AI 功能，获取就餐陪伴、宠物日常活动分析、儿童看护、家居安防增值服务。
 

摄像头硬件在过年数年已经进入瓶颈，厂商间的竞争逐渐进入到比拼参数阶段，华来科技借助亚马逊云科技推出具备生成式 AI 功能的智能摄像头，不再局限于移动物体的简单识别，5 项生成式 AI 功能让其成为具备感知能力、决策能力的智慧视觉，显著增强了用户在儿童看护、宠物日常活动分析、就餐陪伴、家居安防等复杂场景的体验，让华来科技在摄像头这个传统拥挤赛道闯出新机，赢得竞争优势。

生成式 AI 作为新兴技术，对于华来科技新技术的引入往往意味着学习周期长，对研发和业务人员能力要求高。有了亚马逊云科技从 Demo 展示、场景讨论、概念验证、系统集成与内测，到产品发布过程的全方位助力，华来科技于 2024 年 6 月 25 日领先于业界友商率先面向日本用户正式发布新一代家用智能摄像头。该智能摄像头仅用了 4 个月时间即实现了发布，与采用传统机器学习技术，从业务构思到实际部署约需 1-2 年的周期相比，产品上市时间显著缩短。

华来科技基于亚马逊云科技推出了多模态视频分析智能产品增值订阅服务，在现有活跃设备用户中的订阅率达到了 13%。除订阅费用外，更重要的是驱动华来科技从摄像头硬件提供商向智能硬件 +SaaS 服务提供商转变，业务模式升级将提升盈利能力和用户粘性。终端用户在华来科技智能摄像头配套软件上订阅这些服务后，华来科技可识别出对生成式 AI 感兴趣的用户群体，推动他们成为公司其它 AI 相关硬件产品的潜在用户。此外，生成式 AI 使能创新，让华来科技与提供 OEM 服务的白牌厂商相比获得差异性竞争机会，打造自有品牌产品，收获长期商业价值。

接下来，华来科技和亚马逊云科技的合作重点计划之一是推出智能摄像头对话机器人，基于摄像头与用户聊天数据，以及不同摄像头或端侧设备之间的联动，通过大模型对这些数据进行联动分析处理，同时确保聊天中的准确率和安全性，打造更智能的聊天机器人。未来，双方将继续携手探索生成式 AI 在智能家居领域的更多场景应用，如老人看护、吃播等。