AIoT 智变浪潮演讲实录 | 刘浩然：让硬件会思考：边缘大模型网关助力硬件智能革新

4 月 2 日，由火山引擎与英特尔联合主办的 AIoT “智变浪潮”技术沙龙在深圳成功举行，活动聚焦 AI 硬件产业的技术落地与生态协同，吸引了芯片厂商、技术方案商、品牌方及投资机构代表等 700 多位嘉宾参会。

会上，火山引擎边缘智能高级产品专家刘浩然通过“让硬件会思考：边缘大模型网关助力硬件智能革新”主题演讲，分享了边缘计算与大模型结合的前沿实践。火山引擎推出边缘大模型网关，解决 IoT 设备调用大模型的延迟、模型适配与成本痛点，通过接口标准化、多模型支持及边缘缓存等技术优势，实现就近访问与故障转移。同时，联合芯片厂商预置大模型能力，在智能玩具等场景提供定制行业智能体，加速硬件智能化进程。

以下是演讲实录：

大家好！我来自火山引擎边缘计算团队，今天我和大家沟通的主题是“让硬件会思考：边缘大模型网关助力硬件智能革新”。

1.智能终端设备市场趋势及行业痛点

首先来看整体市场发展趋势，2025 年智能终端设备的增长数量和增长率比较高，增长率达到了 18.5%，随后几年增长率将逐步下降，但受益于整体市场，设备的数量规模依然比较庞大，所以增量市场比较可观。在成本层面， 2025 年，大模型的调用使得智能终端云端使用成本也有了较大的增幅，增幅达到 18.5%，这和设备的数量增幅呈现出非常强的正相关性，但在未来几年，智能终端云端调用成本的增幅将逐步放缓，这预示着随着新技术的迭代和应用，整体成本将有下降的趋势。

越早抓住大模型越有利于市场份额的获取，同时行业也面临着一些问题和痛点。

• 首先是响应延迟问题对业务时效性的影响。虽然大模型和 IoT 设备结合后，IoT 设备会变得更加智能，但在某些场景下，设备响应可能迟钝，比如弱网环境或是不恰当地使用模型，导致延时剧增等。斯坦福大学的研究显示，78% 的用户等待超过 3 秒后会产生焦虑，甚至有 15% 的用户会直接放弃交互。因此，在 IoT 设备和大模型结合的价值验证阶段，因时效性带来的用户流失、用户参与度的缺失，对发展都非常不利。

• 其次是多模型、多 Provider 带来的技术复杂度和稳定性保障的问题。大模型时代百花齐放，很多不同的大模型相继问世。大模型有自己的特点，供应商有自己的定价策略，那在什么场景下选择哪个大模型、哪家供应商，才可以使场景应用达到效率和成本的最优？这是一个摆在整个行业面前待解决的技术难题。

• 最后是成本压力对企业运营的制约问题，现在的智能硬件数量急剧增加、生命周期较长，这两个因素叠加导致整体成本居高不下，什么方法才可以降低成本呢？这也是我们团队一直在思考的问题。

2.边缘大模型网关，助力大模型加速落地

针对行业面临的问题和痛点，向大家介绍一下火山引擎边缘智能，它是一个面向边缘领域的能力中台和解决方案的孵化平台，基于边缘计算、人工智能、IoT、大模型等技术能力，为客户提供一整套端边云协同框架和平台应用的开发工具，帮助各行各业以低成本来构建边缘原生的智能体。火山引擎边缘智能主要分成三个产品，边缘智能平台、边缘大模型网关以及物联网平台。

今天重点介绍边缘大模型网关产品。边缘大模型网关支持用户通过一个 API 接口访问多家大模型提供商的模型和智能体，在端侧基于遍布全球的边缘节点就近调用。利用边缘云基础架构的优势，通过语义缓存减少回源，平台显著提高模型访问速度，为终端用户提供更快速、更可靠的 AI 服务体验。同时通过边缘推理服务调用，为终端应用的端边云推理需求提供统一出口，以及推理服务云边调度，实现云端算力卸载。

基于覆盖全国各省市和运营商的边缘节点，边缘大模型网关在更靠近用户的位置提供大模型就近、快速调用，有效降低调用时间、提升调用稳定性、优化调用成本。当前，边缘大模型网关具备 6 大产品优势：

• 第一是接口标准化，网关访问密钥与 OpenAI 的 API 和 SDK 完全兼容，面对多样化的端侧调用场景，方便集成，降低适配成本。

• 第二是支持多种大模型，边缘大模型网关支持调用国内主要的模型提供商与多种大模型、智能体，同时，面向多样化的终端调用场景，支持多模态与大语言模型，满足调用多模型和多智能体的智能需求。

• 第三是边缘缓存，边缘大模型网关利用缓存机制对请求就近存储，并在相同请求发出时就近调用，减少模型调用请求的回源次数，降低成本，为终端用户提供更快速、更可靠的 AI 服务体验。

• 第四是就近访问，基于端侧请求发起位置，边缘大模型网关将请求就近路由到网络延时最低的节点，加速服务响应，提升服务质量。

• 第五是自动重试，当请求调用超时或失败时，边缘大模型网关支持自动重试请求，降低手动运维成本。

• 第六是故障转移，单模型故障时，边缘大模型网关支持自动切换备用模型，确保服务的连续性和可靠性。

同时，通过预置多领域 AI 智能体，涵盖语音对话、文字识别、目标检测、工业质检等 AI 能力，支持一键调用，助力快速构建场景化解决方案，边缘大模型网关希望把大模型相关的一系列功能以简单的方式提供给用户，形成一站式解决方案。

除了在应用链路层提供保障调用稳定性、降低时延、提高效率等能力，边缘大模型网关也提供 AI 能力与服务，比如无缝兼容豆包大模型，同时预置了方舟大模型平台以及团队自研的模型和智能体，用户可以按需访问，而且可以上传自己训练的大模型，还可以基于预置智能体做编排、修改，上传自己开发的智能体，在边缘侧直接获取大模型能力。通过云边协同，实现快速响应。

随着 Al+硬件的市场化程度持续提升，硬件制造厂商对于 AI 服务的集成与管控诉求也在持续扩展。比如对智能终端的长期维护、单台设备的 AI 服务用量管理等围绕智能终端生产全流程带来的问题，边缘大模型网关结合智能设备管理底座给出新解法。

面向市场需求，我们重磅升级了端智能解决方案，打通边缘大模型网关和智能设备管理平台，全面推出端智能实例。用户通过端智能实例提供的 OneSDK ，就可以完成设备接入、AI 服务调用、设备用量统计以及制定智能服务调用策略等，实现对智能硬件的全流程管理。

3.边缘 AI 解决方案

边缘是最靠近用户的位置，很多的场景与边缘有天然结合的可能，针对具身智能、端智能芯片、智能玩具、仓储物流、创新教育、智慧园区等场景，边缘 AI 打造了针对性的场景解决方案：

• 具身智能：端云协同计算底座与边缘 AI 结合，助力机器人场景应用开发，加速具身智能产业发展。

• 端智能芯片：结合边缘架构优势与芯片生态，实现大模型就近调用，为 AI 应用生态建设提供底座。

• 智能玩具：基于语音对话智能体解决方案，赋能玩具语音能力，助力大模型抵达用户"最后一公里"。

• 仓储物流：对物流感知设备做精细化接入管理，实现打包台视频质检、SKU 的 AI 自动测量。

• 创新教育：围绕云-边-端架构及场景应用构建方式，拓展校企合作新模式。

• 智慧园区：依托设备接入、边缘推理等能力实现地产园区的数字化运营。

下面以芯片与智能玩具为例，详细拆解边缘大模型网关如何助力硬件快速接入大模型。

3.1 边缘大模型网关-AI 芯片解决方案

针对芯片行业的调研表明，随着终端设备的 AI 应用生态愈加丰富，从端侧设备发起的 AI 服务调用越来越多，终端客户对芯片会提出更高的要求，不仅要求低功耗、高性能、更强的硬件性能，还希望芯片厂商能够在开发板侧提供面向终端场景的 AI 调用资源。

面向端侧设备调用的场景，边缘大模型网关深度适配芯片的兼容性，利用边缘的天然优势，基于端侧请求发起位置就近调用大模型服务，并通过大模型网关的产品能力提升响应速度，保障调用稳定性。通过边缘大模型网关-AI 芯片解决方案，可以实现芯片出厂时自带大模型能力，同时针对单个芯片实现用量限制、用量统计等，方便终端客户对芯片的能力、用量和场景实现深度的管控，拓展整体应用场景。

边缘大模型网关-AI 芯片解决方案帮助终端设备实现了大模型的就近接入与查询加速，以更低的价格、更快的速度按需调用；同时，方案为每一片芯片提供唯一的身份验证，让端侧使用大模型更加安全可靠；此外，方案为芯片厂商的终端设备 AI 应用生态建设提供了产品与技术底座。具体来看，方案具备 5 个优势：

• 调用认证：支持通过对称解密判断请求合法性，验证请求发起的终端设备与芯片厂商的关联关系。

• 语义缓存：支持开启语义缓存配置并设置缓存时间周期，降低调用成本，减少回源时间。

• 调用顺序：支持针对网关访问密钥可调用的模型设置调用顺序，调用失败时依据调用顺序自动重试。

• 多种模型：提供了包括大语言模型与多模态大模型的多种模型选择，可结合分发策略自由选择模型。

• 数据监控：提供了设备维度、用户维度等多种维度的数据用量看板，实现调用趋势的可视化展示。

3.2 边缘大模型网关-智能玩具解决方案

相比 AI 芯片解决方案，智能玩具解决方案的场景更加聚焦。随着少年儿童的成长与社会娱乐活动的演进，传统的陪伴玩具在新时期已经无法满足少年儿童的情感陪伴需求。通过科技化手段与 AI 能力为青少儿提供陪伴成为了玩具厂商的新发力点。

面向端侧设备调用的场景，边缘大模型网关可以定制行业智能体，例如针对智能玩具场景打造的玩具智能体具备记忆、技能、知识、编排工作流和图像流等能力，智能体利用大模型网关的就近调用天然优势，基于端侧请求发起位置为智能玩具注入 AI 响应能力，提升响应速度。

同时，边缘大模型网关为终端智能玩具提供以大模型为底座的智能体就近调用提供一站式解决方案，助力大模型抵达用户“最后一公里”。具体来看，方案具备 3 个优势：

• 标准接口：通过提供与 OpenAI 的 API 和 SDK 完全兼容的调用接口，面向端侧场景实现快速调用。

• 场景化智能体：面向青少儿陪伴玩具场景孵化而成的场景化智能体，一站式构建陪伴玩具 AI 能力。

• 流式调用：通过 WebSocket 协议实现语音对话流式调用，面向语音场景实时诉求提高可用性。

目前，火山引擎边缘智能已在多个行业场景落地，在这里也感谢用户和伙伴一贯的支持和帮助。面向未来，边缘智能团队将持续致力于开发更多优质功能，也希望携手各方伙伴共同把握时代发展机遇。

以上就是我的分享，谢谢大家！