从Apple Intelligence到IoT Intelligence,端侧生成式AI时代加速到来
9月10日凌晨1点,苹果新品发布会如期举行,全新iPhone16系列成为苹果生态中真正意义上的第一款原生AI手机,在第二代3nm工艺A18和A18 Pro芯片的加持下,iPhone16系列能够容纳并快速运行以Apple Intelligence为中心的生成式AI功能在手机端侧运行。用库克的话说:“新一代iPhone彻彻底底为Apple Intelligence打造”。
本次发布会的主要亮点除苹果新增的相机控制按钮外,主要集中在苹果对AI生态的全面构建方面。在理解苹果发布会的新功能之前,先带大家回顾一下苹果在生成式AI方面的主要成果。具体来说,苹果开发了两种全新基础语言模型,构成了苹果Apple Intelligence的核心:一个是可以在苹果云服务器中运行的较大参数的大语言模型(LLM),称为AFM-server,专为密集型任务设计,并使用私人云计算(Private Cloud Compute)的系统来保护用户数据;另一个是端侧小语言模型(SLM)AFM-on-device,大约有30亿参数,通过对大语言模型进行剪枝、蒸馏,并通过精选的高质量数据训练和架构调整而来,优化后可以在iPhone和其他终端设备上运行,具备更高效率和响应能力。
▌苹果为何可以称为重新定义了AI手机?
苹果的AI战略通过整合操作系统、软件、模型和数据,强化了对应用场景的理解,训练出了能够深刻洞察用户需求并帮助用户决策的AI Agent。
简单来讲,相较于各类传统的生成式AI应用工具,苹果将AI功能融合到用户使用手机的每一个环节,通过手机端侧运行的小语言模型能力让智能手机真正成为日常生活、办公、娱乐的私人管家,它会收集整理手机端本地的各类信息,在用户使用或有需要时主动提供建议或直接帮助实现。并且因为其端侧模型在本地运行的特性,可以充分保护用户的隐私信息安全、提升信息反馈效率。可以说每一个搭载了AI功能的苹果手机都是一个独立的个体。
▌为何大厂们最终选择了端侧AI赛道?
在大语言模型产品的实际应用中,从业者们逐渐意识到大模型存在产品训练成本高、算力需求高、资源消耗大等难点,以及应用适配性差、网络传输不稳定等缺点。在此背景下,AI模型的发展正在着力摆脱网络、参数的多方限制,努力向更简单、更小体量,为应用场景量身定制和跨应用生态的智能化转变。在端侧AI的实际应用方面,2023年3月谷歌推出参数规模达5620亿的PaLM-E的大模型,并在同年10月发布搭载Google AI基础功能的Pixel 8系列手机。2023年11月,vivo发布1750亿规模的自研蓝心大模型,落地终端侧70亿参数大语言模型;2024年9月6日,荣耀CEO赵明在2024德国柏林消费电子展IFA上面向全球推出行业首个跨应用开放生态AI Agent。
不难看出,端侧小模型将成为未来智能手机乃至各类智能终端的语言模型应用样本。IDC(国际数据公司)预计2024年全球新一代 AI 手机的出货量将超过1.7亿部,约占智能手机整体出货量的15%,Counterpoint预计2027年出货量达到5.22亿部,渗透率达到40%。
从大厂们的选择不难看出,随着端侧算力的提升,端侧AI成为大模型终端落地的最优解,模型语言与应用生态融合发展的AI Agent成为未来的趋势。随着软硬件技术的高速发展,相信除智能手机外,各类IoT终端产品也将逐步落地端侧AI,相关硬件算力和通信交互需求也将持续增长。
▌美格智能持续加码高算力AI模组研发,与行业伙伴共建端侧AI新生态
洞察到端侧AI的优势和广阔前景,美格智能围绕高算力、大带宽、低功耗、广链接,打造多款高算力AI模组产品,为端侧小语言模型落地提供12Tops~48Tops算力支持。
在模组强大算力的支持下,不仅能够在模组上成功运行Stable Diffusion、LLaMA-2、通义千问Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna等大模型产品,展现出卓越的边缘端大模型部署能力,同时模组产品丰富的外围接口,能够以AI模组的形式将语音识别、机器视觉、导航、定位、避障和多模态技术通过各种传感器植入到终端侧,帮助终端产品快速收集和整合信息,打造不断学习进步的智能“大脑”,助力客户快速实现端侧AI落地应用,节约开发成本。
同时,面对端侧AI与物联网生态融合发展的新趋势,美格智能以智能车载为切入打造端云协作的智能物联网解决方案。以美格智能在2023年即已发布的车规级5G R16/R17 + C-V2X系列模组为例,该模组具备的5G通信能力和高算力成为端侧+云端结合的混合式AI的落地形式之一,可广泛应用于AI Agent智能座舱、高阶辅助驾驶、无人驾驶、车路云一体化相关领域。
在通信方面,相关模组产品符合3GPP Release 16/17标准,支持5G NR 独立组网(SA)和非独立组网(NSA),兼容全球主流国家和地区的频段,支持选配C-V2X功能,使用全球统一的ITS 5.9GHz频段部署V2X应用,可采用PC5 Mode4模式直连通信,内置ECDSA硬件引擎,可实现高达6000次/秒的C-V2X验签性能,具备在高速移动环境中提供远距离传输、大带宽、低延时连接的优越性能;在算力方面,模组内置多核心CPU处理器,最大支持22K的算力,在充足算力的支持下,车辆可基于C-V2X构建网联智能,实现由端侧车载计算、路侧边缘计算和中心云计算构成的分级、网络化智能决策与控制,快速进行如车辆碰撞预警、车速引导、红绿灯信息获取等应用。
端侧AI是大模型技术落地的最优解,而端侧AI与云侧大模型协同的混合式AI被行业从业者称为“大模型时代的终极范式”,充分适配智能座舱、智能机器人、手持终端、AR/VR眼镜等产品,成为人工智能落地应用的新方向。同时混合式AI生态的发展又对终端的无线通信能力和算力提出了新的要求,集成了4G/5G 通信能力和高算力芯片以及众多功能接口的智能模组和高算力AI模组,或将成为智能终端厂商们的首选。
从苹果的选择来看,随着端侧算力的不断增长和大模型技术的持续演进,终端侧AI与混合式AI或许将成为大模型时代的最终选择。美格智能也将持续不断推出高算力模组和智能模组解决方案,以模组+解决方案双轮驱动,支持更广泛的垂直领域和合作伙伴共同引领生态发展,以先进的无线通信和AI技术加快实现万物智联的美好愿景。
相关文章:

从Apple Intelligence到IoT Intelligence,端侧生成式AI时代加速到来
9月10日凌晨1点,苹果新品发布会如期举行,全新iPhone16系列成为苹果生态中真正意义上的第一款原生AI手机,在第二代3nm工艺A18和A18 Pro芯片的加持下,iPhone16系列能够容纳并快速运行以Apple Intelligence为中心的生成式AI功能在手机…...

智能AC管理系统HTTPD-AC 1.0服务存在未授权访问漏洞
@[toc] 智能AC管理系统HTTPD-AC 1.0服务存在未授权访问漏洞 免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该文章仅供学习用途…...

Sidewalk介绍
目录 1 前言2 简介2.1 注意事项 3 结束语 1 前言 Sidewalk是Amazon出的一个针对IoT物联网的协议,类似于LoRaWAN协议,针对小而美的低功耗设备。Amazon Sidewalk支持低带宽和远程连接,使用BLE进行短距离通信,使用900MHz的频率的LoR…...

Java数据结构 (泛型第二节) 泛型擦除机制/泛型的限制/上界下界
书接上回:Java数据结构 (泛型第一节) 为什么要有泛型/泛型语法/泛型方法-CSDN博客 访问作者Github: https://github.com/Joeysoda/Github_java/blob/main/20240908%E6%B3%9B%E5%9E%8B/src/%E6%B3%9B%E5%9E%8B.java 目录 1. 为什么要有擦除机制? 2. 类…...

数据安全标准在非结构化数据中台的遵守
在数字化转型的浪潮中,非结构化数据中台作为企业数据管理的核心枢纽,承载着海量且多样的数据资产。这些数据不仅关乎企业的运营决策,更涉及客户隐私、商业机密等敏感信息。因此,确保非结构化数据中台遵守数据安全标准,…...

探索Go语言中的Goroutine并发机制
什么是Goroutine 在Go语言中,Goroutine 是程序中最基本的并发单位。事实上,每个Go程序都会自动创建一个goroutine,那就是主goroutine,程序启动时会立即执行。Goroutine是Go语言中处理并发问题的核心工具,因此理解它的工作原理至关重要。 简而言之,Goroutine是并发执行的…...

实现实时Web应用,使用AJAX轮询、WebSocket、还是SSE呢??
文章目录 短轮询(Short Polling)长轮询(Long Polling)Comet “服务器推” (这玩意现在用的很少了,了解一下即可)WebSocket原理:方法:事件: SSE原理事件 总结 …...

3GPP协议入门——物理层基础(一)
1. 频段/带宽 NR指定了两个频率范围,FR1:通常称Sub 6GHz,也称低频5G;FR2:通常称毫米波(Millimeter Wave),也称高频5G。 2. 子载波间隔 NR中有15kHz,30kHz,6…...

关于Java数据结构中集合的一个小知识
在我们以后刷题的过程,我们会遇到一些奇怪的集合数据类型。 如下图 这里,我们以顺序表的集合类为例,我们看到上图函数的返回值类型有点奇怪,其实并不奇怪,也就是穿过去的参数类型是一个顺序表的集合类型,也…...

leetcode41. 缺失的第一个正数,原地哈希表
leetcode41. 缺失的第一个正数 给你一个未排序的整数数组 nums ,请你找出其中没有出现的最小的正整数。 请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。 示例 1: 输入:nums [1,2,0] 输出:3 解释…...

如何准备教师资格证科目三“学科知识与教学能力”的考试与面试?(理科导向:数学/物理)
如何准备教师资格证科目三“学科知识与教学能力”的考试与面试?(理科导向:数学/物理) 目录 收起 1 前言 1.1 自身经历 1.2 教师资格证的作用 2 知识点题型分数的分布与学习建议 2.1 科目三的知识点分数分布: …...

3.数据类型
作业系统链接 Python 是一门面向对象友好的语言,支持多种内置数据类型,包括整数(int)、浮点数(float)、布尔值(bool)、字符串(str)、列表(list&am…...

Xcode报错:No exact matches in reference to static method ‘buildExpression‘
Xcode报错1:No exact matches in reference to static method buildExpression Xcode报错2:Type () cannot conform to View 这两个报错都是因为在SwiftUI的View的Body里面使用了ForEach循环,却没有在ForEach循环闭包的内部返回视图,而是做了…...

校园安全无小事,EasyCVR视频综合管理平台助力智慧校园视频监控系统全面升级
随着信息技术的飞速发展,智慧校园作为教育信息化的重要载体,正逐步成为提升校园安全管理、优化教育资源配置、增强师生互动体验的关键手段。其中,高效、智能的视频监控系统作为智慧校园不可或缺的一部分,扮演着至关重要的角色。TS…...

通过Python代码发送量化交易信号邮件通知
量化交易利用数学模型和计算机算法来分析市场数据,并生成交易信号,本文将介绍如何使用Python编写一个简单的脚本,通过发送邮件通知量化交易信号。 开启SMTP服务 首先要在发件箱的邮件设置中,将POP3/SMPT服务开启,记录下授权密码,在本地可通过此密码登录,注意有效期和保…...

计算机毕业设计 乡村生活垃圾管理系统的设计与实现 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试
🍊作者:计算机编程-吉哥 🍊简介:专业从事JavaWeb程序开发,微信小程序开发,定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事,生活就是快乐的。 🍊心愿:点…...

Qwen 2.5:阿里巴巴集团的新一代大型语言模型
Qwen 2.5:阿里巴巴集团的新一代大型语言模型 摘要: 在人工智能领域,大型语言模型(LLMs)的发展日新月异,它们在自然语言处理(NLP)和多模态任务中扮演着越来越重要的角色。阿里巴巴集…...

Element UI入门笔记(个人向)
Element UI入门笔记 将页面分割为一级菜单、二级菜单、导航栏三个部分;使用npm下载安装,使用语句npm i element-ui -s; 布局组件 el-form 用于创建和管理表单;从属性上看: :model:用于双向数据绑定,将表单…...

网络通信失败-关闭网络防火墙
0、报错描述1、分析2、解决办法 0、报错描述 在进行树莓派和PC端的网络通信的时候, 使用树莓派作为服务端,PC端作为客户端的时候,能成功通讯。 使用树莓派作为客户端,PC端作为服务端的时候,却发现通信失败。 体现在没…...

基于kolla-ansible在openEuler 22.03 SP4上部署OpenStack-2023.2
测试环境 openEuler-22.03-LTS-SP4-x86_64-dvd.iso Virtual Box,4 vCPU, 8G RAM, 50 vDisk。安装时删除/home,SWAP分区,全部空间给/目录。 目标是部署OpenStack All-In-One模式,控制节点计算节点存储节点在一台机器实现。 系统配…...

深拷贝|浅拷贝
目录 1. 深拷贝(Deep Copy) 2. 浅拷贝(Shallow Copy) 3. 深拷贝和浅拷贝的区别 4. 示例代码 浅拷贝示例 深拷贝示例 5.常用的方法 1.Java Object.clone() 方法 2.序列化与反序列化 6.Spring Boot 中的常用方法 使用 Se…...

图像处理-掩码
文章目录 一、简介二、主要用途三、代码实现四、掩码优缺点1.优点2.缺点 一、简介 在图像处理中,掩码(Mask)是一种特殊的图像,用于指定对原始图像进行操作的区域。掩码通常是二值图像(即图像上的每个像素只有两个可能…...

[2025]基于微信小程序慢性呼吸系统疾病的健康管理(源码+文档+解答)
博主介绍: ✌我是阿龙,一名专注于Java技术领域的程序员,全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师,我在计算机毕业设计开发方面积累了丰富的经验。同时,我也是掘金、华为云、阿里云、InfoQ等平台…...

react之jsx基础(1)概念和本质
文章目录 JSX 的基本概念1. **语法**2. **表达式**3. **属性**4. **子元素** JSX 的编译过程1. **转换成 JavaScript**2. **React 元素** JSX 的实际应用1. **组件定义**2. **组件嵌套** 总结 当然,以下是对 JSX 的详细讲解,包括其基本概念、语法、编译过…...

sqli-labs靶场自动化利用工具——第13关
文章目录 概要整体架构流程技术细节执行效果小结 概要 Sqli-Labs靶场对于网安专业的学生或正在学习网安的朋友来说并不陌生,或者说已经很熟悉。那有没有朋友想过自己开发一个测试脚本能实现自动化化测试sqli-labs呢?可能有些人会说不是有sqlmap&#…...

大舍传媒:尼日利亚传统新闻媒体宣传助力新兴行业蓬勃发展
大舍传媒:尼日利亚传统新闻媒体宣传助力新兴行业蓬勃发展 在全球化的浪潮下,媒体作为信息传播的重要渠道,对于促进行业发展和推动社会进步扮演着举足轻重的角色。特别是在非洲大陆上人口最多、经济最发达的国家——尼日利亚,传统…...

ISSTA 2024盛大开幕:中国学者的录取数和投稿量均位列第一
随着夏日的尾声,全球软件测试领域的专家和学者齐聚在奥地利维也纳。共同参与这场科技盛宴——ISSTA 2024。这场国际会议正如火如荼地进行中,吸引了来自世界各地的专业人士参与。 会议实况: 9月16日与17日,大会安排了丰富的社交活…...

HttpMediaTypeNotAcceptableException: No acceptable representation问题解决方法
Background org.springframework.web.HttpMediaTypeNotAcceptableException: Could not find acceptable representation HttpMediaTypeNotAcceptableException: No acceptable representation 异常通常发生在Web应用程序中,客户端请求了一个资源,但是…...

Scrapy爬虫框架 Pipeline 数据传输管道
在网络数据采集领域,Scrapy 是一个非常强大的框架,而 Pipeline 是其中不可或缺的一部分。它允许我们在数据处理的最后阶段对抓取的数据进行进一步的处理,如清洗、存储等操作。 本教程将详细介绍如何在 Scrapy 中使用 Pipeline,帮…...

vim的 配置文件
vim 的配置文件名是vimrc,共有两个,一个是公共的、所有用户的vimrc,一个是私有的、个人的.vimrc。个人的配置文件是隐藏的,不进行配置的话一般是没有这个文件的,需要自己创建.vimrc 公共配置文件位于 :/etc/vim/vimrc…...