当前位置: 首页 > news >正文

AI 手机的技术展望

        某某领导问到我,AI手机这个产业发展如何?对于,地方科技园区,应该如何发展相关产业?我一时还真说不上来,于是,查了一下资料,大概应对了一下。

一:AI手机的定义

        首先,AI手机是最近两年的说法,它的出现,应该以三星手机的发布为起点:

   三星会重点宣传 Galaxy S24 系列的多语言实时翻译功能。这一功能就来自谷歌提供的 Gemini Ultra 模型。

        去年三星手机发布会,第一次宣布AI手机。实际上仅仅是接了一下公网大模型,实时翻译了一下通话。

   苹果在2024.06的开发者大会上宣布:GPT-4o 被集成到了 iOS 18 中,用于改善Siri的功能。

        苹果作为手机第一品牌,在AI手机上反应较慢,最近才加入,首先肯定是要改造那个智障Siri,我看了一下,目前其实已经可以配置使用,但需要GPT4o API,这玩意儿我可用不起,太贵了。

        所以,AI 手机的第一个定义来了:

        AI 手机定义一:搭载了AI应用的手机。

        注意:如果AI应用的服务方是公网服务,那手机端可能啥都不用改。

        如果AI手机就是这样,那基本上的所有手机都能叫AI手机,无非接入个云端大模型,把原有APP改造一下,显得更智能了。这和之前的智能手真没啥不一样。显然,事情并没有那么简单。

       

        我们来看一下之前智能手机想完成,但没有完成的任务:

        场景一:小爱同学,XXXXXX。这是智能手机的语音助手,需要有唤起词,很傻。每次在车里要喊:小德,小德,我觉得我是最傻的。还有进入酒店房间要唤醒小爱同学。

       所以,合理的方式,是让设备方自动识别知道我在发起命令了,比如:

        气息识别——只需要将手机话筒放在嘴边,就可以自动触发与手机的对话和指令。

       

        场景二:手机游戏,RPG主角的移动需要触屏滑动,并不方便。为什么不能手势,或者眼的视线来完成移动。所以,有如下方法:        

        眼动跟踪——可以实现30公分内高精度的眼动捕捉,根据眼动追踪可以智能完成移动。

       

        场景三:手机有android,IOS,鸿蒙,这些系统间的数据共享,工作协同仍有很大障碍。而手机与平板,电脑,各种物联网设备的协同,也是困难。

        目前并没有好的解决方案。

        场景四:更多的情况,人在使用手机时,有些行为实际是可以预知的,人的情绪是可以判定的,人的自然语言需要更好的识别,通过摄像头的动作最好能作为指令,等等……

        按照 上面的场景,我们可以总结一下:

        我们的手机需要能 跨越操作系统(windows,android),万物互联,在不同设备系统间共享数据,协同工作,一致体验。

        我们看荣耀手机在业界首次实现了气息识别能力(不需要提示词),眼动追踪功能,可以实现 30 公分内高精度的眼动捕捉,增强游戏的交互能力,提供相应的API。

        我们希望手机能自动预测用户行为,识别用户情绪,理解用户自然语义,音频分析,提供跨应用APP的交互指引,或者完成服务的直达。

        我们希望手机能提供智能代理提供智能助理,让它能帮助我们完成工作或事务。

        AI 手机定义二:我们需要改造手机操作系统,让它跨系统/跨设备融合,提供更好的交互方式,提供智能助理,让它能有更好的体验,更智能。

二:AI手机的技术

2.1:手机芯片

这是Google最新手机的芯片,可以理解为一颗SoC,Google Tensor。

最关键的组件是 TPU:专用机器学习和AI任务设计的处理单元。提供高效的张量运算。

ISP:图像和视频处理,可显著提升拍照和录像的质量。

MTK 天玑 9300+ 5nm工艺

专用APU:专为AI任务优化,处理复杂的AI算法,如图像识别,语音识别等

高通骁龙8 Gen3 可以装入 100亿的大模型,4nm 工艺

集成了Qualcomm AI Engine:最新的AI处理器。

集成了18-bit 三 ISP:影像处理超强。

2.2:大模型

对于公有云的大模型,没什么可说的。可以用商用的,但是手机厂商为了控制成本,应该会提供一个自训的大模型(或者商业联盟)。上图是OPPO自研的大模型。

对于手机特定场景,可能会存在垂直领域的专用模型,比如:OPPO的  Turbo 大模型,这一般是行业模型,基于通用大模型微调而成。微调的核心是行业数据。

对于手机端一定也会部署模型,这应该也是为了成本和安全。对于海量的手机用户,如果依赖于云端运算,那算力要求太高,并且成本高。一些特定场景,完全可以做tiny模型,比如:OPPO的Tiny轻量模型。

2.3:AI OS

对于AI os ,关键是 LLM Kernel,主要是封装对于LLM Model的调用(Prompt调用),以及上下文管理(因为LLM的token的输入宽是有限的),工具管理(用于Agent的调用),这个类似于 LangChain开源框架的处理。并且要注意,智能代理系统:包括一些典型应用的代理,帮助开发者快速去开发相关应用。

我们拿VIVO的 BlueOS为例:

  • 它深度与AI集成

    • 系统层和内核层都集成了专门的AI处理单元和算法,确保系统能够高效处理各种AI任务。
    • 提供了AI大模型和计算加速平台,使得AI应用能够快速响应和处理复杂任务。
  • 丰富的AI应用和服务

    • 提供多种AI原生应用和个性化服务,满足用户的多样化需求。
    • 第三方应用可以调用系统的AI能力,扩展了AI功能的应用场景。
  • 高效的开发支持

    • 完备的开发工具链和API接口,支持开发者快速开发和集成AI功能。
    • 蓝河Studio和SDK等工具,提供了一站式的开发和测试环境。
  • 智能化的用户体验

    • 通过AI技术,提供智能助手、语音识别、翻译等个性化功能,提升用户体验。
    • AI感知和大模型的应用,使得系统能够主动学习和适应用户行为,提供更智能的服务。

2.4:AI Agent

说到智能体,我们可以用OPPO的 1+N战略为例。

核心智能体(1)

  • 智能中枢:作为整个生态系统的核心,超级智能体集成了强大的AI能力,负责协调和管理各个子智能体的工作。
  • 智能决策:能够进行复杂的智能决策,整合来自不同子智能体的数据和信息,为用户提供个性化和智能化的服务。
  • 学习和适应:通过持续的学习和适应,超级智能体可以不断优化和提升自己的智能水平,满足用户的多样化需求。

子智能体(N)

  • 智能体1、智能体2、智能体3...:每个子智能体负责特定的功能和任务,例如智能家居控制、健康监测、语音助手、图像识别等。
  • 模块化设计:各个子智能体以模块化的方式设计,可以根据不同应用场景进行灵活配置和扩展。
  • 协同工作:子智能体之间通过超级智能体进行协同工作,确保各项任务高效完成,提供无缝的用户体验。

开发平台

  • 开放生态:OPPO AI Pro智能体开发平台为开发者提供了开放的开发环境,支持第三方开发者创建和集成新的智能体,丰富整个生态系统的功能。
  • 工具和支持:平台提供了丰富的开发工具、SDK、API接口和技术支持,帮助开发者快速开发、测试和部署智能体。
  • 创新驱动:通过吸引开发者和合作伙伴参与,推动技术创新和应用创新,持续提升生态系统的智能水平和用户体验。

        OPPO的AI手机平台通过增强创作能力、自学习能力、真实世界感知能力和算力高效利用能力,驱动了智慧OS和智慧平台的全栈革新。同时,通过构建原生服务生态、智能终端生态、大模型生态和算力生态,重构了智能手机的生态系统。这一战略不仅提升了用户体验和设备性能,还推动了智能手机向更高智能化和个性化的方向发展。

3:AI 产品

手机上的AI产品,大致如上图的重要应用。

我们在开发AI产品时,可以考虑属于哪个类型,然后寻找相应的智能代理,或者核心代理,将应用AI化。

4:AI 产品的用户需求

早些年,微信横行,移动互联网初年,手机主要是解决连接的问题。如上:

与人的连接,手机上各应用的连接,与远程服务的连接,与其它设备的连接。

对于AI手机的价值 ,主要突出以下几个点:

  • 更好的人机交互——不能仅仅是触屏了,应该是全新的交互模式,不限于语音,眼球,视频中的动作,应该是更适合人的交互方式。提升体验,人与设备无缝连接。
  • 智能服务——要理解用户,及时响应环境和用户需求,提供个性化的,随时随地的服务。
  • 贴心陪伴——个人情感支持,学习支撑,提供知识。也就是提供人的情绪价值和学习价值。
  • 安全可靠——保护个人隐私,提供更安全可信的环境。

        这些核心价值共同构建了一个智能、贴心且安全的AI手机生态系统,全面提升了用户的使用体验和满意度。

5:AI 手机行业的思考

       提供 tiny的模型(如:100亿参数以内),目前已经有不少,移植到手机上,几款手机芯片都已支持,不过是否可以在本地很好的支撑应用,还是未知的。目前看到的应用,更多是调用的公网的商用模型(超过千亿参数的),这主要是看需求。

        手机平台方需要提供新交互的底层支撑。如:气息识别,眼动识别,视频识别之类的,并形成标准的新交互指引。

        手机APP很活跃,用AI来改造,可以很快推广,但是,大模型提供的不确定性和幻觉需要得到控制。所以,手机厂商应该通过代理服务来屏蔽和解决类似问题,因此,需要有更好的开发平台。针对android,最好是还有一个统一的开发框架,而不是一款手机来一套,至少用框架来规范化相应的开发,然后适配不同手机。

       手机仍然是应用为王,第一拨要改造的肯定是那些明星应用,比如:京东,美团,点评,携程,抖音之类的常见应用。如果这些应用有突破,或者成为手机的底层服务,那将大大加快APP的AI化。

        还是比较看好,AI先在手机上突破,或许它比在制造业,在企业信息化的路径上更短,更快。

相关文章:

AI 手机的技术展望

某某领导问到我,AI手机这个产业发展如何?对于,地方科技园区,应该如何发展相关产业?我一时还真说不上来,于是,查了一下资料,大概应对了一下。 一:AI手机的定义 首先&…...

实战 Springboot2 集成Redis 哨兵模式、集群模式、缓存管理、Lettuce拓扑刷新

redis搭建集群模式、Cluster模式(6节点,3主3从集群模式,添加删除节点)_redis cluster节点带数据增减-CSDN博客 Linux部署Redis哨兵集群 一主两从三哨兵(这里使用Redis6,其它版本类似)_linux red…...

MYSQL--binlog和redo log

前言 MySQL日志 MySQL日志主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类。其中比较重要的就是二进制日志binlog(归档日志)、事务日志redo log(重做日志)和undo log(回滚日志)。 这篇…...

R语言医疗数据分析笔记

分组因子又是什么意思,分组因子和数组的区别是什么 举个实际的例子 分组因子 分组因子是分类变量,用于将数据分成不同组以便于比较或分析。例如,在一项研究中,研究对象的性别(男性和女性)可以视为一个分组…...

SpringBoot使用Jackson-XML裁剪多余的根节点

相关博客&#xff1a;《SpringBoot集成WebService(wsdl)》 比如我们有以下入参 我们只需要MedicalCardInfo这个根节点&#xff0c;其余都不要。如何处理&#xff1f; <A><B><Sender>Aa</Sender><MsgType>Bb</MsgType><MsgVersion>…...

vue路由学习

1、基本了解 &#xff08;1&#xff09; &#xff08;2&#xff09; &#xff08;3&#xff09;在创建vue项目时&#xff0c;就已经勾选了vue-router 2、 &#xff08;0&#xff09;自己手写了一个新的组件文件(部门管理)&#xff08;DeptView.vue&#xff09; &#xff08;1&a…...

Kubernetes基于helm部署Kafka_Kraft集群并取消SASL认证且开启数据持久化

注&#xff1a;本文档部署Kafka时&#xff0c;取消了默认的SASL认证的相关配置&#xff0c;并开启了数据持久化。 一、添加并更新Helm仓库 helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update bitnami二、下载并解压kafka的Chart helm pull bitna…...

kotlin -- Flow和Rxjava 对比

引言 我们先说说&#xff0c;关键词 响应式编程&#xff0c;数据流&#xff0c;观察者模式。 观察者模式 一个button setOnClickListener 就是观察者模式。 button是被观察者&#xff0c;它产生一个事件(点击)&#xff0c;观察者OnClickListener接收到&#xff0c;做出相…...

【JVM篇】自动内存管理——HotSpot虚拟机对象探秘

目录 前言 一、对象的创建 二、对象的内存布局 三、对象的访问定位 总结 前言 相关文章&#xff1a;【JVM篇】自动内存管理——运行时数据区-CSDN博客 介绍完Java虚拟机的运行时数据区域之后&#xff0c;我们大致明白了Java虚拟机内存模型的概况&#xff0c;但可能会好奇其…...

代谢组数据分析(十七):基于structToolbox代谢组分析流程讲解

禁止商业或二改转载,仅供自学使用,侵权必究,如需截取部分内容请后台联系作者! 介绍 structToolbox 是一个广泛使用的工具箱,专门用于代谢组学和其他组学数据的分析。它提供了一系列的数据预处理、统计分析和机器学习方法,特别强调统计和机器学习的重要性。这个工具箱允许…...

科普课堂走起 | 什么是网络安全和数据安全?

网络安全和数据安全是现代数字世界中非常重要的两个概念。让我们来详细了解一下这两个领域。 1.网络安全&#xff08;Network Security&#xff09; 网络安全是指保护网络系统免受未经授权的访问、攻击、破坏或滥用的一系列技术和过程。它旨在确保信息的机密性、完整性和可用…...

C语言中常用的函数

处理字符串常用的函数 size_t strspn(const char *s, const char *accept); 函数参数说明&#xff1a; s是被查找的字符串 accepct是要匹配的字符串函数功能说明&#xff1a; 它返回s字符串起始部分中&#xff0c;完全由accept字符串中的字符组成的子字符串的长度函数返回值…...

如何在SpringBoot中进行单元测试?

在Spring Boot中进行单元测试通常会涉及以下几个步骤&#xff1a; 1. 添加测试依赖 确保在你的pom.xml&#xff08;Maven&#xff09;或build.gradle&#xff08;Gradle&#xff09;中包含了Spring Boot的测试依赖。Spring Boot的Starter依赖spring-boot-starter-test通常已经…...

分布式事务学习整理

一、整体背景 最近在分布式事务领域这块的了解比较少&#xff0c;对自己来说是一个业务盲点&#xff0c;所以想抽空学习以及整理下关于分布式事务的相关知识。 1、分布式事务的发展 总所周知&#xff0c;我们为什么要考虑分布式事务&#xff0c;从一开始发展来说&#xff0c…...

Conda配置瘦身术:精通conda config --remove命令

Conda配置瘦身术&#xff1a;精通conda config --remove命令 Conda作为Python和其他科学计算语言的包管理器&#xff0c;其灵活性和强大功能在很大程度上依赖于其配置系统。随着时间的推移&#xff0c;Conda配置可能会变得复杂和冗余。conda config --remove命令提供了一种方法…...

Windows下编译安装PETSc

本文记录在Windows下使用MinGW-w64编译安装PETSc的流程。 0、环境 操作系统Windows 11MSYS2msys2-x86_64-20240507 1、开发环境 首先&#xff0c;下载并安装MSYS2&#xff0c;然后编辑PATH环境变量&#xff0c;添加mingw64相关路径&#xff1a;C:\msys64\mingw64\bin。 然…...

phpstudy搭建sqlilabs本地靶场

请先在网上解决好前置条件的下载和安装&#xff1a;phpstudy、vscode、navicat premium(非必要)、sqlilab的压缩包/文件夹 phpstudy--安装sqlilabs 1.打开phpstudy后&#xff0c;我们会用到MySQL5.7.26和Nginx1.15.11 #mysql5.7.26是因为sqlilabs靶场不支持高版本MySQL 2.在软…...

Linux 实验基础环境准备(外网篇)

1.关闭禁用防火墙和selinux systemctl disable firewalld --now sed -i s/SELINUXenforcing/SELINUXdisabled/ /etc/selinux/config2.保证可以连接外网 ping -c3 www.baidu.com 3.配置yum为阿里仓库并下载epel源 mkdir /etc/yum.repos.d/bak/; mv /etc/yum.repos.d/*.repo /e…...

centos8 安装mysql 制作备份数据库脚本

1、配置阿里云源 cd /etc/yum.repos.d/ vim CentOS-Stream-AppStream.repo [appstream] nameCentOS Stream $releasever - AppStream #mirrorlisthttp://mirrorlist.centos.org/?release$stream&arch$basearch&repoAppStream&infra$infra baseurlhttp://mirrors…...

Parsing error: The keyword ‘interface‘ is reserved配置优化

当我们在创建Vue项目时,Vue默认是配置了eslint代码规范检查的,不过我们在项目中Typescript来编写代码时,却报了标题的错误,对应的代码如下: <script lang="ts"> export default{name: "DlHeader" } </script><script setup lang=&quo…...

基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销&#xff0c;平衡网络负载&#xff0c;延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...

VB.net复制Ntag213卡写入UID

本示例使用的发卡器&#xff1a;https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...

如何在看板中体现优先级变化

在看板中有效体现优先级变化的关键措施包括&#xff1a;采用颜色或标签标识优先级、设置任务排序规则、使用独立的优先级列或泳道、结合自动化规则同步优先级变化、建立定期的优先级审查流程。其中&#xff0c;设置任务排序规则尤其重要&#xff0c;因为它让看板视觉上直观地体…...

Swift 协议扩展精进之路:解决 CoreData 托管实体子类的类型不匹配问题(下)

概述 在 Swift 开发语言中&#xff0c;各位秃头小码农们可以充分利用语法本身所带来的便利去劈荆斩棘。我们还可以恣意利用泛型、协议关联类型和协议扩展来进一步简化和优化我们复杂的代码需求。 不过&#xff0c;在涉及到多个子类派生于基类进行多态模拟的场景下&#xff0c;…...

vscode(仍待补充)

写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh&#xff1f; debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

STM32F4基本定时器使用和原理详解

STM32F4基本定时器使用和原理详解 前言如何确定定时器挂载在哪条时钟线上配置及使用方法参数配置PrescalerCounter ModeCounter Periodauto-reload preloadTrigger Event Selection 中断配置生成的代码及使用方法初始化代码基本定时器触发DCA或者ADC的代码讲解中断代码定时启动…...

学习STC51单片机31(芯片为STC89C52RCRC)OLED显示屏1

每日一言 生活的美好&#xff0c;总是藏在那些你咬牙坚持的日子里。 硬件&#xff1a;OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写&#xff0c;"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战

“&#x1f916;手搓TuyaAI语音指令 &#x1f60d;秒变表情包大师&#xff0c;让萌系Otto机器人&#x1f525;玩出智能新花样&#xff01;开整&#xff01;” &#x1f916; Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制&#xff08;TuyaAI…...

3403. 从盒子中找出字典序最大的字符串 I

3403. 从盒子中找出字典序最大的字符串 I 题目链接&#xff1a;3403. 从盒子中找出字典序最大的字符串 I 代码如下&#xff1a; class Solution { public:string answerString(string word, int numFriends) {if (numFriends 1) {return word;}string res;for (int i 0;i &…...

SpringCloudGateway 自定义局部过滤器

场景&#xff1a; 将所有请求转化为同一路径请求&#xff08;方便穿网配置&#xff09;在请求头内标识原来路径&#xff0c;然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...