AI 手机的技术展望

        某某领导问到我，AI手机这个产业发展如何？对于，地方科技园区，应该如何发展相关产业？我一时还真说不上来，于是，查了一下资料，大概应对了一下。

一：AI手机的定义

        首先，AI手机是最近两年的说法，它的出现，应该以三星手机的发布为起点：

   三星会重点宣传 Galaxy S24 系列的多语言实时翻译功能。这一功能就来自谷歌提供的 Gemini Ultra 模型。

        去年三星手机发布会，第一次宣布AI手机。实际上仅仅是接了一下公网大模型，实时翻译了一下通话。

   苹果在2024.06的开发者大会上宣布：GPT-4o 被集成到了 iOS 18 中，用于改善Siri的功能。

        苹果作为手机第一品牌，在AI手机上反应较慢，最近才加入，首先肯定是要改造那个智障Siri，我看了一下，目前其实已经可以配置使用，但需要GPT4o API，这玩意儿我可用不起，太贵了。

        所以，AI 手机的第一个定义来了：

        AI 手机定义一：搭载了AI应用的手机。

        注意：如果AI应用的服务方是公网服务，那手机端可能啥都不用改。

        如果AI手机就是这样，那基本上的所有手机都能叫AI手机，无非接入个云端大模型，把原有APP改造一下，显得更智能了。这和之前的智能手真没啥不一样。显然，事情并没有那么简单。

       

        我们来看一下之前智能手机想完成，但没有完成的任务：

        场景一：小爱同学，XXXXXX。这是智能手机的语音助手，需要有唤起词，很傻。每次在车里要喊：小德，小德，我觉得我是最傻的。还有进入酒店房间要唤醒小爱同学。

       所以，合理的方式，是让设备方自动识别知道我在发起命令了，比如：

        气息识别——只需要将手机话筒放在嘴边，就可以自动触发与手机的对话和指令。

       

        场景二：手机游戏，RPG主角的移动需要触屏滑动，并不方便。为什么不能手势，或者眼的视线来完成移动。所以，有如下方法：        

        眼动跟踪——可以实现30公分内高精度的眼动捕捉，根据眼动追踪可以智能完成移动。

       

        场景三：手机有android，IOS，鸿蒙，这些系统间的数据共享，工作协同仍有很大障碍。而手机与平板，电脑，各种物联网设备的协同，也是困难。

        目前并没有好的解决方案。

        场景四：更多的情况，人在使用手机时，有些行为实际是可以预知的，人的情绪是可以判定的，人的自然语言需要更好的识别，通过摄像头的动作最好能作为指令，等等……

        按照 上面的场景，我们可以总结一下：

        我们的手机需要能 跨越操作系统（windows，android），万物互联，在不同设备系统间共享数据，协同工作，一致体验。

        我们看荣耀手机在业界首次实现了气息识别能力（不需要提示词），眼动追踪功能，可以实现 30 公分内高精度的眼动捕捉，增强游戏的交互能力，提供相应的API。

        我们希望手机能自动预测用户行为，识别用户情绪，理解用户自然语义，音频分析，提供跨应用APP的交互指引，或者完成服务的直达。

        我们希望手机能提供智能代理提供智能助理，让它能帮助我们完成工作或事务。

        AI 手机定义二：我们需要改造手机操作系统，让它跨系统/跨设备融合，提供更好的交互方式，提供智能助理，让它能有更好的体验，更智能。

二：AI手机的技术

2.1：手机芯片

这是Google最新手机的芯片，可以理解为一颗SoC，Google Tensor。

最关键的组件是 TPU：专用机器学习和AI任务设计的处理单元。提供高效的张量运算。

ISP：图像和视频处理，可显著提升拍照和录像的质量。

MTK 天玑 9300+ 5nm工艺

专用APU：专为AI任务优化，处理复杂的AI算法，如图像识别，语音识别等

高通骁龙8 Gen3 可以装入 100亿的大模型，4nm 工艺

集成了Qualcomm AI Engine：最新的AI处理器。

集成了18-bit 三 ISP：影像处理超强。

2.2：大模型

对于公有云的大模型，没什么可说的。可以用商用的，但是手机厂商为了控制成本，应该会提供一个自训的大模型（或者商业联盟）。上图是OPPO自研的大模型。

对于手机特定场景，可能会存在垂直领域的专用模型，比如：OPPO的  Turbo 大模型，这一般是行业模型，基于通用大模型微调而成。微调的核心是行业数据。

对于手机端一定也会部署模型，这应该也是为了成本和安全。对于海量的手机用户，如果依赖于云端运算，那算力要求太高，并且成本高。一些特定场景，完全可以做tiny模型，比如：OPPO的Tiny轻量模型。

2.3：AI OS

对于AI os ，关键是 LLM Kernel，主要是封装对于LLM Model的调用（Prompt调用），以及上下文管理（因为LLM的token的输入宽是有限的），工具管理（用于Agent的调用），这个类似于 LangChain开源框架的处理。并且要注意，智能代理系统：包括一些典型应用的代理，帮助开发者快速去开发相关应用。

我们拿VIVO的 BlueOS为例：

• 它深度与AI集成：

  • 系统层和内核层都集成了专门的AI处理单元和算法，确保系统能够高效处理各种AI任务。
  • 提供了AI大模型和计算加速平台，使得AI应用能够快速响应和处理复杂任务。

• 丰富的AI应用和服务：

  • 提供多种AI原生应用和个性化服务，满足用户的多样化需求。
  • 第三方应用可以调用系统的AI能力，扩展了AI功能的应用场景。

• 高效的开发支持：

  • 完备的开发工具链和API接口，支持开发者快速开发和集成AI功能。
  • 蓝河Studio和SDK等工具，提供了一站式的开发和测试环境。

• 智能化的用户体验：

  • 通过AI技术，提供智能助手、语音识别、翻译等个性化功能，提升用户体验。
  • AI感知和大模型的应用，使得系统能够主动学习和适应用户行为，提供更智能的服务。

2.4：AI Agent

说到智能体，我们可以用OPPO的 1+N战略为例。

核心智能体（1）：

• 智能中枢：作为整个生态系统的核心，超级智能体集成了强大的AI能力，负责协调和管理各个子智能体的工作。
• 智能决策：能够进行复杂的智能决策，整合来自不同子智能体的数据和信息，为用户提供个性化和智能化的服务。
• 学习和适应：通过持续的学习和适应，超级智能体可以不断优化和提升自己的智能水平，满足用户的多样化需求。

子智能体（N）：

• 智能体1、智能体2、智能体3...：每个子智能体负责特定的功能和任务，例如智能家居控制、健康监测、语音助手、图像识别等。
• 模块化设计：各个子智能体以模块化的方式设计，可以根据不同应用场景进行灵活配置和扩展。
• 协同工作：子智能体之间通过超级智能体进行协同工作，确保各项任务高效完成，提供无缝的用户体验。

开发平台：

• 开放生态：OPPO AI Pro智能体开发平台为开发者提供了开放的开发环境，支持第三方开发者创建和集成新的智能体，丰富整个生态系统的功能。
• 工具和支持：平台提供了丰富的开发工具、SDK、API接口和技术支持，帮助开发者快速开发、测试和部署智能体。
• 创新驱动：通过吸引开发者和合作伙伴参与，推动技术创新和应用创新，持续提升生态系统的智能水平和用户体验。

        OPPO的AI手机平台通过增强创作能力、自学习能力、真实世界感知能力和算力高效利用能力，驱动了智慧OS和智慧平台的全栈革新。同时，通过构建原生服务生态、智能终端生态、大模型生态和算力生态，重构了智能手机的生态系统。这一战略不仅提升了用户体验和设备性能，还推动了智能手机向更高智能化和个性化的方向发展。

3：AI 产品

手机上的AI产品，大致如上图的重要应用。

我们在开发AI产品时，可以考虑属于哪个类型，然后寻找相应的智能代理，或者核心代理，将应用AI化。

4：AI 产品的用户需求

早些年，微信横行，移动互联网初年，手机主要是解决连接的问题。如上：

与人的连接，手机上各应用的连接，与远程服务的连接，与其它设备的连接。

对于AI手机的价值 ，主要突出以下几个点：

• 更好的人机交互——不能仅仅是触屏了，应该是全新的交互模式，不限于语音，眼球，视频中的动作，应该是更适合人的交互方式。提升体验，人与设备无缝连接。
• 智能服务——要理解用户，及时响应环境和用户需求，提供个性化的，随时随地的服务。
• 贴心陪伴——个人情感支持，学习支撑，提供知识。也就是提供人的情绪价值和学习价值。
• 安全可靠——保护个人隐私，提供更安全可信的环境。

        这些核心价值共同构建了一个智能、贴心且安全的AI手机生态系统，全面提升了用户的使用体验和满意度。

5：AI 手机行业的思考

       提供 tiny的模型（如：100亿参数以内），目前已经有不少，移植到手机上，几款手机芯片都已支持，不过是否可以在本地很好的支撑应用，还是未知的。目前看到的应用，更多是调用的公网的商用模型（超过千亿参数的），这主要是看需求。

        手机平台方需要提供新交互的底层支撑。如：气息识别，眼动识别，视频识别之类的，并形成标准的新交互指引。

        手机APP很活跃，用AI来改造，可以很快推广，但是，大模型提供的不确定性和幻觉需要得到控制。所以，手机厂商应该通过代理服务来屏蔽和解决类似问题，因此，需要有更好的开发平台。针对android，最好是还有一个统一的开发框架，而不是一款手机来一套，至少用框架来规范化相应的开发，然后适配不同手机。

       手机仍然是应用为王，第一拨要改造的肯定是那些明星应用，比如：京东，美团，点评，携程，抖音之类的常见应用。如果这些应用有突破，或者成为手机的底层服务，那将大大加快APP的AI化。

        还是比较看好，AI先在手机上突破，或许它比在制造业，在企业信息化的路径上更短，更快。