「专题速递」AR协作、智能NPC、数字人的应用与未来

元宇宙是一个融合了虚拟现实、增强现实、人工智能和云计算等技术的综合概念。它旨在创造一个高度沉浸式的虚拟环境，允许用户在其中交互、创造和共享内容。在元宇宙中，人们可以建立虚拟身份、参与虚拟社交，并享受无限的虚拟体验。

作为互联网大变局的核心概念之一，元宇宙正崭露头角，展现出足以重塑产业生态的潜力，描绘着一个与现实世界相对应的虚拟世界。虽然元宇宙仍处于早期的探索阶段，但我们坚信，舆论的泡沫消退之后，技术不会停止下前进的步伐——元宇宙的真正实现只是时间问题。

在本次技术大会中，我们将深入研究元宇宙相关的核心技术及其发展趋势，探讨AR协作、智能NPC、数字人的应用与未来。我们期待与参会者携手探索元宇宙相关技术的发展现状，并了解它将如何改变我们的生活和工作方式。

01

实现身份无关的多模态混合驱动的2D数字人实时生成技术

张玉兵

广州视源电子科技股份有限公司 

技术专家

我们致力于让思维表达更为平等和高效。有人思维清晰但不善表达，有人表达流畅但不喜出现在公开场合和镜头前，还有人因为突发疾病或其它原因而导致声音和形象欠佳。希望因为我们的存在，为更多的人扫除思维表达的障碍，让更多的人能够平等高效地表达自己的思维。

本次分享的思路：

1、介绍2D数字人克隆技术，解决教育培训和企业营销场景下降本增效的问题。其中包含两个技术特色：a）2D数字人表情编辑，解决了当前2D数字人只能对口型导致的不够真实而应用场景受限的问题，b）跨语言驱动，拓展了2D数字人的应用场景，可以应用跨语言出海业务的企业营销视频制作。

2、介绍不存在于这个世界上的2D虚拟人生成技术，解决了2D数字人制作过程中 a）用户定制数字人门槛较高 和 b）模特拍摄和肖像授权费用过高两个问题。其中的技术特色是：所采用神经网络渲染方案不依赖于视频前后帧间的信息，因此在制作不存在于这个世界上的新的虚拟人的过程中对算法的鲁棒性要求不高，可以对虚拟人素材进行评估筛选，保证了虚拟人生成的效果和稳定性。

3、介绍2D数字人脸表情、人头部姿态和肢体动作的实时驱动技术，解决在远程视频会议中完美出镜、视角矫正、背景替换、极致的低带宽传输等需求。技术特色是：a）实现身份无关的带有任意表情和动作的多模态混合驱动的2D数字人实时生成技术，b）同时结合轻量级的神经网络渲染技术极致优化运行时间，实现移动端实时运行。

4、介绍商业应用案例。

02

基于星火大模型的元宇宙NPC创新应用探索

刘健

科大讯飞

 MetaLab实验室研发负责人

元宇宙，这个虚拟的数字世界，将现实与虚构巧妙融合，创造出无尽的可能性。未来，大模型的融入将成为必然之选，它能赋予元宇宙更为真实、智能的交互体验，实现自然语言对话、内容生成等功能。这种结合将为元宇宙注入更丰富的内涵，提升用户的参与感和沉浸感，推动虚拟体验不断向前发展，激发创新、商业和社交领域的无限潜能。

本次分享将分为三个环节：首先，我们将简要介绍讯飞星火Spark，让您初步了解这一神奇的工具；其次，我们将深入探讨AI智能NPC的应用框架，带您领略大模型下智能NPC技术实现的原理；最后，我们将展示讯飞星火在云宇宙中的创新应用探索。通过以上三个环节，我们希望能够为您揭示元宇宙与大模型结合的实践探索之路。

03

AR协作的思考与实践

唐荣兴

亮风台 联合创始人&COO

主体内容会从经历的过去、现在、未来展开，稍列如下。

2003年开发PocketPC上的软件电话SIPPhone到现在刚好二十年，其间经历过2008年第一次创业的FeaturePhone上的视频通话，用户数千万级，感受过用户对沟通、交流的强烈需求。

第二次创业专注增强现实，2017年前后启动AR协作软件HiLeia的产品研发，感受到企业服务市场对AR协作的需求，感受到企业服务市场垂类场景对音视频通讯依然存在强烈的细分需求。

从二十年前的软件电话到音视频交流再到更加丰富内容与交互的AR协作，有幸见证了技术与场景的变迁与进化，似乎浓缩的是“音视频”从1维到2维再到3维的维度跃进？个人的思考、实践固然重要，行业的发展与用户需求递进才是本质与底层逻辑。

如果你希望参与到音视频技术大会当中，此刻刚刚好：“LiveVideoStackCon 2023音视频技术大会深圳站”门票限时9折优惠中，报名立享优惠，团体参会优惠更多哦！现在报名，与您相约深圳。

时间：2023年11月24日-25日

地点：深圳圣淘沙酒店（翡翠店）

获票方式：扫描下方二维码，或咨询票务微信，了解大会详情。

优惠截止10月15日 

          票务服务：

微信同号13520771810

[e-mail]

关于LiveVideoStackCon 音视频技术大会

LiveVideoStackCon是专注于音视频领域的技术大会，致力于分享一流的技术内容，在把握行业趋势和热点的同时持续挖掘技术深度。自首届以来的13场大会中，LiveVideoStackCon成为众多音视频技术人的舞台、国内多媒体生态的风向标，也成为大家技术交流、拓展专业网络、职场进阶的新方式。

LiveVideoStackCon 2023 深圳站，将以“沉浸·新视界”为主题，在2023年11月24日-25日在深圳和大家见面。本场音视频技术大会，依然聚焦在多媒体生态，精心打磨3场主题演讲、13场专题（包括一场圆桌专题）。本次大会规模约300+参会人员，50+技术分享，80+参会企业，并设有VIP社交晚宴、硬件体验区、扭蛋抽奖等各种活动，带来丰富、沉浸的技术大会体验。

▼点击下方阅读原文 ▼

进入LiveVideoStackCon 2023深圳站官网 了解更多精彩演讲