编解码持续升级,「硬」实力铸就视频云最优解
算力时代,视频云需要怎样的 CPU?
在数据爆发式增长及算法日益精进的大背景下,属于「算力」的时代俨然到来。随着视频成为互联网流量的主角,日趋饱和的音视频场景渗透率、人类对“感官之限”的追求与突破、更多元化的场景探索及技术需求,为视频编码能力和底层算力及硬件支持带来更大的挑战。
“视频云作为音视频行业的基础设施,能极大地简化视频从采集、处理、编码、传输到分发的全链路流程。”正如阿里云视频云技术负责人在《芯事》访谈中所提到的,阿里云视频云与倚天 710 一起,正在踏上视频普惠千行百业的新征程。
社会视频化“狂飙”,倒逼视频云技术加速迭代
点击链接查看视频:https://www.eefocus.com/video/1462707.html
视频云与倚天 710 的结合
2022 年北京冬奥会,阿里云承接了一项重要的任务,那就是支撑冬奥全面上云。为此,阿里云视频云推出了全新的云上创新解决方案——阿里云聚“Alibaba Cloud ME”,这也是全球第一次在奥运会上实现异地全息会面,是一次打破时空之距的革命性创新。在感叹云上沉浸之旅的精妙之余,我们不禁要问,阿里云视频云上路即狂奔的硬实力是什么?除了使命必达的奋斗精神和强大的软件、算法支撑能力以外,阿里云视频云技术负责人致凡还提到了倚天 710。
当我们将目光投射到倚天 710 上,会发现它诞生于 2021 年,是一款由平头哥自研的云芯片,经过一年多时间的硬件部署和业务验证,倚天 710 实例已成功应用到阿里巴巴集团的核心业务中,并服务多家知名互联网及科技公司。正是基于前期优良的表现,倚天 710 已在阿里云数据中心部署,未来部署规模将继续扩大。当然,没有一款芯片生来就如此强大,视频云技术负责人谈到:“视频云和倚天 710 的结合是一段美好的旅程,但中间还是经历了非常多的事情。”
回忆起这段旅程:“由于视频业务的增长速度是非常快的,研制一颗芯片的周期也非常长,不论是芯片研发、还是芯片落地后适配视频云业务成长,都是极具挑战的,但我们一起做好了正视挑战、突破壁垒的准备。当第一版芯片流片回来后,芯片基本性能表现稳定,且由于 Arm 架构带来的原生优势,再加上阿里云和平头哥的同学双方坐在一起,在了解芯片内部构成的基础上去做了很多算法调优后,能够让代码在芯片上跑得更快。
同时,倚天 710 还针对特定算法场景进行了指令集加速与优化,比如像 SVE 等矢量计算技术,其中 BF16/INT8 mmla 指令可实现高效的矩阵乘法运算,还支持 Hash、CRC32 等加速指令,可以让单条指令并行处理更多数据,大幅提升视频编解码、AI 编解码增强等场景性能,这是一个两边一起迭代的过程。”
所以,从最早的性能挑战传统架构 CPU,到现在已经远远超过传统架构 CPU,倚天 710 的“蜕变”是一步一个脚印走过来的。视频云技术负责人认为:“这是一个非常好的案例,阿里云视频云的业务跟平头哥的芯片设计能够完美地结合在一起,利用各自的优势让芯片设计出来,在视频行业中发挥更大的作用。”
谈起平头哥和阿里云视频云业务的这次合作,就不能不提到一个大的产业背景,即视频云的爆发式增长。至于什么是视频云?“视频云就像是音视频行业的水和电,是底层的基础设施,可以大大简化视频从采集、处理、编码、传输到分发的链路。”这个比喻再恰当不过。
社会视频化在狂飙
从 2017 年开始,短视频的热度持续上升,加上近三年疫情下直播、视频会议、线上教学等领域的崛起,社会视频化成为一种大趋势。根据 CNNIC 发布的第 50 次《中国互联网络发展状况统计报告》数据显示,截至 2022 年 6 月,我国移动互联网接入流量达 1241 亿 GB,同比增长 20.2%;另根据思科发布的数据显示,视频内容约占互联网总流量的 90%,占移动网络总流量的 64%。结合这两组数据,我们可以得出视频正在成为互联网流量的主角,而爆炸性的数据量又将会对算力和存储提出更大的挑战。
于是视频云的价值被凸显出来,并呈现出了一种不可逆的发展态势。在这样的大背景下,全球以互联网公司为主的科技企业纷纷转型,开启视频云技术的探索之旅,并在安防监控、远程医疗、零售电商以及金融机构等典型场景中得到落地。当前,视频云产业已经形成了相对稳定的头部战队,包括微软、AWS、阿里云等主流云厂商。
关于国内视频云的市场体量方面,根据 IDC 发布的数据显示,2022 上半年中国视频云市场规模达到 50.5 亿美元,同比增长 15.7%,预计到 2026 年,市场规模接近 300 亿美元。值得一提的是,通过报告显示,阿里云视频云连续 5 年占据中国视频云整体市场份额第一,并且渗透率还在不断攀升。
视频产业倒逼技术迭代
对于视频云产业来讲,以在线视频为例,从最早国外的 Livestream、国内的斗鱼直播到现在,已经经历了 25 年的历史,其实从技术的角度来看,整个行业发展的速度没有想象中的快。比如,视频编码从 H.264 到 H.265,再到 H.266,平均 10 年升级一代。为什么速度不是很快?因为它要解决的问题比较多:算力、网络传输、标准等等。但是,我们看到今天的视频产业发展非常迅猛,这也倒逼技术要去完成快速迭代。这几年已经初显效果,比如现在编码器的升级迭代速度是 5 年,以前是 10 年,预计后面可能是 3 年。
为什么这里要强调编码?事实上,视频云是一个算力密集型行业,视频信息量很大,假如采用和文本、图片一样的压缩模式,那么还原度是不够的,所以视频必须进行编码处理。编码要是做不好,不仅会损失视频质量,还会带来传输难度高的问题。从 MPEG2 开始,每一代视频编码的升级,其压缩率大约可以提升 50%,远低于视频分辨率每更新一代提升 4 倍的速度,即使这样,每一代升级对 CPU 算力的需求,以及算法复杂度都会提高至少 10 倍以上,这对芯片的架构、芯片底层的指令集优化、芯片的存储器和 cache 结构都会带来新的挑战,很多核心的算法要用新的指令集重新写一遍,这意味着视频编码和芯片成长是需要同步的。
视频云需要怎样的 CPU?
通过前面的介绍,我们了解到视频编码对算力的要求很高,因为我们常常试图用算力换存储,用算力换传输带宽,所以我们希望算力越高越好。
那么如何提升 CPU 的算力?首先要选择好的内核架构。在视频领域,传统架构已经有三十几年的历史了,目前市占率依然能达到 90%以上的份额,但裹挟着沉重的向后兼容包袱。而 Arm 作为一种精简指令集,不仅没有历史包袱,还可以根据需求增加很多寄存器,同时从内存 cache 结构的设计和指令集的设计上面,能够更贴合需要大算力的视频处理需求。此外,不管是 Hyper-Threading 还是其他,采用传统架构的 CPU 走的都是提高主频的路子,在视频处理时就会遇到一些问题,比如视频压缩的时候会分成 I 帧、P 帧、B 帧,每一帧的算力并不是平均分配的,就会带来对算力需求不稳定的问题。
所以为了让芯片不跑超频,就可能会做一些降频处理,这时候它的算力就可能达不到相应的编码需求。在实际业务中,由于视频业务不是单机运行的,会有很多的服务器集群配合来处理,为了防止 CPU 跑超等复杂情况的出现,就不得不把服务器集群的水位降低,这是传统架构 CPU 比较大的问题。然而,Arm 整体的设计是比较稳定的,不管任务有多复杂,都能实现稳定输出,做到良好的资源调配和水位调配,不用预留很多冗余来防止芯片跑超,这对于 to B 业务来说非常重要。
除了主频高以外,传统架构 CPU 的核不多,通常是两个 vCPU/HT 共享一个物理核、1 份 ALU,但 Arm 可以实现 128/256/512 或更多的核,类似 GPU 的设计,如此一来,对于不同应用场景而言,就可以用少核应对低算力需求的场景,多核应对高算力需求的场景,实现更优的业务调配,降低投入成本。以倚天 710 为例,内含 128 核 CPU,主频 2.75GHz,可适配云的不同应用场景。
与此同时,随着数据上云越来越多,对于数据中心而言,功耗性能也是非常重要的,对运营者来说,低功耗就意味着低成本,除了软件层面的优化以外,倚天 710 能同时兼顾高性能和低功耗。
以上要素叠加,就让视频云的头部企业阿里云与倚天 710 的结合看起来水到渠成。当前,倚天 710 已大规模部署并提供云上服务,根据实践反馈,倚天 710 让阿里云平台的算力性价比提升了超 30%,单位算力功耗降低了 60%,这是一个相当大的进步。
探索一种平衡
纵观视频云产业,人们对体验的极致追求,将成为视频云持续深耕的动力。在云应用场景下,CPU 的发展之路将循着算力、I/O、网络协议适配、推理能力、从无到有的创造能力不断演进下去。未来,Arm 会成为视频云中一种重要的架构,整体份额一定会增加,但不会是唯一的架构,传统架构、异构的 ASIC 和 FPGA 都会有一席之地。而对于 Arm 架构而言,未来的改进方向是降低功耗、提高算力、做好专用性和通用性的选择平衡。
同时,我们要意识到,未来视频对算力的挑战是非常高的,简单地靠 CPU 的升级已经满足不了需求,需要一些特殊的处理,包括越来越多的 AI 算法、专用算法,比如模型搜索的算法等,再把通用的模块部分地固化在芯片里面,极大地提升视频处理的效率。
所以在视频云市场,人们总是在做权衡,云芯片厂商要处理好芯片能效和通用性的关系,云服务商要在算力有限的情况下使用很多快速算法。而正如阿里云视频云技术负责人所强调的:“我们的愿景都是一样的,就是让视频普惠各行各业,再反哺视频行业,实现更茁壮的发展。”
相关文章:
编解码持续升级,「硬」实力铸就视频云最优解
算力时代,视频云需要怎样的 CPU? 在数据爆发式增长及算法日益精进的大背景下,属于「算力」的时代俨然到来。随着视频成为互联网流量的主角,日趋饱和的音视频场景渗透率、人类对“感官之限”的追求与突破、更多元化的场景探索及技术…...

贵金属技术分析的止损保护
前面说过我们这些小散户,最多也不过十几万或者几万美金的账户,没有必要想国际的一些大基金那样,又锁仓,又对冲什么的,我们资金小的投资者,足够灵活,自然有我们存活的方法。所以我们要注意发挥我…...

Python 进阶指南(编程轻松进阶):三、使用 Black 工具来格式化代码
原文:http://inventwithpython.com/beyond/chapter3.html 代码格式化是将一组规则应用于源代码,从而使得代码风格能够简洁统一。虽然代码格式对解析程序的计算机来说不重要,但代码格式对于可读性是至关重要的,这是维护代码所必需的…...

计算机应用辅导大纲及真题
00019考试 湖北省高等教育自学考试实践(技能)课程大纲 课程名称:计算机应用基础(实践) 课程代码:00019 实践能力的培养目标。 计算机应用基础(实践)是高等教育自学考试多…...
【Go基础】一篇文章带你全面了解学习—切片
目录 1、切片注意点 2、声明切片 3、切片初始化 4、切片的内存布局...
2022国赛28:centos8.5离线安装docker
大赛试题内容: 八、虚拟化(20分) 在Linux2上安装docker-ce,导入centos镜像。软件包和镜像存放在物理机D:\soft\DockerLinux。创建名称为skills的容器,映射Linux2的80端口到容器的80端口,在容器内安装apache2,默认网页内容为“HelloContainer”。解答过程: 下载CENTOS8镜…...

JVM专题
JVM类加载 Java里有如下几种类加载器: 引导类加载器:负责加载支撑JVM运行的位于JRE的lib目录下的核心类库,比如 rt.jar、charsets.jar等 扩展类加载器:负责加载支撑JVM运行的位于JRE的lib目录下的ext扩展目录中的JAR类包应用程序…...

蓝桥杯模板题目
A:::::::::::::::小王子单链表(链表) 题目描述 小王子有一天迷上了排队的游戏,桌子上有标号为 1−10 的 10 个玩具,现在小王子将他们排成一列,可小王子还是太小了,他不确定他到底想把那个玩具摆在哪里&…...

SAP IDT - Building Data Foundation
To build a Data Foundation, it can be created on a Local Project view. Right-click under Local Project → New → Data Foundation. You can select a Single-source enabled or Multi-source enabled. Follow the wizard and select the connections. Data Foundatio…...
【Python】【进阶篇】三、Python爬虫的构建User-Agnet代理池
目录三、Python爬虫的构建User-Agnet代理池3.1 自定义UA代理池3.2 模块随机获取UA三、Python爬虫的构建User-Agnet代理池 在编写爬虫程序时,一般都会构建一个 User-Agent (用户代理)池,就是把多个浏览器的 UA 信息放进列表中&…...
数据结构.双链表的各种操作
//双链表 //单链表无法逆向检索,双链表可进可退 双链表比单链表多啦一个前驱指针 //双链表查找时间复杂度都为o(n) #include<bits/stdc.h> using namespace std; typedef struct donde //创建双链表 {int data;dnode *next,*prior; //前驱和后继 }dnode,*…...

去年12月被无情辞退,三个月后我携手自动化测试神技王者归来
引言 不知不觉在软件测试行业工作了3年之久,虽然说我是主做的功能测试,但是我也一直是兢兢业业的呀,不曾想去年7月份无情被辞的消息让我感到一阵沉重。我曾经一直坚信自己的技能和经验足以支撑我在这个领域的未来,但现实却告诉我&…...
区块链技术之共识机制
“共识机制”一词通常通俗地用于指代“股权证明”、“工作证明”或“权威证明”协议。然而,这些只是防止女巫攻击的共识机制的组成部分,共识机制是思想、协议和激励的完整堆栈,使一组分布式节点能够就区块链的状态达成一致。共识机制是区块链…...

SpringCloud断路器——Hystrix
Hystrix 本专栏学习内容来自尚硅谷周阳老师的视频 有兴趣的小伙伴可以点击视频地址观看 简介 Hystrix是一个用于处理分布式系统的延迟和容错的一个开源库,在分布式系统里,许多依赖不可避免的会调用失败,比如超时、异常等,Hystrix…...

分布式 - 分布式体系架构:集群和分布式
文章目录01. 什么是集群?02. 集群为什么可以提高系统的可靠性?03. 集群为什么可以提高系统的性能?04. 什么是分布式计算?05. 如何进行分布式计算?06. 集群如何提高计算效率?07. 集群的优点和缺点࿱…...

NodeJs常用内置模块
目录 一、Path模块 二、fs模块 2.1、fs同步读取文件fs.readFileSync() 2.2、fs异步读取文件fs.readFile() 2.3、异步写入文件内容fs.writeFile() 三、Http模块 四、模块化 4.1、CommonJs的导入导出 4.2、ES6的导入导出 五、了解global和this 六、Sort()应用(数组排序…...

4.0 功能抢先看 | 读懂一个项目的研发效能 之 项目人效
思码逸企业版 4.0 的部分功能已进入内测阶段✨近期我们会用几篇文章,浅剧透一下 4.0 的新鲜功能。 最近几篇的主题将是 4.0 版本中的 GQM 看板——GQM 代表 Goal-Question-Metric(目标-问题-指标),是一套构建软件研发效能度量的系…...

Object方法
系列文章目录 前端系列文章——传送门 JavaScript系列文章——传送门 文章目录系列文章目录对象方法一、Object原型方法1、hasOwnProperty2、isPrototypeOf3、propertyIsEnumerable4、toString5、其他二、Object方法1、assign2、create3、defineProperties4、defineProperty5、…...

042:cesium加载Eris地图(多种形式)
第042个 点击查看专栏目录 本示例的目的是介绍如何在vue+cesium中加载加载Eris地图。这里显示4种形式的地图,分别为:World_Imagery、World_Street_Map、World_Terrain_Base、World_Physical_Map。 直接复制下面的 vue+cesium源代码,操作2分钟即可运行实现效果. 文章目录 示…...
第十四届蓝桥杯大赛软件赛省赛(C/C++B组)
目录试题 A. 日期统计1.题目描述2.解题思路3.模板代码试题 B.01 串的熵1.题目描述2.解题思路3.模板代码试题 C. 冶炼金属1.题目描述2. 解题思路3.模板代码试题 D. 飞机降落1.题目描述2. 解题思路3.模板代码试题 E. 接龙数列1.题目描述2. 解题思路3.模板代码试题 F. 岛屿个数1.题…...

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?
编辑:陈萍萍的公主一点人工一点智能 未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战,在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…...

TDengine 快速体验(Docker 镜像方式)
简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能,本节首先介绍如何通过 Docker 快速体验 TDengine,然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker,请使用 安装包的方式快…...
【磁盘】每天掌握一个Linux命令 - iostat
目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat(I/O Statistics)是Linux系统下用于监视系统输入输出设备和CPU使…...

如何在看板中有效管理突发紧急任务
在看板中有效管理突发紧急任务需要:设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP(Work-in-Progress)弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中,设立专门的紧急任务通道尤为重要,这能…...
实现弹窗随键盘上移居中
实现弹窗随键盘上移的核心思路 在Android中,可以通过监听键盘的显示和隐藏事件,动态调整弹窗的位置。关键点在于获取键盘高度,并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...
css3笔记 (1) 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size:0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...

selenium学习实战【Python爬虫】
selenium学习实战【Python爬虫】 文章目录 selenium学习实战【Python爬虫】一、声明二、学习目标三、安装依赖3.1 安装selenium库3.2 安装浏览器驱动3.2.1 查看Edge版本3.2.2 驱动安装 四、代码讲解4.1 配置浏览器4.2 加载更多4.3 寻找内容4.4 完整代码 五、报告文件爬取5.1 提…...
Python 包管理器 uv 介绍
Python 包管理器 uv 全面介绍 uv 是由 Astral(热门工具 Ruff 的开发者)推出的下一代高性能 Python 包管理器和构建工具,用 Rust 编写。它旨在解决传统工具(如 pip、virtualenv、pip-tools)的性能瓶颈,同时…...
代码随想录刷题day30
1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币,另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额,返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...
深度学习之模型压缩三驾马车:模型剪枝、模型量化、知识蒸馏
一、引言 在深度学习中,我们训练出的神经网络往往非常庞大(比如像 ResNet、YOLOv8、Vision Transformer),虽然精度很高,但“太重”了,运行起来很慢,占用内存大,不适合部署到手机、摄…...