当前位置: 首页 > news >正文

星河案例ㅣ中国电信 X 冲量在线:基于智算中心的隐私计算应用实践

▏摘要

中国电信是中国三大运营商之一,为响应国家“东数西算”工程的全新数据中心形态,中国电信引入隐私计算平台,对内实现数据确权跟踪、对外实现数据共享交易,盘活中国电信分布在全国不同区域的数据资源和算力资源,通过数据开放、算力输出以及中国电信在AI领域的算法模型实践,赋能电信各省分公司和外部政企客户。
在这里插入图片描述

▏关键发现

• 隐私计算技术可实现各个数据协作方之间的安全可信,将智算中心升级为信算中心,形成一种集安全存储、可信计算、高性能、大规模为一体的新型可信信息基础设施;

• 在选择隐私计算技术路线时,出于对机器学习算法支持、计算密集度、安全信任方等考量,中国电信选择软硬件结合的可信执行环境(TEE)技术,兼容CPU与GPU,满足大规模数据训练推理的高性能需求,同时,信任基础建立在国产化技术路线之上,可以满足国产化替代的发展趋势;

• 各省分公司只需要部署异构加速隐私计算一体机,预装隐私计算核心架构和数据共享交易平台,则可以自动接入到中国电信区块链基础设施和数据流通的数据和算力调度网络中,实现快速部署和无缝扩容。

分享专家:周岳骞,冲量在线产品总经理
作者:沙丘社区分析师团队

01
案例企业

中国电信集团有限公司(以下简称“中国电信“)成立于1995年,是国有特大型通信骨干企业,连续多年入选世界500强企业。截至2021年底,拥有固定电话用户1.07亿户,移动电话用户3.72亿户,宽带用户1.70亿户,集团公司总资产9,078亿元,员工总数40余万人。

02
项目背景

2022年3月,十三届全国人大五次会议审查的计划报告提出,实施“东数西算”工程,把东部密集的算力需求有序引导到西部,使数据要素跨域流动,打通“数”动脉,织就全国算力一张网。中国电信作为三大运营商之一,作为重要的网络和算力基础设施的建设和运营方,自然承担起“东数西算”赋予的课题和任务。

对于中国电信本身而言,“东数西算”意味着内部和外部的两大需求:

内部:各省分公司之间通过一套平台实现算力和数据的统一调度和管理。中国电信内部各省分公司之间本身存在着算力和数据的不对等,内蒙、青海、宁夏等西部省份和地区,能源土地资源的成本较低,算力更多;而东部省份和地区的业务更加繁忙,有更多的业务数据。对此,中国电信推出数算云网战略,旨在打造全国算力和数据的一张网,实现整体算力和数据的调度。

外部:既能满足各省分公司对政企客户服务的需求场景,又能加大对各省分公司与外部政企合作时的数据安全合规保护要求。中国电信在各个省份都有外部政企合作方,合作方在使用中国电信算力和数据的同时,自身对数据安全存在诉求,中国电信在对外进行数据和算力的输出时也有着合规性的考量。随着《数据安全法》和《个人信息保护法》的推出和落实,中国电信对于全国省分公司的要求越来越严格。

基于以上两大需求,中国电信希望引入隐私计算平台实现各个数据协作方之间的安全可信,将智算中心升级为信算中心,形成一种集安全存储、可信计算、高性能、大规模为一体的新型可信信息基础设施。

隐私计算平台帮助各省分公司解决AI场景下数据、算法、建模的分离问题,具体包括两类场景:

第一,建模过程。智算中心拥有中国电信以及政企客户提供的数据、大量的异构芯片资源以及AI算法,模型训练方利用相关资源进行模型训练,但不希望输出的标签数据、用户身份数据等被沉淀。对于中国电信而言,托管在平台上的算法以及样本数据也不希望被模型训练方拿走,最终通过智算中心输出的只是建模结果。

第二,预测过程。政企客户在智算中心完成模型训练之后,希望将模型托管在智算中心平台上,然后对自身业务或用户提供API接口服务。用户在使用过程中,接口调用会涉及到真实的业务数据,在通过API方式调用模型的过程中,业务数据最终会传输到智算中心的加速芯片中进行运算,然后输出标签。在这个过程中,需要保证待预测的数据在预测过程中不能落盘,实现预测过程中样本数据与模型、算力提供方之间的分离。

03
解决方案

在实现智算中心升级的过程中,中国电信与冲量在线、中科海光等合作,共同推动国芯隐私计算及区块链技术的落地应用。

冲量在线是一家专注于数据流通与隐私计算解决方案的科技创新企业,拥有高新企业认证,在隐私计算一体机、可信执行环境、区块链增强的隐私计算等领域位均居于行业领先地位,也是隐私计算行业中最早拥抱信创生态并全面完成适配的企业。

中国电信、冲量在线、中科海光的合作最早可追溯于2020年,现已经历四个发展阶段:

阶段一:核心模块研发。冲量在线基于中科海光自研CPU芯片及自研的TEE技术CSV,自主研发了基于国产芯片的数据互联与隐私计算平台,并于2021年6月与中科海光联合推出了隐私计算软硬件一体机产品。

阶段二:数信链网产品。基于国产隐私计算一体机与区块链基础设施,电信研究院与冲量在线、海光信息联合研发了支持数据确权、定价、交易、隐私计算的数信链网产品,并在中国电信内部各省分公司进行试点和应用。

阶段三,异构加速创新。隐私计算技术在实际生产落地过程中存在着应用场景和性能规模方面的瓶颈,TEE技术无法满足异构场景下的需求,结合海光信息的异构加速芯片DCU,冲量在线与海光信息联合研发了TEE直通异构加速芯片的驱动及应用技术,将原本只能适用于CPU芯片上的CSV技术与海光芯片DCU直通,将原本由TEE保护的在CPU和内存当中的安全可信计算环境拓展到GPU中,利用GPU资源加速TEE中的隐私计算,推出全国产化的异构加速隐私计算一体机。

阶段四,信算落地应用。数信链网产品在北京电信部署落地,并结合北京电信智算中心的先进算力和算法积累,推出了基于隐私计算的AI开放应用平台,帮助北京电信实现数据资产与AI能力的开放运营,赋能北京电信的政企客户进行智能化转型。

可信执行环境(TEE)最早由CPU芯片厂商制定细节标准,无法覆盖智算中心的GPU资源。

2022年3月,英伟达率先推出首款能够支持隐私计算的H100 GPU芯片,提供PVle和NVLink通道保证CPU和GPU之间的通信完全加密,屏蔽CPU和GPU进行密文传输过程中的信息供给,能保证数据传输过程中的安全性;内置定制可信根,保证每个GPU芯片独立、无法被篡改,一旦被篡改,芯片的可信根就不再可用,保证硬件本身的安全性;此外,支持基于度量的可信启动和GPU远程认证,意味着运行在CPU当中的算法可以被数据提供方所度量,数据提供方可以从远端验证H100的芯片是否合规、是否被篡改过、是否内置可信根。基于CUDA生态,用户开发的深度学习和机器学习算法无需做任何更改,就可以在由TEE加密的GPU的可信执行环境中运行。

基于国际厂商推出基于TEE的异构加速方案,冲量在线与中科海光于2022年6月推出国内首个支持隐私计算的GPU芯片方案:通过海光DCU芯片与海光CPU芯片上的TEE直通,可以在CPU和GPU当中共同建立完整的可信执行环境,可信执行环境以CPU中的TEE为核心接收外部的算法、数据和模型,通过加密通道使用GPU的算力资源进行推理和训练,最后结果通过CPU中的可信执行环境对外输出。

该方案具有如下优势:

第一,在整个机器学习的训练和推理过程中,数据无需落盘,保证数据不存在隐私泄露的困扰;

第二,基于海光GPU CUDA的兼容,保证上层基于等TensorFlow、PyTorch等深度学习框架上的AI应用和隐私计算算法不需要修改;

第三,结合异构硬件加速卡,支持AI异构加速;

第四,全面国产化替代,CPU层面通过海光CPU替代英特尔CPU、GPU层面通过海光GPU替代英伟达GPU,实现端到端的软硬件全国产化。

在选择隐私计算技术路线时,中国电信考虑了基于软件的多方安全计算、联邦学习或基于硬件的可信执行环境。最终,中国电信选择了可信执行环境的技术路线,考虑因素如下:

第一,可信执行环境对于机器学习的支持更加友好,未来拓展更加便捷。无论是多方安全计算还是联邦学习,算法本身的开发语言、代码、开发框架都需要改造,例如多方安全计算需要用到多方安全计算所提供的算子重构算法;联邦学习需要基于联邦学习的框架重写原有机器学习算法。而可信执行环境由于本身是一个黑盒,不需要干预算法,原有机器学习算法、深度学习算法可以在无需改造的情况下,直接在可信执行环境当中运行。

第二,可信执行环境可支持亿级以上大规模数据。北京电信希望通过智算中心承载外部政企客户的诉求,每个节点能支持千万级甚至亿级别的大规模数据。可信执行环境的性能损耗可以控制在5%~10%,保证计算密集度不会有太大损耗,多方安全计算和联邦学习对计算密集度的损耗都相对较大。

第三,安全信任方可转移到芯片厂商。多方安全计算和联邦学习的安全信任方是在软件层面,或者说在加密算法层面,而可信执行环境的安全信任方可以转嫁给芯片厂商。引入国产芯片厂商一方面风险共担,另一方面保障信任基础建立在国产化技术路线之上,满足国产化替代的发展趋势。

目前,隐私计算平台在中国电信已经落地和正在落地的应用场景如下:

第一,金融风控。在保护用户隐私数据的前提下,帮助金融机构训练高准确率的用户金融风险评分模型,对可能发生的金融违约和欺诈行为进行预测,从而有效降低坏账率并做好风险预警。

第二,医疗药研。促进医疗结构与医院间的数据合作,通过“真实世界数据研究”推动药品研发和上市。严格遵循医疗数据保护规范,实现用户隐私数据完全脱敏且全流程隐私计算。

第三,双碳经济。通过智能水表、智能电表等物联网IT设备采集企业用电、能耗和生产经营数据,在隐私计算平台上进行建模,促进“双碳经济”中碳足迹数据的存证和交易,实现企业能耗、生产、经营数据的隐私保护,并通过数据流通促进监管机构和金融机构对绿色经济的管理和扶持。

第四,疫情防控。在做好个人信息保护的基础上实现大数据支撑的疫情联防联控,通过数据隐私共享流通,实现跨机构的联合排查和精准定位,同时充分保护居民个人隐私安全。

第五,治安舆情。通过电信业务数据、互联网行为数据、社交媒体舆情等融合分析,实现公共安全事件的有效预测和防范,实现治安情报分析中的多方双向隐私保护。

第六,跨省电信业务。实现中国电信各省分公司的数据互联互通,实现各省分公司数据所有权的保护和数据资产激活,支撑各类跨省电信业务的便捷开展与高效互通。

随着未来智算中心以及中国电信数信链网平台在各个省分公司的推广,每个省分公司只需要部署异构加速隐私计算一体机,预装隐私计算核心架构和数据共享交易平台,自动切入到中国电信区块链基础设施和数据流通的数据和算力调度网络中,实现快速部署和无缝扩容。

04
价值与效果

通过数信链网平台,中国电信对内实现数据确权跟踪、对外实现数据共享交易,并搭建智算中心的AI隐私计算开放平台,以SaaS化的方式提供隐私计算API管理。

目前,“数信链网”已经在中国电信及多个省分公司试点应用,承载了数万次内外部的数据交易流通和AI建模,总计运行的数据量超过百亿级别;支持北京电信的数据输出和智算AI开放业务,已支撑40余个AI训练的场景,包含千万用户量级的数据和数十种AI算法。

相关文章:

星河案例ㅣ中国电信 X 冲量在线:基于智算中心的隐私计算应用实践

▏摘要 中国电信是中国三大运营商之一,为响应国家“东数西算”工程的全新数据中心形态,中国电信引入隐私计算平台,对内实现数据确权跟踪、对外实现数据共享交易,盘活中国电信分布在全国不同区域的数据资源和算力资源,…...

开发笔记之:JAVA读取QT QDataStream输出

1.背景 之前的标题是【JAVA反序列化QT序列化内容】,觉得太大太绕,最后改为现在的标题。  本篇内容是对用JAVA解析QT(用的是QDataSteam)所输出(序列化)的内容的小结。 本文涉及类型包括:QString…...

Docker入门实战---修改Docker镜像源

前言 现在大部分互联网公司在实施项目时几乎都会以微服务架构进行落地,那么微服务一旦多了之后就会面临一个如何友好的治理的问题,本人不会重点介绍治理的问题,而是会简单就治理的其中一个环节服务部署运维的问题进行介绍,服务部…...

Java构建高并发高可用的电商平台(静态架构蓝图之剖析架构)

静态架构蓝图 整个架构是分层的分布式的架构,纵向包括CDN,负载均衡/反向代理,web应用,业务层,基础服务层,数据存储层。水平方向包括对整个平台的配置管理部署和监控。 剖析架构 1. CDN CDN系统能够实时…...

SpringBoot核心运行原理解析之------@Conditional条件注解

在SpringBoot核心运行原理解析之------@EnableAutoConfiguration文档中我们完成了自动配置类的读取和筛选,在这个过程中已经涉及了像@ConditionalOnClass这样的条件注解。打开每个自动配置类,都会看到@Conditional或其衍生的条件注解,本节我们来认识下@Conditional注解。 认…...

systemverilog 001 内建数据类型logic

Verilog 有两种基本数据类型,reg 和wire ,都是4值逻辑 0 1 x z,默认值是x。 reg[7:0] m 为无符号 Integer 为有符号32位 time为64位无符号 real为浮点数 systemverilog新引进了logic,logic既可以作为变量(reg功能),也可以作为线网功能(…...

Flink Kafka-Source

文章目录 Kafka Source1. 使用方法2. Topic / Partition 订阅3. 消息解析4. 起始消费位点5. 有界 / 无界模式6. 其他属性7. 动态分区检查8. 事件时间和水印9. 空闲10. 消费位点提交11. 监控12. 安全 Apache Kafka 连接器 Flink 提供了 Apache Kafka 连接器使用精确一次&#xf…...

VoxelNeXt:用于3D检测和跟踪的纯稀疏体素网络

VoxelNeXt:Fully Sparse VoxelNet for 3D Object Detection and Tracking 目前自动驾驶场景的3D检测框架大多依赖于dense head,而3D点云数据本身是稀疏的,这无疑是一种低效和浪费计算量的做法。我们提出了一种纯稀疏的3D 检测框架 VoxelNeXt。该方法可以…...

必须了解的内存屏障

目录 一,内存屏障1,概念2,内存屏障的效果3,cpu中的内存屏障 二,JVM中提供的四类内存屏障指令三,volatile 特性1,保证内存可见性定义2,禁止指令重排序3,不保证原子性 一&a…...

【设计模式】状态模式

文章目录 前言状态模式1、状态模式介绍1.1 存在问题1.2 解决问题1.3 状态模式结构图 2、具体案例说明状态模式2.1 不使用状态模式2.2 使用状态模式 3、状态模式总结 前言 状态模式主要解决的是当控制一个对象状态转换的条件表达式过于复杂时的情况。把状态的判断逻辑转移到表示…...

内核驱动支持浮点数运算

最近在调 iio 下的 ICM42686 驱动,因项目求需要在驱动对加速度和陀螺raw数据进行换算,避免不了浮点运算。内核编译时出现了报错,提示如下: drivers/iio/imu/tdk_icm42686/icm42686.o: In function gyro_data2float: /home/share/…...

Flink学习(一)

分布式计算框架 Java可以使用分布式计算来处理大规模的数据和计算任务,提高计算效率和性能。以下是一些Java分布式计算的例子: Apache Hadoop:Hadoop是一个开源的分布式计算框架,可以处理大规模数据集的分布式存储和处理。它使用Java编写,可以在分布式环境中运行MapReduc…...

linux 常用命令awk

AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 AWK用法 awk 用法:awk pattern {action} files 1.RS, ORS, F…...

MySQL学习---15、流程控制、游标

1、流程控制 解决复杂问题不可能是通过一个SQL语句完成,我们需要执行多个SQL操作。流程控制语句的作用就是控制存储过程中SQL语句的执行顺序,是我们完成复杂操作必不可少的一部分。只要是执行的程序,流程就分为三大类: 1、顺序结…...

信息调查的观念

每次做一件事前都要把这件事调查清楚,比如考一门科目我们要把和这门科目有关的资源都收集起来,然后把再从中筛选出有用的信息,如数值计算方法我们在考试前就可以把b站有关的学习资源网课或者前人总结的考试经验做个收集总结,做出对…...

leetcode 337. 打家劫舍 III

题目链接:leetcode 337 1.题目 小偷又发现了一个新的可行窃的地区。这个地区只有一个入口,我们称之为 root 。 除了 root 之外,每栋房子有且只有一个“父“房子与之相连。一番侦察之后,聪明的小偷意识到“这个地方的所有房屋的…...

基于Docker的深度学习环境NVIDIA和CUDA部署以及WSL和linux镜像问题

基于Docker的深度学习环境部署 1. 什么是Docker?2. 深度学习环境的基本要求3. Docker的基本操作3.1 在Windows上安装Docker3.2 在Ubuntu上安装Docker3.3 拉取一个pytorch的镜像3.4 部署自己的项目3.5 导出配置好项目的新镜像 4. 分享新镜像4.1 将镜像导出为tar分享给…...

c#中slice,substr,substring区别

1. 都使用一个参数: //栗子数据 var arr [1,2,3,4,5,6,7], str "helloworld!"; //防止空格干扰,不用带空格的,注意这里有个!号也算一位 console.log(str.slice(1)); //elloworld! console.log(str.substring(1)); //…...

java语言里redis在项目中使用场景,每个场景的样例代码

Redis是一款高性能的NoSQL数据库,常被用于缓存、消息队列、计数器、分布式锁等场景。以下是50个Redis在项目中使用的场景以及对应的样例代码和详细说明: ##1、缓存:将查询结果缓存在Redis中,下次查询时直接从缓存中获取&#xff…...

Mongo集合操作

2、创建切换数据库 2.1 默认数据库 mongo数据库和其他类型的数据库一样,可以创建数据库,且可以创建多个数据库。 mongo数据库默认会有四个数据库,分别是 admin:主要存储MongoDB的用户、角色等信息 config:主要存储…...

Python|GIF 解析与构建(5):手搓截屏和帧率控制

目录 Python|GIF 解析与构建(5):手搓截屏和帧率控制 一、引言 二、技术实现:手搓截屏模块 2.1 核心原理 2.2 代码解析:ScreenshotData类 2.2.1 截图函数:capture_screen 三、技术实现&…...

TDengine 快速体验(Docker 镜像方式)

简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能,本节首先介绍如何通过 Docker 快速体验 TDengine,然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker,请使用 安装包的方式快…...

前端开发面试题总结-JavaScript篇(一)

文章目录 JavaScript高频问答一、作用域与闭包1.什么是闭包(Closure)?闭包有什么应用场景和潜在问题?2.解释 JavaScript 的作用域链(Scope Chain) 二、原型与继承3.原型链是什么?如何实现继承&a…...

k8s业务程序联调工具-KtConnect

概述 原理 工具作用是建立了一个从本地到集群的单向VPN,根据VPN原理,打通两个内网必然需要借助一个公共中继节点,ktconnect工具巧妙的利用k8s原生的portforward能力,简化了建立连接的过程,apiserver间接起到了中继节…...

代码随想录刷题day30

1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币,另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额,返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...

MyBatis中关于缓存的理解

MyBatis缓存 MyBatis系统当中默认定义两级缓存:一级缓存、二级缓存 默认情况下,只有一级缓存开启(sqlSession级别的缓存)二级缓存需要手动开启配置,需要局域namespace级别的缓存 一级缓存(本地缓存&#…...

DeepSeek越强,Kimi越慌?

被DeepSeek吊打的Kimi,还有多少人在用? 去年,月之暗面创始人杨植麟别提有多风光了。90后清华学霸,国产大模型六小虎之一,手握十几亿美金的融资。旗下的AI助手Kimi烧钱如流水,单月光是投流就花费2个亿。 疯…...

新版NANO下载烧录过程

一、序言 搭建 Jetson 系列产品烧录系统的环境需要在电脑主机上安装 Ubuntu 系统。此处使用 18.04 LTS。 二、环境搭建 1、安装库 $ sudo apt-get install qemu-user-static$ sudo apt-get install python 搭建环境的过程需要这个应用库来将某些 NVIDIA 软件组件安装到 Je…...

JUC并发编程(二)Monitor/自旋/轻量级/锁膨胀/wait/notify/锁消除

目录 一 基础 1 概念 2 卖票问题 3 转账问题 二 锁机制与优化策略 0 Monitor 1 轻量级锁 2 锁膨胀 3 自旋 4 偏向锁 5 锁消除 6 wait /notify 7 sleep与wait的对比 8 join原理 一 基础 1 概念 临界区 一段代码块内如果存在对共享资源的多线程读写操作&#xf…...

SpringCloud优势

目录 完善的微服务支持 高可用性和容错性 灵活的配置管理 强大的服务网关 分布式追踪能力 丰富的社区生态 易于与其他技术栈集成 完善的微服务支持 Spring Cloud 提供了一整套工具和组件来支持微服务架构的开发,包括服务注册与发现、负载均衡、断路器、配置管理等功能…...