知识图谱存在的挑战---隐私、安全和伦理相关和测试认证相关
文章目录
- 隐私、安全和伦理相关
- 测试认证相关
隐私、安全和伦理相关
从部署拓扑结构而言,知识图谱技术以数据为核心、数据库为载体的方式来存储,有单机、云平台、集群及其组合的部署方式,结合大数据平台、云平台、业务系统、灾备、网络系统及其与知识图谱之间的通信接口。知识图谱的安全问题,是为了保护其数据内容、存储载体、能够访问知识图谱的系统、平台、网络及之间的接口安全。

内部业务人员、外部合作伙伴、第三方合作业务系统通过利用相应的系统权限违规窃取/滥用数据。一般来说,内部业务人员拥有比外部、第三方更高的系统访问权限,内部人员对数据的访问和使用虽然经过了账号授权,但没有对其访问和传输内容进行审查容易造成数据流失和敏感信息泄露的问题。外部合作伙伴虽然拥有较低的系统权限,但是通过漏洞或钓鱼进行渗透网络和系统渗透、数据库注入、账号提权、病毒植入等方式也可以访问到数据库中的核心信息,从而产生数据丢失、窃取甚至拖库等风险。第三方系统一般通过接口访问知识图谱存储的数据库,在接口本身安全性、三方系统安全性方面无法做到有效管理。其次,敏感应用/接口缺少监控管理手段,容易造成数据泄露和资源占用。对于这类场景,需要从流量中知识图谱相关的协议解析开始,审查各个账号、接口获取的数据内容,防止数据泄露和未授权流量的产生。
根据国家《数据安全管理办法(征求意见稿)》第六条,数据安全的风险评估势在必行。在风险评估之前,必要的一步就是对当前的数据进行梳理,分类分级、打标签,并识别敏感数据。然后,对已识别数据的驻留和流转风险进行评估。梳理数据的一种手段就是资产扫描,通过对数据库、数据内容及相应的大数据平台组件进行扫描,识别其中的敏感组件和数据并分类。其次,还要扫描数据传输路径和驻留节点,对流程可视化之后更便于识别风险。
行为异常一般包含的场景:内部业务人员违规访问内部系统造成数据泄露/滥用事件;运维人员违规访问数据库/服务器,造成数据泄露事件;第三方通过接口违规提取截留敏感数据,造成数据泄露。从安全运营和运维角度来说,希望能够主动发现潜在的风险,但无奈系统节点繁多、流量庞杂、日志种类多数量大。因此,该类场景下需要从用户行为分析和日志审计的角度来切入,以可视化的方式呈现安全隐患。
网络攻击的纵深防御,可以分为事前、事中、事后三个阶段,事前感知与预防,事中拦截并阻断,事后加固和溯源。在进行攻击溯源时,安全或IT部门在遇到数据安全事件时由于攻击手段的多样性经常会缺少有效溯源手段;而各种设备、系统、数据库日志各自独立,无法关联分析,无法定位事件源头;并且对于海量日志的搜索,传统安全产品检索分析性能无法满足需要。因此在溯源取证环节,对日志关联分析、攻击者画像、发现攻击链条等方面,由于知识图谱的数据结构、日志以及系统拓扑有别于传统业务系统,都将对安全系统的构建提出挑战。
知识图谱作为底层的数据服务,为多种应用(如各类搜索引擎、对话系统)和各类接口提供服务或数据。在认证、账号、权限和审计方面均需统一管理,也就是4A安全管理,其中审计管理(Audit)全面记录用户在知识图谱相关系统与接口的登录行为和操作行为。基于图谱的异常行为定义和规则,实现知识内容获取、数据库操作、相关组件使用的有效审计。
知识图谱构建技术中最重要的一个环节就是知识获取,包括实体抽取和关系抽取等,而且最终提供服务的知识图谱也高度依赖于这两个技术要素,这两类技术决定了知识图谱内容质量的好坏。为了保证输出高质量的图谱,并且维持这一质量要求,不仅需要从系统、平台、数据库、网络维度保护模型本身的安全性,防止训练好的模型文件被破坏,而且还需要保证输入数据的安全性,从模型的训练数据到抽取好待入库的知识结构,避免如恶意代码或原有数据、关系的替换,以免篡改行为导致知识图谱的质量下降。
数据时代的安全架构:以数据为中心的审计与保护(Data-Centric Audit and Protection,简称“DCAP”)是由Gartner提出的术语。它强调特定数据本身的安全性,弱化了周边环境的安全考虑。DCAP主要的优点之一是将数据安全应用于待保护的特定数据片段但不影响正常业务,数据保护与企业战略保持一致。而目前的安全系统与建设方案都是全方位的重型防护体系,势必对业务流畅性产生一定影响,其中包括数据的分类发现与安全策略、审计和行为分析与告警、数据的保护等。
测试认证相关
知识图谱相关技术及系统的测试评估作为知识图谱发展中的重要环节,国内外不同机构正在推动该方面的研究工作,其中全国知识图谱与语义计算大会作为中国中文信息学会语言与知识计算专委会定期举办的全国年度学术会议每年发布主题测评任务,促进国内知识图谱领域的技术发展,以及学术成果与产业需求的融合和对接。此外,美国伦斯勒理工学院Tetherless World Constellation研究所围绕知识图谱质量评估正在研制知识图谱测评系统,以检测和评估大规模异构知识图谱中存在的不连续性及潜藏错误标签。目前,该测评系统架构图如图6.1所示,并在一项大规模生物学知识图谱上完成了测试。整体而言,知识图谱的测试认证相关研究仍处于起步阶段,面临以下挑战:

知识图谱测试与评估不仅涉及知识图谱输入数据、整体性能、平台功能等,还涉及知识图谱构建过程中知识获取、知识表示、知识存储、知识融合、知识建模、知识计算等各环节。其中,知识获取与知识融合环节测试评估获得的关注度较高,知识融合环节中的质量评估主要是对知识的可信度进行量化,保留置信度较高的并舍弃置信度较低的,有效确保知识的质量。此外,2019年全国知识图谱与语义计算大会就面向中文短文本的实体链指任务、人物关系抽取、面向金融领域的事件主体抽取、公众公司公告信息抽取等多个方面发布了评测任务。
知识图谱测试与评估方法较少,且集中在知识图谱构建的特定环节或特定问题,尚未形成完整测评体系,无法指导当前各企业及相关用户的使用。美国伦斯勒理工学院发布的研究报告中针对实体类型不匹配、事件类型不匹配、实体事件二元性、上下文约束等知识图谱不一致性测评进行了探讨;德国Philipp Cimiano等专家针对知识图谱优化的现有评估方法从回顾性评估、计算性能等方面进行了总结,但数量有限;针对知识融合中质量评估问题,Mendes等人在LDIF框架基础上提出了一种新的质量评估方法(Sieve方法),支持用户根据自身业务需求灵 活定义质量评估函数,也可以对多种评估方法的结果进行综合考评以确定知识的最终质量评分。
当前知识图谱相关标准较少,且尚无测试与评估标准发布,缺少获得业内一致认可的共性测评指标与方法。德国Philipp Cimiano等专家在文献中对知识图谱相关优化算法性能基于DBpedia、Zhishi.me、Open Cyc等数据库从精度、召回率、准确性、精度与召回率曲线下面积、ROC曲线下面积、均方根误差等指标进行了比较。在全国知识图谱与语义计算大会组织的评测任务中,增加了F1-Measure相关指标,并给出了具体的计算公式。但各项指标是否能够覆盖知识图谱测评需求还有待论证,而且知识图谱构建过程中各环节指标也待明确。
标准测试数据集作为知识图谱测评的重要基础,高质量的测试数据集不仅有利于降低知识图谱相关系统的开发成本,也有利于多知识图谱产品间的横向对比,提升测评结果的公平性。DBpedia、Open Cyc、NELL等国外开源数据库及Zhishi.me、PKU-PIE、THUOCL、CN-DBpedia等国内开源数据库对知识图谱的发展起到了重要支撑作用。此外,TAC-KBP、MUC、全国知识图谱与语义计算大会等发布的测评任务中也会附相应的测评数据集。同时,OpenKG作为中国中文信息学会语言与知识计算专业委员会所倡导的开放知识图谱项目目前也已公布92项开源数据集。但各项数据集多是相关公司或组织独立开发所得,而且并非面向知识图谱测试而开发,有待进一步融合与发展。而且随着知识图谱相关产品在各领域的逐步落地与应用,未来面向特定领域的测试数据集需求将不断提升,如何在现有基础上构建相应领域的标准测试数据集也将是一大挑战。
知识图谱测试人员需要同时掌握良好的知识图谱构建相关知识及软件测试相关能力。对于第三方测试机构而言,在具备相应测试人员基础上,还需要配备良好的测试环境和检测设备、完备的管理机制,而且测试实验室及测试人员需获得检测认证相关资质,才能够确保出具有公信力的检测报告。目前,由于知识图谱测评相关测试床及测试用例匮乏,而且现有测试人员及机构资质和测试环境多针对其他技术领域,其能否完全覆盖知识图谱测试中的特殊需求缺乏验证基础,未来有待进一步加强该方面技术突破及研究。
相关文章:

知识图谱存在的挑战---隐私、安全和伦理相关和测试认证相关
文章目录 隐私、安全和伦理相关测试认证相关 隐私、安全和伦理相关 从部署拓扑结构而言,知识图谱技术以数据为核心、数据库为载体的方式来存储,有单机、云平台、集群及其组合的部署方式,结合大数据平台、云平台、业务系统、灾备、网络系统及其…...

课时155:脚本发布_简单脚本_命令罗列
2.1.1 命令罗列 学习目标 这一节,我们从 基础知识、简单实践、小结 三个方面来学习 基础知识 简介 目的:实现代码仓库主机上的操作命令功能即可简单实践 实践 查看脚本内容 #!/bin/bash # 功能:打包代码 # 版本: v0.1 # 作者: 书记 # …...

借助ollama实现AI绘画提示词自由,操作简单只需一个节点!
只需要将ollama部署到本地,借助comfyui ollama节点即可给你的Ai绘画提示词插上想象的翅膀。具体看详细步骤! 第一步打开ollama官网:https://ollama.com/,并选择models显存太小选择的是llama3\8b参数的instruct-q6_k的这个模型。 运…...

PyTorch -- Visdom 快速实践
安装:pip install visdom 注:如果安装后启动报错可能是 visdom 版本选择问题 启动:python -m visdom.server 之后打开出现的链接 http://localhost:8097Checking for scripts. Its Alive! INFO:root:Application Started INFO:root:Working…...

基于xilinx FPGA的QSFP调试使用经验
1 概述 本文用于记录QSFP在调试使用时遇到的一些经验教训,防止后来者踩相同的坑。 参考手册: 《AMQ28-SR4-M1_V1.0》 《QSFP-DD-Hardware-rev4p0-9-12-18-clean》 2 QSFP简介 QSFP(Quad Small Form-facor Pluggable)即四通道SFP…...

WPF 使用Image控件显示图片
Source属性 Source属性用来告诉Image组件要展示哪张图片资源的一个入口,通常是图片的路径。也许是本地路径,也许是网络路径。 本地图片路径加载方式 使用相对路径,相对于工程目录的路径,当设置Width属性时,图片会等…...

合肥工业大学内容安全实验一:爬虫|爬新闻文本
✅作者简介:CSDN内容合伙人、信息安全专业在校大学生🏆 🔥系列专栏 :合肥工业大学实验课设 📃新人博主 :欢迎点赞收藏关注,会回访! 💬舞台再大,你不上台,永远是个观众。平台再好,你不参与,永远是局外人。能力再大,你不行动,只能看别人成功!没有人会关心你付…...

自动驾驶---Perception之视觉点云雷达点云
1 前言 在自动驾驶领域,点云技术的发展历程可以追溯到自动驾驶技术的早期阶段,特别是在环境感知和地图构建方面。 在自动驾驶技术的早期技术研究中,视觉点云和和雷达点云都有出现。20世纪60年代,美国MIT的Roberts从2D图像中提取3D…...

maven 显式依赖包包含隐式依赖包,引起依赖包冲突
问题:FlinkCDC 3.0.1 代码 maven依赖包冲突 什么是依赖冲突 依赖冲突是指项目依赖的某一个jar包,有多个不同的版本,因而造成类包版本冲突 依赖冲突的原因 依赖冲突很经常是类包之间的间接依赖引起的。每个显式声明的类包都会依赖于一些其它…...

Spring应用如何打印access日志和out日志(用于分析请求总共在服务耗费多长时间)
我们经常会被问到这样一个问题。你接口返回的好慢呀,能不能提升一下接口响应时间啊?这个时候我们就需要去分析,为什么慢,慢在哪。而这首先应该做的就是确定接口返回时间过长确实是在服务内消耗的时间。而不是我们将请求发给网关或…...

SpringBoot整合SpringDataRedis
目录 1.导入Maven坐标 2.配置相关的数据源 3.编写配置类 4.通过RedisTemplate对象操作Redis SpringBoot整合Redis有很多种,这里使用的是Spring Data Redis。接下来就springboot整合springDataRedis步骤做一个详细介绍。 1.导入Maven坐标 首先,需要导…...

电脑怎么录制游戏视频?轻松捕捉每一帧精彩
随着游戏产业的蓬勃发展,越来越多的玩家不仅满足于在游戏世界中的探索与冒险,更希望将自己的游戏精彩瞬间记录下来,分享给更多的朋友。可是电脑怎么录制游戏视频呢?本文旨在为广大游戏爱好者提供一份详细的电脑游戏视频录制攻略&a…...

【Elasticsearch】索引快照并还原到其他集群
【Elasticsearch】索引快照并还原到其他集群 前提:es节点的所有用户id和组id都需要相同,最好在新建集群时指定用户id和组id,否则挂载后执行curl时会提示权限报错。 解决方法(gpt生成),不敢在生产尝试。 点…...

QT--DAY1
不使用图形化界面实现一个登陆界面 #include "widget.h"Widget::Widget(QWidget *parent): QWidget(parent) {//设置窗口标题this->setWindowTitle("登录界面");//设置窗口大小this->resize(535,410);//固定窗口大小this->setFixedSize(535,410)…...

DSP教学实验箱_数字图像处理_操作教程:5-1 图像旋转
一、实验目的 学习图像旋转的原理,掌握图像的读取方法,并实现图像旋转。 二、实验原理 图像旋转 图像的旋转是指以图像的某一点为原点以逆时针或顺时针旋转一定的角度。其本质是以图像的中心为原点,将图像上的所有像素都旋转一个相同的角…...

MyBatis总结(2)- MyBatis实现原理(三)
核心配置 JavaBeanMapper.xml(sql映射) 作用 JavaBeanMapper.xml实现: 用来干什么? 定义Sql语句映射。相对照JDBC的实现,是将原本的Sql代码提取出来,最终根据映射关系执行Sql操作。 好处? 解…...

【保姆级教程】Linux 基于 Docker 部署 MySQL 和 Nacos 并配置两者连接
一、Linux 部署 Docker 1.1 卸载旧版本(如有) sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine1.2 安装 yum-utils 包 sudo yum install -y…...

Dev C++ 安装及使用方法教程-干活多超详细
Dev C 是一款非常好用,简约的C/C开发工具。可以减少很多创建工程的繁琐步骤,很快的进行开发。对于只用于来写代码的人来说,是比较轻量以及极速的。 Dev C 是一个windows下的c和c程序的集成开发环境。它使用mingw32/gcc编译器,遵循…...

无缝滚动的swiper
看效果 看代码 <swiper :indicator-dots"true" :autoplay"true" circular :interval"3000" :duration"6000" display-multiple-items"3" easing-function"linear"><swiper-item v-for"(item,indx…...

tvm实战踩坑
今天玩了一下tvm的安装 我要安装v0.14.0的版本 所以按照官网的方法 https://tvm.apache.org/docs/install/from_source.html#python-package-installation git clone --recursive https://github.com/apache/tvm tvmgit checkout v0.14.0recursive是很重要的 这一步可以替换成…...

计算机网络之网络层知识总结
网络层功能概述 主要任务 主要任务是把分组从源端传到目的端,为分组交换网上的不同主机提供通信服务。网络层传输单位是数据报。 分组和数据报的关系:把数据报进行切割之后,就是分组。 主要功能: 路由选择与分组转发 路由器…...

利用穿戴甲虚拟试戴技术提高销量和参与度
在不断变化的美容行业,保持领先意味着拥抱创新技术。其中一项改变游戏规则的技术是人工智能驱动的虚拟指甲试戴。在穿戴甲领域,不断兴起的虚拟试戴技术对促进销售和参与度产生了重大影响。 视觉吸引力的力量 要了解虚拟试戴的重要性,必须了解…...

后端|压缩Base64图片的两种方式
Base64是一种将二进制数据编码为ASCII字符串的方法。它通过将3个字节的二进制数据转换为4个可打印字符的ASCII字符,从而将二进制数据转换为可传输的文本格式。Base64编码常用于传输图片或音频文件。Base64编码可以保证数据在传输过程中不丢失,同时可以避…...

HCIP认证笔记(单选题)
1、OSPF Hello报文中不包括:process ID 3、IS-IS路由的开销在narrow模式下路由的开销值取值范围是:1~63; 在wide模式下路由的开销取值范围为:1~16777215 4、attached-bit advertise never 命令可以使level-1设备不生成缺省路由; 5、OSPFv3报文封装在IPv6报文内,IPv…...

数据结构笔记-2、线性表
2.1、线性表的定义和基本操作 如有侵权请联系删除。 2.1.1、线性表的定义: 线性表是具有相同数据类型的 n (n>0) 个数据元素的有限序列,其中 n 为表长,当 n 0 时线性表是一个空表。若用 L 命名线性表,则其一般表示为&am…...

Linux基础IO【II】真的很详细
目录 一.文件描述符 1.重新理解文件 1.推论 2.证明 2.理解文件描述符 1.文件描述符的分配规则 3.如何理解文件操作的本质? 4.输入重定向和输出重定向 1.原理 2.代码实现重定向 3.dup函数 编辑 4.命令行中实现重定向 二.关于缓冲区 1.现象 …...

【C++】模板及模板的特化
目录 一,模板 1,函数模板 什么是函数模板 函数模板原理 函数模板的实例化 推演(隐式)实例化 显示实例化 模板的参数的匹配原则 2,类模板 什么是类模板 类模板的实例化 二,模板的特化 1,类模板的特化 全特化…...

2001-2023年上市公司数字化转型测算数据(含原始数据+处理代码+计算结果)
2001-2023年上市公司数字化转型测算数据(含原始数据处理代码计算结果)(吴非) 1、时间:2001-2023年 2、来源:上市公司年报 3、指标:行业代码、行业名称、证券简称、是否发生ST或ST或PT、是否发生暂停上市…...

ICRA 2024:基于视觉触觉传感器的物体表⾯分类的Sim2Real双层适应⽅法
⼈们通常通过视觉来感知物体表⾯的性质,但有时需要通过触觉信息来补充或替代视觉信息。在机器⼈感知物体属性⽅⾯,基于视觉的触觉传感器是⽬前的最新技术,因为它们可以产⽣与表⾯接触的⾼分辨率 RGB 触觉图像。然⽽,这些图像需要⼤…...

代理模式(设计模式)
文章目录 静态代理动态代理代理模式的应用场景动态代理和静态代理的区别 代理模式就是给一个对象提供一个代理,并由代理对象控制对原对象的引用。它使得客户不能直接与真正的目标对象通信。代理对象是目标对象的代表,其他需要与这个目标对象打交道的操作…...