大数据安全 | (一)介绍
目录
📚大数据安全
🐇大数据安全内涵
🐇大数据安全威胁
🐇保障大数据安全
⭐️采集环节安全技术
⭐️存储环节安全技术
⭐️挖掘环节安全技术
⭐️发布环节安全技术
🐇大数据用于安全
📚隐私及其保护
📚安全及其需求
🐇基本概念
🐇安全需求
🐇信息安全的目标
🐇口令破解
📚大数据安全
🐇大数据安全内涵
- ① 保障大数据安全:指保障大数据采集过程、计算过程、数据形态、应用价值的处理技术;
- ② 大数据用于安全:利用大数据技术提升信息系统安全效能和能力的方法,涉及如何解决信息系统安全问题。
🐇大数据安全威胁
- ①大数据基础设施具有虚拟化和分布式特点,容易受到非授权访问、信息泄露或丢失、破坏数据完整性、拒绝服务攻击、网络病毒传播;
- ② 大数据应用的生命周期中,数据存储是一个关键环节,尤其是非关系数据库带来如下安全挑战:模式成熟度不够、系统成熟度不够、服务器软件没有内置的足够的安全机制、数据冗余和分散性问题。
- ③ 网络安全是大数据安全防护的重要内容,安全问题随着网络节点数量的增加呈指数级上升;安全数据规模巨大,安全事件难以发现;安全的整体状况无法描述;安全态势难以感知,等等。
- ④网络化社会使大数据易成为攻击目标:在网络化社会中,信息的价值要超过基础设施的价值;大数据蕴涵着人与人之间的关系和联系,使得黑客成功攻击一次就能获得更多数据。
- ⑤ 大数据滥用的风险:一方面,大数据本身的安全防护存在漏洞,安全控制力度不够。另一方面攻击者利用大数据技术进行攻击,最大限度地收集更多用户敏感信息。
- ⑥ 大数据误用风险:大数据的准确性和数据质量不高,对其进行分析和使用可能产生无效的结果,从而导致错误的决策。
- 传统数据安全往往是围绕数据生命周期来部署, 即数据的产生、存储、使用和销毁。由于大数据的规模没有上限,且许多数据的生命周期极为短暂,因此,常规安全产品想要继续发挥作用,则需要解决如何根据数据存储和处理的动态化、并行化特征,动态跟踪数据边界,管理对数据的操作行为等。
- 随着大数据应用越来越多,数据的拥有者和管理者相分离,原来的数据生命周期逐渐转变成数据的产生、传输、存储和使用。数据以外包形式存储在云端。
🐇保障大数据安全
- 围绕大数据安全生命周期,即数据的产生、采集、传输、存储、处理、分析、发布、展示和应用、产生新数据等阶段进行安全防护。
- 对大数据全生命周期阶段合并与精简,大数据应用过程可划分为4个环节:采集、存储、挖掘和发布。
- 大数据保障技术可以从物理安全、系统安全、网络安全、存储安全、访问安全、审计安全、运营安全等角度进行考虑。
- 保障大数据安全的目标:最大程度地保护具有流动性和开放性特征的大数据自身安全,防止数据泄露、越权访问、数据篡改、数据丢失、密钥泄露、侵犯用户隐私等问题的发生。
⭐️采集环节安全技术
- 安全威胁:数据损坏、丢失、泄露、窃取。
- 安全机制:
- ① 身份认证
- ② 数据加密
- ③ 完整性保护
- ④ 抗重放攻击
- ⑤ 端到端的数据安全传输:采用SSL VPN(安全套接层,虚拟专用网),有Web浏览器模式、客户端模式、Lan到Lan模式。
⭐️存储环节安全技术
- 安全威胁:数据被窃取、丢失、破坏、机密数据泄露、隐私数据泄露。
- 安全机制 :
- ① 隐私保护:数据脱敏、变换、匿名化。
- ② 数据加密:静态数据是指文档、报表、资料等 不参与计算的数据 ——先加密再存储 ;动态数据是指需要检索或参与计算的数据 ——同态加密 。
- ③ 备份与恢复:异地备份、RAID(独立磁盘冗 余阵)、数据镜像、快照(数据副本、复制品 )
-

⭐️挖掘环节安全技术
数据挖掘是大数据应用的核心部分,是发掘大数据价值 的过程,即 从海量的数据中自动抽取隐藏在数据中有用信息的过程 ,有用信息可能包括规则、概念、规律和模 式等。
- 安全威胁:第三方在进行数据挖掘的过程中植入恶意程序、窃取系统数据。
- 安全机制:
- ① 身份认证:基于秘密信息、基于信物、基于生物特征
- ② 访问控制:自主访问控制DAC,可将拥有的权限自主地授予其他主体,并在随后的任何时刻将这些权限回收,控制是自主的;强制访问控制MAC——系统根据使用系统的机构事先确定的安全策略,对用户的访问权限进行强制性的控制,用户不能改变他们的安全级别或对象的安全属性;基于角色的访问控制RBAC—在用户和访问权限之间引入角色的概念,将用户和角色联系起来,通过对角色的授权来控制用户对系统资源的访问。
⭐️发布环节安全技术
发布是指大数据在经过挖据分析后,向数据应用实体输出挖掘结果数据的环节,即数据“出门”环节,必须对 即将输出的数据进行全面的审查,确保输出的数据符合 “不泄密、无隐私、不超限、合规约”等要求。
- 安全威胁:泄密、泄露隐私、不合规范。
- 安全机制:
- ① 安全审计:基于日志的、基于网络监听的、基于网关的、基于代理的。
- ② 数据溯源:就是对大数据应用周期的各个环节的操作进行标记和定位,在发生数据安全问题时,可以及时准确地定位到出现问题的环节和责任者,以便于对数据安全问题的解决。溯源方法:标注法、反向查询法、数字水印。
🐇大数据用于安全
- 安全监测与大数据的融合技术,利用大数据技术实时监控海量、多样、快速和复杂的数据,有效提高安全监测的效果和能力。
- 大数据技术将极大扩展安全分析的深度和广度,把传统的数据安全分析的被动的事后分析变成主动地事前防御,能够更好地感知网络安全态势。
📚隐私及其保护
隐私 是与个人相关的、具有不被他人搜集、保留和处分的权利的信息资料集合,并且它能够按照所有者的 意愿在特定时间、以特定方式、在特定程度上被公开 。
隐私保护面临大数据的威胁
- ① 大数据时代带来信息存储和管理的集中化,一个大规模生产、分享和应用数据的时代,一切皆可量化,通过社交网络将社会关系和活动数据化,实现了过去不可想象的情绪数据化。
- ② 大数据通常包含了大量的用户身份信息、属性信息、行为信息,在大数据应用的各阶段内,如果不能保护好大数据,极易造成用户隐私泄露。
- ③ 大数据的多源性,使得来自各个渠道的数据可以用来进行交叉检验,有可能发现匿名化数据后面的真实用户,因而导致隐私泄露。大数据时代,人们无法避免失去隐私。
- ④ 数据存储过程:大数据环境下,用户无法知道数据确切的存放位置,用户对其个人数据的采集、存储、使用、分享无法有效控制。
- ⑤ 数据传输过程:大数据环境下,数据传输将更为开放和多元化,传统物理区域隔离的方法无法有效保证远距离传输的安全性,电磁泄漏和窃听将成为更加突出的安全威胁。
- ⑥ 数据处理过程:大数据环境下,部署大量的虚拟技术,资源动态共享增加了访问控制和身份认证的管理难度,基础设施的脆弱性和加密措施的失效可能产生新的安全风险。
📚安全及其需求
🐇基本概念


🐇安全需求

🐇信息安全的目标

🐇口令破解
- 口令机制是资源访问控制的第一道屏障,网络攻击者常以破解用户的 弱口令 作为突破口,获取系统的访问权限。
- 弱口令 (weak password) 没有严格和准确的定义,通常认为 容易被别人(他们有可能对你很了解)猜测到或被破解工具破解的口令均为弱口令 。 弱口令指的是仅包含简单数字和字母的口令,例如“ 123” 、“ abc” 等 ,因为这样的口令很容易被别人破解,物联网设备遭到威胁。

- 撞库攻击 :使用已有账号和关联的弱口令去暴力破解。
相关文章:
大数据安全 | (一)介绍
目录 📚大数据安全 🐇大数据安全内涵 🐇大数据安全威胁 🐇保障大数据安全 ⭐️采集环节安全技术 ⭐️存储环节安全技术 ⭐️挖掘环节安全技术 ⭐️发布环节安全技术 🐇大数据用于安全 📚隐私及其…...
软件工程的概念及其重要性
软件工程是指将工程原理和方法应用于软件开发过程的学科,涉及软件的设计、开发、测试、维护和管理等各个阶段。它旨在提高软件开发的效率和质量,并确保软件满足用户的需求和预期。 软件工程的重要性体现在以下几个方面: 提高开发效率&#x…...
[足式机器人]Part3 变分法Ch01-2 数学预备知识——【读书笔记】
本文仅供学习使用 本文参考: 《变分法基础-第三版》老大中 《变分学讲义》张恭庆 《Calculus of Variations of Optimal Control Theory》-变分法和最优控制论-Daneil Liberzon Ch01-2 数学基础-预备知识1 1.3.2 向量场的通量和散度1.3.3 高斯定理与格林公式 1.3.2 …...
【嵌入式开发 Linux 常用命令系列 7.1 -- awk 过滤列中含有特定字符的行】
文章目录 awk 过滤列中字符串 上篇文章:嵌入式开发 Linux 常用命令系列 7 – awk 常用方法详细介绍 awk 过滤列中字符串 cat test.log | awk -F $31 {print $0}说明: -F 以什么分隔列,这里是以空格为分隔符;$3代表第3列;$3…...
前端(十六)——Web应用的安全性研究
🙂博主:小猫娃来啦 🙂文章核心:Web应用的安全性研究 文章目录 概述常见前端安全漏洞XSS(跨站脚本攻击)CSRF(跨站请求伪造) 点击劫持安全性验证与授权用户身份验证授权与权限管理 安全…...
无涯教程-JavaScript - BIN2HEX函数
描述 BIN2HEX函数将二进制数转换为十六进制。 语法 BIN2HEX (number, [places])争论 Argument描述Required/Optionalnumber 您要转换的二进制数。 数字不能超过10个字符(10位)。数字的最高有效位是符号位。其余的9位是幅度位。 负数使用二进制补码表示。 Requiredplaces 要…...
Kafka环境搭建与相关启动命令
一、Kafka环境搭建 点击下载kafka_2.11-2.3.1.tgz文件链接 1、上传kafka_2.11-2.3.1.tgz,解压kafka_2.11-2.3.1.tgz,得到kafka_2.11-2.3.1文件夹 1)上传 #使用mobaxterm将 kafka_2.11-2.3.1.tgz 传入tools文件夹 #用下面代码进入tools文件…...
【C++】类的封装 ② ( 封装最基本的表层概念 | 类对象作为参数传递的几种情况 )
文章目录 一、类的封装 : 将数据和方法封装到一个类中1、封装最基本的表层概念2、代码分析 - 基本封装3、代码分析 - 类对象作为参数传递的几种情况 ( 指针 / 引用 / 直接 )4、完整代码示例 一、类的封装 : 将数据和方法封装到一个类中 1、封装最基本的表层概念 将数据和方法封…...
Linux上安装FTP
1、登录FTP,执行安装命令 yum -y install vsftpd 2、启动FTP服务器,设置开启自启动 systemctl enable vsftpd.service systemctl start vsftpd.service systemctl status vsftpd.service #查看状态, 显示active说明FTP启动成功 3、修改FTP配置文件/et…...
C/C++使用GDAL库编程窍门之——通用可移植性库(Common Portability Library, CPL)
C/C使用GDAL库编程窍门之——通用可移植性库(Common Portability Library, CPL) CPL简介 GDAL全称地理空间数据抽象库(Geospatial Data Abstraction Library),是一个强大的地理栅格空间数据转换库,支持众…...
Linux container_of() 宏定义
container_of 宏 今天遇到了一段这样的代码,大致意思是 通过该struct结构体变量的成员的地址来反推该struct结构体变量的地址 并且用到了内核的宏,container_of() static inline struct nova_inode_info *NOVA_I(struct inode *inode) {return container…...
详解python中的序列类型---列表list
概述 列表类型是包含0个或多个元素的有序序列,属于序列类型。列表可以进行元素的增加、删除、替换、查找等操作。列表没有长度限制,无素类型可以不同,不需要预定长度。 列表类型用中括号[]表示,也可以通过list(x)函数将集合或字…...
Unity 引擎中国版 “团结引擎” 发布
导读Unity 官方宣布,Unity 中国正式推出 Unity 中国版引擎 —— 团结引擎,同时也开启了 Unity 中国本土化进程的全新篇章。作为推动团结引擎落地的核心人物,Unity 中国 CEO 张俊波称致力于将其打造为一款更懂中国开发者的引擎。 团结引擎以 U…...
MindsDB为许多不支持内置机器学习的数据库带来了机器学习功能
选择平台的首要原则是“靠近数据”,让代码靠近数据是保持低延迟的必要条件。 机器学习,特别是深度学习往往会多次遍历所有数据(遍历一次被称为一个epoch)。对于非常大的数据集来说,理想的情况是在存储数据的地方建立模型,这样就不需要大量的数据传输。目前已经有部分数据…...
世界级黑客丨电脑犯罪界的汉尼拔
被美国FBI称为电脑界的汉尼拔的人,有什么样的故事? 这个人就是世界级黑客凯文李波尔森,他在早期是正儿八经的黑客,他在17岁的时候就使用TRS-80电脑攻入美国国防部的高等研究计划署网络,但是当时他进去啥也没干&#x…...
【Matlab】Matlab实现数据的动态显示方法
Matlab实现数据的动态显示方法 主要为大家详细介绍了Matlab使用Plot函数实现数据动态显示方法,具有一定的参考价值,感兴趣的小伙伴们可 以参考一下 对于真实系统或者仿真平台,数据是增量式的产生的。Matlab除了强大的矩阵运算外,还…...
【Android】SDK安装及配置
一、下载SDK Tools https://www.androiddevtools.cn 以windows10系统为例,下载压缩版直接解压即可。 二、安装SDK Tools 解压后双击运行SDK Manager.exe 一般根据默认推荐安装即可。 如果无法打开SDK Manager,可以参考:https://blog.cs…...
ETCD详解
一、etcd概念 ETCD 是一个高可用的分布式键值key-value数据库,可用于服务发现。 ETCD 采用raft 一致性算法,基于 Go语言实现。 etcd作为一个高可用键值存储系统,天生就是为集群化而设计的。由于Raft算法在做决策时需要多数节点的投票&…...
React笔记(五)hook
一、函数组件 1、函数组件的创建 函数组件:使用JS的函数(或箭头函数)创建的组件称为函数组件,函数组件有如下约定 函数名称必须以大写字母开头 函数组件必须有返回值,返回JSX表达式 渲染函数组件:用函数…...
vue3中使用viewerjs实现图片预览效果
vue3中使用viewerjs实现图片预览效果 1、前言2、实现效果3、在vue3项目中使用viewer.js3.1 安装3.2 在main.js中引入3.3 组件中使用 1、前言 viewer.js是一款开源的图片预览插件,功能十分强大: 支持移动设备触摸事件支持响应式支持放大/缩小支持旋转(类…...
Spark 之 入门讲解详细版(1)
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目,速度之快足见过人之处&…...
ubuntu搭建nfs服务centos挂载访问
在Ubuntu上设置NFS服务器 在Ubuntu上,你可以使用apt包管理器来安装NFS服务器。打开终端并运行: sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享,例如/shared: sudo mkdir /shared sud…...
电脑插入多块移动硬盘后经常出现卡顿和蓝屏
当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时,可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案: 1. 检查电源供电问题 问题原因:多块移动硬盘同时运行可能导致USB接口供电不足&#x…...
k8s业务程序联调工具-KtConnect
概述 原理 工具作用是建立了一个从本地到集群的单向VPN,根据VPN原理,打通两个内网必然需要借助一个公共中继节点,ktconnect工具巧妙的利用k8s原生的portforward能力,简化了建立连接的过程,apiserver间接起到了中继节…...
.Net Framework 4/C# 关键字(非常用,持续更新...)
一、is 关键字 is 关键字用于检查对象是否于给定类型兼容,如果兼容将返回 true,如果不兼容则返回 false,在进行类型转换前,可以先使用 is 关键字判断对象是否与指定类型兼容,如果兼容才进行转换,这样的转换是安全的。 例如有:首先创建一个字符串对象,然后将字符串对象隐…...
使用 SymPy 进行向量和矩阵的高级操作
在科学计算和工程领域,向量和矩阵操作是解决问题的核心技能之一。Python 的 SymPy 库提供了强大的符号计算功能,能够高效地处理向量和矩阵的各种操作。本文将深入探讨如何使用 SymPy 进行向量和矩阵的创建、合并以及维度拓展等操作,并通过具体…...
LeetCode - 199. 二叉树的右视图
题目 199. 二叉树的右视图 - 力扣(LeetCode) 思路 右视图是指从树的右侧看,对于每一层,只能看到该层最右边的节点。实现思路是: 使用深度优先搜索(DFS)按照"根-右-左"的顺序遍历树记录每个节点的深度对于…...
多模态图像修复系统:基于深度学习的图片修复实现
多模态图像修复系统:基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型(Stable Diffusion Inpainting)实现图像修复功能,结合文本描述和图片输入,对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...
Mac flutter环境搭建
一、下载flutter sdk 制作 Android 应用 | Flutter 中文文档 - Flutter 中文开发者网站 - Flutter 1、查看mac电脑处理器选择sdk 2、解压 unzip ~/Downloads/flutter_macos_arm64_3.32.2-stable.zip \ -d ~/development/ 3、添加环境变量 命令行打开配置环境变量文件 ope…...
从实验室到产业:IndexTTS 在六大核心场景的落地实践
一、内容创作:重构数字内容生产范式 在短视频创作领域,IndexTTS 的语音克隆技术彻底改变了配音流程。B 站 UP 主通过 5 秒参考音频即可克隆出郭老师音色,生成的 “各位吴彦祖们大家好” 语音相似度达 97%,单条视频播放量突破百万…...

