大数据｜大数据基础（概念向）
目录
📚大数据概念
🐇常见数据存储单位
🐇大数据的特点（5V）
🐇大数据 VS 数据库
🌟数据库
🌟大数据
📚大数据业务分析基本步骤
🐇收集数据
🐇整理数据
🐇分析数据
🐇数据可视化
📚大数据概念
- 所有感官可以察觉的事物，能被记下来的，能够被查询到，就是数据(date)
- 数据分析的前提是有数据，数据存储的目的是支撑数据分析
- 大数据主要解决的问题：海量数据的存储和海量数据的计算问题
🐇常见数据存储单位
🐇大数据的特点（5V）
🥕Volume(大)：大数据的采集，计算，存储量都非常庞大。
🥕Variety(多)：多种类和来源多样化。
🥕Value(值)：大数据价值密度相对较低(抓小偷一大堆监控视频可能就一小段有用)
🥕Velocity(快)：数据增长速度快，处理速度也快，获取速度的速度也要快。处理数据的效率是企业的生命。
🥕Veracity(信)：数据的准确性和可信赖度，即数据的质量。
- 全样而非抽样✔️
- 效率而非精确✔️
- 相关而非因果✔️
🐇大数据 VS 数据库
🌟数据库
类似于一个池塘养鱼，它数据规模小，类型单一，先有模式后有数据（先有池塘后有鱼），处理对象为数据（池塘里的鱼）
🌟大数据
类似于大海捕鱼，它数据规模大，类型繁多，先有数据后有模式（模式随数据增多不断演变），处理对象为“鱼”，并通过某些“鱼”判断其他鱼是否存在。
大数据应用场景：电商精确广告位；用户偏好精准营销等等。大数据监控我🤡
大数据处理面临的挑战：数据安全、数据存储和处理能力限制、数据完整性、隐私保护、数据质量（垃圾数据的泛滥）、广泛的异构性（变化与多样化）、新硬件给大数据处理带来的变革等。
📚大数据业务分析基本步骤
🐇收集数据
数据收集是按确定的数据分析框架，以收集相关数据的过程，它为数据分析提供了素材和依据。一般的数据来源主要有以下几种方式：
- 数据库：每个公司都有自己的业务数据库
- 公开出版物：可用于收集数据的公开出版物
- 互联网，市场调查
🐇整理数据
数据处理是指对收集到的数据进行加工处理，形成适合数据分析的样式。即在一堆数据中找出有价值有意义的数据。主要包括数据清洗、数据转化、数据提取、数据计算等处理方法。
🐇分析数据
数据分析是指用适当的分析方法及工具，对处理的数据进行分析，提取有效信息，形成有效结论的过程。数据挖掘是一种高效的数据分析方法。一般来说，数据挖掘侧重解决四类数据分析问题：分类，聚类，关联和预测。
🐇数据可视化
数据展现的过程，将数据可视化为图表。
流处理是指按照流水线的方式处理数据，它能够快速处理大量的数据。而批处理是指按照批次的方式处理数据，通常在处理时间较长的情况下使用。
相关文章：
大数据｜大数据基础（概念向）
目录 📚大数据概念 🐇常见数据存储单位 🐇大数据的特点（5V） 🐇大数据 VS 数据库 🌟数据库 🌟大数据 📚大数据业务分析基本步骤 🐇收集数据 Ǵ…...
若依配置教程（九）若依前后端分离版部署到服务器Nginx（Windows版）
搭建若依环境 要部署到服务器上，首先要在本地运行若依系统 文章目录搭建若依环境后端部署1.在application.yml中修改后台端口，这里默认是8080。2.在application-druid.yml中修改正式环境数据库。3.后端打包部署前端部署下载安装NginxNginx代理配置启动N…...
【仔细理解】计算机视觉基础1——特征提取之Harris角点
Harris角点是图像特征提取中最基本的方法，本篇内容将详细分析Harris角点的定义、计算方法、特点。 一、Harris角点定义 在图像中，若以正方形的小像素窗口为基本单位，按照上图可以将它们划分三种类型如下： 平坦区域：在任…...
Elasticsearch7.8.0版本进阶——近实时搜索
目录一、近实时搜索的概述1.1、按段（per-segment）搜索1.2、更轻量的方式搜索二、为什么Elasticsearch是 近 实时搜索三、如何解决索引了一个文档然后却没有搜到四、哪种情况不需要每秒刷新4.1、使用 Elasticsearch 索引大量的日志文件4.2、使用 Elastics…...
OAK相机深度流探测草莓距离
编辑：OAK中国 首发：oakchina.cn 喜欢的话，请多多👍⭐️✍ 内容可能会不定期更新，官网内容都是最新的，请查看首发地址链接。 ▌前言 Hello，大家好，这里是OAK中国，我是助手…...
文件共享服务器（CIFS）的相关知识及指令
文件共享服务器（CIFS） 微软开发的 共享服务器概述 通过网络提供文件共享拂去，提供文件下载和上传服务（类似于FTP服务器） 创建共享 通过本地登录时，仅受NTFS权限的控制通过网络访问时，受共享…...
springcloud-2service consumer
创建使用会员微服务模块-service consumer思路分析/图解创建Moduel(member-service-consumer-80) & 完成配置new Module->member-service-consumer-80->finish检查父子项目的pom是否添加相应的对应module和parent本项目的pom.xml可以参考provider的，并删掉…...
JavaScript 进阶--charater3
文章目录前言一、编程思想1.1 面向过程介绍1.2 面向对象编程 (oop)对比二、构造函数三、原型3.1原型3.2 constructor 属性3.3 对象原型3.4 原型继承3.5 原型链总结前言 🆑学习目标 理解面向对象思想，掌握函数原型对象运用面向对象封装继承特点…...
Solon2 之基础：三、启动参数说明
启动参数，在应用启动后会被静态化（为了内部更高效的利用）。比如，想通过体外扩展加载配置，是不能改掉它们的。 1、启动参数 启动参数对应的应用配置描述–envsolon.env环境（可用于内部配置切换）…...
引入防关联浏览器以防止数据盗窃
目前，互联网已成为我们生活中不可缺少的且不断发展的一部分。因此，互联网变得更加复杂和多样化，每天都有新的技术、服务和应用推出。在这个不断变化的环境中，虚拟浏览器最近作为一种革命性的新方式出现在互联网上。 简而言之&…...
Spring的一些知识点
什么是Spring？ Spring是一种轻量级的开发框架，旨在提高开发人员的开发效率以及系统的可维护性。 Spring的核心模块 Spring Core是基础模块，可以说Spring的其他功能都要依赖于该类库，主要提供IOC的依赖注入功能； Spri…...
使用WordPress快速搭建外贸网站教程
一、下载安装 1、首先前往官方下载wordPress框架，下载地址：Download | WordPress.org 2、把下载好的安装包上传到我们的服务器，解压 3、我使用的搭建环境是宝塔Linux CentOS 7.9（Apache2.4mysql5.6php7.4）…...
在 vue 或 react 项目中使用 mockjs 搭建 mock server
有时候，在公司里一些项目开发前，后端接口没那么快给到前端时，前端可以先跟后端约定好各个接口的请求路径、请求参数以及返回数据格式，先整理出一份接口文档，这样前端可以通过mockjs参考接口文档，自己先模拟…...
【十一届蓝桥杯】
ans 0for i in range(1,2021):ans (str(i).count(2))print(ans)第二个def check(s):return s 2020matrix []s input()while 1 not in s:matrix.append(list(s))s input()n,m len(matrix),len(matrix[0])ans 0for i in range(n):for j in range(m):if i 3 < n and c…...
vm 网络配置
点击NAT设置，配置本台虚拟机ip（注意网关要在同一个网段），配置对应端口 然后添加映射端口： 然后选择网络适配器 选择vm8网卡 配置网卡静态ip #查看网卡 ip addr #修改网卡配置 cd /etc/sysconfig/network-scripts…...
)
2023年CDGA考试-第11章-数据仓库和商务智能(含答案)
2023年CDGA考试-第11章-数据仓库和商务智能(含答案) 单选题 1.商务智能是在构建好数据仓库以后,支撑业务决策 风险管理等更高层面的分析,以下描述不符合的是: A.提供数据查询、分析和报表等珈能 B.通过收集。整合 分析和探索数据来支持决策 C.对数据进行可视化 D.从数据中…...
从0-1搭建流媒体系统之live555 安装、运行、转发、拉流
流媒体开发系列文章 文章目录 流媒体开发系列文章前言一、环境准备？二、安装编译过程三、vscode调试代码四、代码分析总结前言 目前、比较有名的流媒体服务器有ZLMediaKit、srs、live555、eadydarwin等。因为srs是单线程服务、对于多核服务器的支持需要通过部署多个服务来充分…...
搭建个人博客保姆级教程（二）
文章目录一. Springboot项目打包成jar包二. mySql部署三. UI 项目部署一. Springboot项目打包成jar包 使用IDEA进行打包，当然也有其他部署方式，如使用maven进行打包，可自行查询资料。 1.打开项目，右击项目选中Open Module Settin…...
数字图像处理与Python实现-Pillow图像处理
Pillow图像处理 文章目录 Pillow图像处理1、Pillow介绍2、 Pillow 中的Image模块和Image类2.1 读取图像2.2 图像大小调整2.3 图像保存2.4 图像旋转2.5 图像储存模式与转换3、图像滤波处理3.1 使用卷积核进行滤波3.2 图像模糊、锐化和平滑3.3 边缘检测、边缘增强和浮雕效果3.4 图…...
HMM隐马尔可夫模型 | 关键原理+面试知识点
😄 HMM之前跟人生导师：李航学习过，这里结合自己的理解，精简一波HMM，总结一下面试中高频出现的要点。 文章目录 1、何为HMM？2、HMM三要素：3、HMM两大强假设4、HMM三个基本问题 ：5、HMM中涉及的算法6、HMM缺点7、面试高频题7.1、HMM中为何引入维特比算法作为预测算法？…...
HTML 语义化
目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案： 语义化标签： <header>：页头<nav>：导航<main>：主要内容<article>&#x…...
Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误
HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...
23-Oracle 23 ai 区块链表（Blockchain Table）
小伙伴有没有在金融强合规的领域中遇见，必须要保持数据不可变，管理员都无法修改和留痕的要求。比如医疗的电子病历中，影像检查检验结果不可篡改行的，药品追溯过程中数据只可插入无法删除的特性需求；登录日志、修改日志…...
ssc377d修改flash分区大小
1、flash的分区默认分配16M、 / # df -h Filesystem Size Used Available Use% Mounted on /dev/root 1.9M 1.9M 0 100% / /dev/mtdblock4 3.0M...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法（ISWC2024）
笔记整理：刘治强，浙江大学硕士生，研究方向为知识图谱表示学习，大语言模型 论文链接：http://arxiv.org/abs/2407.16127 发表会议：ISWC 2024 1. 动机 传统的知识图谱补全（KGC）模型通过…...
PL0语法，分析器实现！
简介 PL/0 是一种简单的编程语言，通常用于教学编译原理。它的语法结构清晰，功能包括常量定义、变量声明、过程（子程序）定义以及基本的控制结构（如条件语句和循环语句）。 PL/0 语法规范 PL/0 是一种教学用的小型编程语言，由 Niklaus Wirth 设计，用于展示编译原理的核…...
MySQL中【正则表达式】用法
MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现（两者等价），用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例： 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...
高防服务器能够抵御哪些网络攻击呢？
高防服务器作为一种有着高度防御能力的服务器，可以帮助网站应对分布式拒绝服务攻击，有效识别和清理一些恶意的网络流量，为用户提供安全且稳定的网络环境，那么，高防服务器一般都可以抵御哪些网络攻击呢？下面…...
在WSL2的Ubuntu镜像中安装Docker
Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包： for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...