当前位置： 首页 > news >正文

认识数据分析

news 2026/2/10 12:06:54

文章目录

    • 1. 认识数据分析
      • 1.1 数据自身的三大属性
      • 1.2 建数仓 数据分析的工程技术
      • 1.3 数据分析解决问题的原理
      • 1.4 数据分析的具体流程
      • 1.5 数据的中心化和智能化
      • 1.6 数据分析的四种类型和六个方向

1. 认识数据分析

1.1 数据自身的三大属性

  • 客观：用数字衡量和表现一件客观事物时，能最大程度统一大家的认知

  • 量化：量化的数据，可以利用数学原理进行各种精密的计算，得出更多价值的结果

    如业务推导：门店成交额=下单人数*平均客单价，知道其中两个即可推算第三个

    统计学：平均数、中位数、众数

    微积分：求导–路程-速度-加速度

  • 机器可处理：数据是少数人和机器都能理解和处理的信息，人可以借助机器高效处理数据的各种信息

  • 数据图表：机器给予规则计算和展现数据

  • 数据工程：让机器替代人去7*24小时汇总和处理数据

  • 机器学习：让机器按照人设定的规则去试错尝试、求解最佳参数

1.2 建数仓 数据分析的工程技术

随着数据系统的晚上，如果企业的数据汇总超过了Excel的存储上线

那么企业需要建立自己的大规模数据仓库，处理不断增长的数据资产，数据仓库技术占到数据分析实现所用技术的70%以上

image-20230912112120129

  • 埋点采集

    • 传感器 ：传感器通常用于测试物理变量，一般包括声音、温湿度、距离、电流等，将测量值转化为数字信号，传送到数据采集点，让物体有了触觉、味觉和嗅觉等感官，使其活起来

  • 系统日志采集方法：

    • 日志文件数据一般由数据源系统产生，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和web服务器记录的用户访问行为
    • 很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chkwa,Cloudera和Flume,Fackbokk的Scribe.这些工具采用分布式架构，能满足每秒数百M的日志数据采集和传输需求

  • web爬虫

    • 网络爬虫指为搜索引擎下载并存储网页的程序，它是搜索引擎和web缓存的主要的数据采集方式，通过网络爬虫或网站公开API等方式从网站上获取数据信息。

  • 传输存储（数仓）

    • 传输：借助网络

    • 存储：借助数据库技术，研究如何组织和存储数据，高效获取和处理数据是一门大学问

      ​ 其涉及了：速度、准确性、最大规模、以及数据种类

  • 提取回流（数仓/算法）

    • 提取即将数据查询到，并导出为文件
    • 回流即指数据被操作过之后，怎么会到数据库，继续参与到生产和建模

  • 清洗处理（数仓）

    • 清洗：指利用一些第三方库清洗数据，使其符合数据包准
    • 处理：使得数据符合实际的需求

  • 连接导入：

    • 即对接不同的工具和软件，涉及到各种中间件和协议

  • 分析建模（分析/算法）

    • 分析：计算，并绘制一些可视化的图表等

  • 建模

    • 即机器学习与深度学习

  • 部署应用

    • BI监控
    • 算法平台：先知
    • 工程开发

1.3 数据分析解决问题的原理

image-20230913202440176

  • 传统：问题发生----结合现实----逻辑推理----得出结论
  • 数据：问题发生----结合现实----数据映射----量化分析----得出结论

数据分析只是分析的一种，能对碎片化的信息加以抽象和整合，不过度依赖量化，才是真正的分析能力

1.4 数据分析的具体流程

image-20230913202734094

  • 注意分析数据的目的：
    • 业务分析：关注数据与业务的关联性，映射关系和可解释性
    • 建模分析：关注数据的整体特征（特征决定上限，模型调参无限趋近于上限）
    • 分析的种类：
      • 计算型分析：统计学，机器学习
      • 逻辑型分析：归纳/演绎，思维模型

1.5 数据的中心化和智能化

  • 中心化

    • 当数据仓库建立完毕后，企业的数据团队基本上也搭建完毕了，但初级的数仓仍然有诸多问题

    • 跨库查询：数据存储在不同服务器中，无法实现业务级的垮库查询

    • 数据架构：数据中每个系统的开发独立维护，指标定义、数据结构、数据类型等架构标准都
      统一

    • 数据需求：字段需求无法精准有节奏地一一实现，开发说不做就不做了

    • 中心化的数据库将会统一管理企业的所有数据字段，将所有数据汇总到一个技术架构和仓库里

    • 只有一线C端的大型互联网公司才完成了数据中心的建设

      • 京东B轮的时候才进行了数仓的全面重构和中心化

      • 淘宝也是在阿里云出世后才彻底完成

      • 字节很多新增业务部依旧日无法接入数据中心

  • 智能化
    • 在完成数据中心的建设后，企业在数据征途上将挑战一个永无止境目标一一商业智能
    • 商业智能实现的四个阶段

image-20230913205626233

  • 反映现实情况

    image-20230913205906373

  • 监控关键指标

​ image-20230913205956112

  • 辅助决策制定

image-20230913210032249

  • 实现自动决策

image-20230913210210078

1.6 数据分析的四种类型和六个方向

image-20230913210450566

image-20230913210538301

相关文章：

认识数据分析

文章目录 1. 认识数据分析1.1 数据自身的三大属性1.2 建数仓 数据分析的工程技术1.3 数据分析解决问题的原理1.4 数据分析的具体流程1.5 数据的中心化和智能化1.6 数据分析的四种类型和六个方向 1. 认识数据分析 1.1 数据自身的三大属性 客观：用数字衡量和表现一件…...

编程日记 2023/9/17 13:41:14

Learn Prompt-ChatGPT 精选案例:写作博客

在 ChatGPT 的帮助下，文本内容的产出，尤其是撰写博客文章的过程得到了进一步的简化。你可以让 ChatGPT 激发你的灵感，也可以让它美化你的文章内容。 这里我们希望能通过prompt写出一篇以“ChatGPT对社会各行各业的影响”为主题的博客。 本页…...

编程日记 2023/9/17 13:39:11

《确保安全：PostgreSQL安全配置与最佳实践》

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🐅🐾猫头虎建议程序员必备技术栈一览表📖： 🛠️ 全栈技术 Full Stack: &#x1f4da…...

编程日记 2023/9/17 13:37:08

Unity中Shader抓取屏幕并实现扭曲效果

文章目录 前言一、屏幕抓取，在上一篇文章已经写了二、实现抓取后的屏幕扭曲实现思路：1、屏幕扭曲要借助传入 UV 贴图进行扭曲2、传入贴图后在顶点着色器的输入参数处，传入一个 float2 uv : TEXCOORD，用于之后对扭曲贴图进行采样3、…...

编程日记 2023/9/17 13:35:06

深浅拷贝详解

深浅拷贝 经典真题 深拷贝和浅拷贝的区别？如何实现 深拷贝和浅拷贝概念 首先，我们需要明确深拷贝和浅拷贝的概念。 浅拷贝：只是拷贝了基本类型的数据，而引用类型数据，复制后也是会发生引用，我们把这种拷…...

编程日记 2023/9/17 13:34:05

@Scheduled 定时任务

Scheduled(cron"30 * * * * ?") 1.cron表达式格式： {秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)} 2.cron表达式各占位符解释： {秒数}{分钟} > 允许值范围: 0~59 ,不允许为空值，若值不合法，调度器将…...

编程日记 2023/9/17 13:33:04

丙烯酸共聚聚氯乙烯树脂

声明 本文是学习GB-T 42790-2023 丙烯酸共聚聚氯乙烯树脂. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 1 范围 本文件规定了丙烯酸共聚聚氯乙烯树脂的外观、物化性能等技术要求，描述了相应的采样、试验方 法、检验规则、标志、包装、…...

编程日记 2023/9/17 13:32:03

Navicat导入Excel数据顺序变了

项目场景： Navicat导入Excel数据 问题描述 从Excel表格中导入数据到数据库中。但是，在导入的过程中，我们常会发现数据顺序出现了问题，导致数据错位，给数据的处理带来了极大的麻烦。 原因分析： 这个问题的…...

编程日记 2023/9/17 13:31:02

uni-app的生命周期

uni-app的生命周期包括应用生命周期和页面生命周期。 应用生命周期涵盖了整个uni-app应用的启动、运行和销毁过程，主要包括以下几个生命周期函数： onLaunch：应用初始化时触发，只触发一次。onShow：应用启动或从后台进…...

编程日记 2023/9/17 13:30:01

Vulnhub实战-DC9

前言 本次的实验靶场是Vulnhub上面的DC-9，其中的渗透测试过程比较多，最终的目的是要找到其中的flag。 一、信息收集 对目标网络进行扫描 arp-scan -l 对目标进行端口扫描 nmap -sC -sV -oA dc-9 192.168.1.131 扫描出目标开放了22和80两个端口&a…...

编程日记 2023/9/17 13:24:55

软件设计模式系列之七——原型模式

1 模式的定义 原型模式（Prototype Pattern）是一种创建型设计模式，其主要目的是通过复制现有对象来创建新对象，而不是使用构造函数。原型模式将对象的创建委托给原型对象，通过克隆（复制）来生成新…...

编程日记 2023/9/17 13:23:54

PMP考试注意事项有哪些？

1. PMI明确规定：不允许考生使用自带文具，包括自带的笔、削笔刀、橡皮、笔袋、计算器和草稿纸等。 2. 本次考试考场内为每位考生配备2B铅笔、橡皮、计算器(若有需要)和草稿纸。如文具有缺损或考试过程中如需更换铅芯等，请向监考老师举手示意。…...

编程日记 2023/9/17 13:22:53

chartgpt+midjourney

chatGPT程序化生成故事 英文版脚本步骤 步骤一：在chatgpt中输入以下脚本，，标红为可变的文字，输入你想要的，目前是科幻，即科幻故事，你可以改为 fairy-tale，则写的是童话故事&#x…...

编程日记 2023/9/17 13:21:52

【SpringMVC】自定义注解

【SpringMVC】自定义注解 前言1. 什么是注解？2. 注解的用处3. 注解的原理1.1. Override1.2. SuppressWarnings 2. JDK元注解2.1. Retention2.2. Target2.3. Inherited2.4. Documented 3. 自定义注解3.1. 自定义注解的分类注解类 结语 自定义注解及其应用 前言 在J…...

编程日记 2023/9/17 13:20:51

【李沐深度学习笔记】数据操作实现

课程地址 数据操作实现p2 数据操作 首先导入PyTorch包（import torch)，虽然叫PyTorch，但实际上要导入torch。 import torch张量 张量表示的是一个数值组成的数组，这个数组可以有很多个维度。 # 生成0-11的顺序序列构成的一维…...

编程日记 2023/9/17 13:18:50

【深度学习-注意力机制attention 在seq2seq中应用】

注意力机制 为什么需要注意力机制attention机制的架构总体设计一、attention本身实现评分函数 attention在网络模型的应用-Bahdanau 注意力加性注意力代码实现 为什么需要注意力机制 这是一个普通的seq2seq结构，用以实现机器对话，Encoder需要把一个输入的…...

编程日记 2023/9/17 13:17:49

详解混合类型文件（Polyglot文件）的应用生成与检测

1. 引入 混合类型文件（Polyglot文件），是指一个文件，既可以是合法的A类型，也可以是合法的B类型。 比如参考3中的文件，是一个html文件，可以用浏览器正常打开；它也是一个一个.jar文件&…...

编程日记 2023/9/17 13:16:48

QT之QTableView的简介

QT之QTableView的简介 QTableView 是 Qt 框架中的一个类，用于显示和编辑表格数据。它提供了一个灵活的模型/视图架构，允许用户以不同的方式显示和编辑数据。 以下是 QTableView 的一些常用函数及其用法： 1）QTableView(QWidget *pa…...

编程日记 2023/9/17 13:12:43

学习记忆——宫殿篇——记忆宫殿——记忆桩——知识讲解

类比 假设这些桩子好比不同的交通工具，每一种交通工具都可以助我们到达目的地，那举现在就根据你的时间以及现实情况，选择最合适自己的交通工具即可，重点在于你要熟悉每种交通工具的用途不区别。桩子也是如此，把所有的桩…...

编程日记 2023/9/17 13:09:40

Python lambda匿名函数

视频版教程 Python3零基础7天入门实战视频教程 前面我们所学的函数定义，都是有函数名的。 我们现在学的lambda函数是没有名称的，也就是匿名函数。 我们在只需要一次性使用的函数的时候，就可以用lambda匿名函数，简单方便快捷。 …...

编程日记 2023/9/17 13:07:39

＜6＞-MySQL表的增删查改

目录 一，create（创建表） 二，retrieve（查询表） 1，select列 2，where条件 三，update（更新表） 四，delete（删除表&#xf…...

编程新知 2025/12/11 18:28:17

Xshell远程连接Kali（默认 | 私钥）Note版

前言:xshell远程连接，私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...

编程新知 2026/1/28 2:18:42

【论文笔记】若干矿井粉尘检测算法概述

总的来说，传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度，通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

编程新知 2025/10/14 10:52:24

vue3 定时器-定义全局方法 vue+ts

1.创建ts文件 路径&#xff1a;src/utils/timer.ts 完整代码&#xff1a; import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...

编程新知 2025/8/9 0:31:20

c#开发AI模型对话

AI模型 前面已经介绍了一般AI模型本地部署&#xff0c;直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。 微软提供了ML.NET来开发和使用AI模型&#xff0c;但是目前国内可能使用不多&#xff0c;至少实践例子很少看见。开发训练模型就不介绍了&am…...

编程新知 2026/2/1 8:59:45

（转）什么是DockerCompose?它有什么作用？

一、什么是DockerCompose? DockerCompose可以基于Compose文件帮我们快速的部署分布式应用&#xff0c;而无需手动一个个创建和运行容器。 Compose文件是一个文本文件&#xff0c;通过指令定义集群中的每个容器如何运行。 DockerCompose就是把DockerFile转换成指令去运行。 …...

编程新知 2026/1/31 22:59:12

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器&#xff08;ADC&#xff09;&#xff0c;支持8kHz~96kHz采样率&#xff0c;集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器&#xff0c;适用于高保真音频采集场景。 2. 核心特性 高精度&#xff1a;24位分辨率&#xff0c…...

编程新知 2026/1/27 4:58:14

AI，如何重构理解、匹配与决策？

AI 时代&#xff0c;我们如何理解消费&#xff1f; 作者&#xff5c;王彬 封面&#xff5c;Unplash 人们通过信息理解世界。 曾几何时&#xff0c;PC 与移动互联网重塑了人们的购物路径&#xff1a;信息变得唾手可得&#xff0c;商品决策变得高度依赖内容。 但 AI 时代的来…...

编程新知 2026/1/30 2:33:11

Spring是如何解决Bean的循环依赖：三级缓存机制

1、什么是 Bean 的循环依赖 在 Spring框架中，Bean 的循环依赖是指多个 Bean 之间‌互相持有对方引用‌，形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路，例如： 双向依赖：Bean A 依赖 Bean B，同时 Bean B 也依赖 Bean A（A↔B）。链条循环： Bean A → Bean…...

编程新知 2025/7/25 1:21:53

Go 语言并发编程基础：无缓冲与有缓冲通道

在上一章节中&#xff0c;我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道&#xff0c;它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好&#xff0…...

编程新知 2026/1/29 3:25:02