当前位置: 首页 > news >正文

数据分析篇-数据认知分析

一简介

数据认知分析,实际是对数据的整体结构和分布特征进行分析,是对整个数据外在的认识,也是数据分析的第一步。对于数据认知的分析,一般会考虑分散性、位置特性、变量的相关性等,一般会考虑平均数、方差、极差、峰度和偏度等基础统计量。数据认知的过程实际是快速从数据中抽取信息的过程。

二 常见认知分析

2.1 数据的波动

单个变量数据的波动一般通过方差和标准差来衡量,方差即序列中各个变量与算数平均数作差的平方和的均值,标准差是方差的正二次方根值,通常方差或者标准差越大,说明当前的数据序列波动大。
如果是多个数据序列的波动情况,可以使用协方差进行衡量,衡量的方式为两个变量的均值的差做乘积,然后进行求和,再除以序列的个数。协方差的计算公式参考为:COV(X,Y)=E(XY)-E(X)E(Y)
方差计算公式:
方差的计算公式
标准差计算公式:
标准差计算公式

2.2数据的相关性

  • 相关性分析可以快速理解不同变量之间的变动方向和统一程度
  • 数据的相关性可以通过散点图简单了解,也可以通过相关系数来表示,也可以通过判定系数来衡量
    1.散点图
    确认坐标系后,进行绘制,参考下图
    散点图

2.相关系数
相关系数有三种计算逻辑:Pearson相关系数和Spearman秩相关系数和判定系数

Pearson相关系数计算逻辑如下
Pearson相关系数

其中相关系数r,如果趋近于0,则表示两个变量不相关,如果r的绝对值趋近于1,则表示两个变量呈现一定的相关性,若r<0,则表示有一定的负相关性,若r>0,则表示有一定的正相关性

Spearman秩相关系数,是反映等级相关程度的统计分析指标,一般需要将数据进行排序,然后再计算相关系数,其主要步骤参考下图
Spearman秩相关系数
判定系数:判定系数是相关系数的平方,一般用于衡量回归方程对y的解释程度。如果判定系数接近1,则说明x与y的相关性越强,如果判定系数越接近0,则说明两个变量之间没有线性关系。

2.3. 数据分布

数据分布主要考虑的统计变量的序列分布情况,主要的统计变量梳理如下
数据分布常用统计变量

2.4.数据对比

  • 业务数据的共同特征和差异化,可以通过数据对比体现出来。
  • 通过数据对比,可以帮助我们分辨出业务的变化、发展趋势,以及基于通用事务的个性特征,从而帮助我们深刻认识业务的本质和规律。
  • 对比分析一般是将两个相互联系的指标进行比较,从数量上进行展示和说明,当前业务研究对象的发展趋势、发展水平或者各种关系是否协调,适合于时间序列的比较分析和指标建的纵横比较分析。
  • 对比分析包含绝对数比较和相对数比较,绝对数比较是指使用绝对数进行对比,寻找差异的一种方法,相对数是将两个有关联的质保进行对比,反映客观现象质检数量联系程度的综合指标。相对数比较有如下几种
  • 在这里插入图片描述

2.5 周期对比

周期性分析,一般用于探索某个变量随时间变化的趋势,用于较长周期趋势的预测和分析,比如年度周期趋势、月度趋势、季节性趋势、周度趋势、产品生命周期等。
来源网络-周期对比

2.6.贡献度分析

贡献度分析也是帕累托分析,也称二八定律,也称为ABC分析法,即同样的投入放入到不同的地方会产生不同的效益,通常一个公司80%的收益来源于20%的畅销产品,而其他80%的产品只带来了20%的收入。
贡献度分析,可以让我们迅速了解当前企业的主要业务和产品定位,了解企业现状。
来源网络-贡献度分析

相关文章:

数据分析篇-数据认知分析

一简介 数据认知分析&#xff0c;实际是对数据的整体结构和分布特征进行分析&#xff0c;是对整个数据外在的认识&#xff0c;也是数据分析的第一步。对于数据认知的分析&#xff0c;一般会考虑分散性、位置特性、变量的相关性等&#xff0c;一般会考虑平均数、方差、极差、峰…...

【力扣-每日一题】714. 买卖股票的最佳时机含手续费

class Solution { public:int maxProfit(vector<int>& prices, int fee) {//[i][0]-不持有 [i][1]-持有int mprices.size();vector<vector<int>> dp(m,vector<int>(2));dp[0][0]0; //初始状态dp[0][1]-prices[0];for(int i1;i<m;i){dp[i]…...

【代码实践】HAT代码Window平台下运行实践记录

HAT是CVPR2023上的自然图像超分辨率重建论文《activating More Pixels in Image Super-Resolution Transformer》所提出的模型。本文旨在记录在Window系统下运行该官方代码&#xff08;https://github.com/XPixelGroup/HAT&#xff09;的过程&#xff0c;中间会遇到一些问题&am…...

机器学习-Pytorch基础

Numpy和Pytorch可以相互转换&#xff0c;前者CPU上&#xff0c;后者GPU上&#xff0c;都是对矩阵进行运算&#xff0c;Pytorch的基本单位是张量。torch 可以初始化全为0、全为1、符合正态分布的矩阵确定性初始化 torch.tensor()torch.arrange()torch.linspace()torch.logspace…...

金九银十,刷完这个笔记,17K不能再少了....

大家好&#xff0c;最近有不少小伙伴在后台留言&#xff0c;得准备面试了&#xff0c;又不知道从何下手&#xff01;为了帮大家节约时间&#xff0c;特意准备了一份面试相关的资料&#xff0c;内容非常的全面&#xff0c;真的可以好好补一补&#xff0c;希望大家在都能拿到理想…...

精确到区县级街道乡镇行政边界geojson格式矢量数据的获取拼接实现Echarts数据可视化大屏地理坐标信息地图的解决方案

在Echarts制作地理信息坐标地图时&#xff0c;最麻烦的就是街道乡镇级别的行政geojson的获取&#xff0c; 文件大小 788M 文件格式 .json格式&#xff0c;由于是大文件数据&#xff0c;无法直接使用记事本或者IDE编辑器打开&#xff0c;推荐Dadroit Viewer&#xff08;国外…...

【Python 千题 —— 基础篇】多行输出

题目描述 下面是一道关于输入输出的基础题。⭐⭐⭐ 题目描述 编写一个Python程序&#xff0c;将字符串 Hello World! 存储在变量 str1 中&#xff0c;将字符串 Hello Python! 存储在变量 str2 中&#xff0c;然后使用 print 语句分别将它们在不同行打印出来。 输入描述 无…...

AdaBoost(上):数据分析 | 数据挖掘 | 十大算法之一

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ &#x1f434;作者&#xff1a;秋无之地 &#x1f434;简介&#xff1a;CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作&#xff0c;主要擅长领域有&#xff1a;爬虫、后端、大数据…...

Py之pygraphviz:pygraphviz的简介、安装、使用方法之详细攻略

Py之pygraphviz&#xff1a;pygraphviz的简介、安装、使用方法之详细攻略 目录 pygraphviz的简介 pygraphviz的安装 Graphviz&#xff1a;可视化工具Graphviz的简介、安装、使用方法、经典案例之详细攻略 pygraphviz的使用方法 1、基础用法 2、进阶案例 Algorithm&#…...

acwing算法基础之基础算法--前缀和算法

目录 1 知识点2 模板 1 知识点 前缀后下标尽量从1开始&#xff0c;当然不从1开始也是ok的。 a 1 , a 2 , a 3 , . . . , a n a_1,a_2,a_3,...,a_n a1​,a2​,a3​,...,an​ S 1 , S 2 , S 3 , . . . S n S_1,S_2,S_3,...S_n S1​,S2​,S3​,...Sn​ S i S_i Si​&#xff1…...

华为云云耀云服务器L实例评测|Ubuntu 22.04部署edusoho-ct企培版教程 | 支持华为云视频点播对接CDN加速

华为云云耀云服务器L实例评测&#xff5c;Ubuntu 22.04部署edusoho企培版教程 1、选择购买 华为云耀云服务器L实例 简单上云第一步 2、选择你要安装的操作系统&#xff0c;例如 Ubuntu 22.04 server 64bit 3、然后支付订单就行了 4、华为云云耀云服务器L实例创建好之后&#x…...

土木硕设计院在职转码上岸

一、个人介绍 双非土木硕&#xff0c;98年&#xff0c;目前在北京&#xff0c;职位为前端开发工程师&#xff0c;设计院在职期间自学转码上岸&#x1f33f; 二、背景 本人于19年开始土木研究生生涯&#xff0c;研二期间去地产实习近半年(碧桂园和世茂&#xff0c;这两家的地产…...

js查询月份开始和结束日期

js查询月份开始和结束日期 月份开始和结束 月份开始和结束 整体不是很复杂&#xff0c;使用new Date()方法自带获取最后一天的时间 new Date(a,b,c),传递参数 参数a&#xff1a;是要获取的年份 参数b&#xff1a;是要获取的月份 参数c&#xff1a;是要获取的日期 传递日期为…...

mybatis开发部分核心代码

pom.xml<?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 ht…...

Springboot中查看gradle工程使用了哪些仓库

在springboot项目开发中&#xff0c;由于初始化配置文件(init.gradle)可能存在多个目录中(不只一份)&#xff0c;可能导致多次重复引入仓库。也有可能配置文件放置位置错误&#xff0c;导致gradle编译时找不到相应的仓库。如果能在编译时查看gradle到底引用了哪些库&#xff0c…...

c#中的接口

使用IEnumerable统一迭代变量类型 class Program {static void Main(string[] args){int[] nums1 new int[] { 1, 2, 3, 4, 5 };ArrayList nums2 new ArrayList { 1, 2, 3, 4, 5 };Console.WriteLine(Sum(nums1));Console.WriteLine(Sum(nums2));Console.WriteLine(Avg(nums…...

老卫带你学---leetcode刷题(76. 最小覆盖子串)

76. 最小覆盖子串 问题&#xff1a; 给你一个字符串 s 、一个字符串 t 。返回 s 中涵盖 t 所有字符的最小子串。如果 s 中不存在涵盖 t 所有字符的子串&#xff0c;则返回空字符串 “” 。 注意&#xff1a; 对于 t 中重复字符&#xff0c;我们寻找的子字符串中该字符数量必…...

Maven-DskipTests和-Dmaven.test.skip=true的区别

DskipTeststrue和-Dmaven.test.skiptrue的区别 1、 -DskipTeststrue 不执行测试用例&#xff0c;但编译测试用例类生成相应的class文件至target/test-classes下&#xff0c;如&#xff1a; mvn clean package -DskipTeststrue2、 -Dmaven.test.skiptrue 完全忽略测试代码的…...

conda中cuda、cuda-toolkit、cuda-nvcc、cuda-runtime的区别

conda中cuda、cuda-toolkit、cuda-nvcc、cuda-runtime的区别 cuda cuda-toolkit cuda-runtime cuda-toolkit 包含 cuda-nvcc CUDA cuda nvidia/label/cuda-11.8.0/linux-64::cuda-11.8.0-0 cuda-cccl nvidia/label/cuda-11.8.0/linux-64::cuda-cccl-11.8.89-0 cuda-comma…...

增强现实抬头显示AR-HUD

增强现实抬头显示&#xff08;AR-HUD&#xff09;可以将当前车身状态、障碍物提醒等信息3D投影在前挡风玻璃上&#xff0c;并通过自研的AR-Creator算法&#xff0c;融合实际道路场景进行导航&#xff0c;使驾驶员无需低头即可了解车辆实时行驶状况。结合DMS系统&#xff0c;可以…...

Git Hooks与代码质量左移:self-review工具实战指南

1. 项目概述&#xff1a;从“自我审查”到“代码质量守护者”最近在GitHub上看到一个挺有意思的项目&#xff0c;叫motiful/self-review。光看名字&#xff0c;你可能会觉得这又是一个关于代码审查流程或者团队协作规范的工具。但点进去仔细研究后&#xff0c;我发现它的定位非…...

SpinalHDL Bool类型详解:从基础概念到实战应用

1. 项目概述&#xff1a;从Verilog的“1‘b1”到SpinalHDL的“Bool”在数字电路设计的底层&#xff0c;信号的真与假、高与低&#xff0c;构成了所有逻辑运算的基石。如果你是从Verilog或VHDL转过来的工程师&#xff0c;对wire、reg或者std_logic类型一定不陌生&#xff0c;它们…...

避坑指南:ESP32 ADC采样时这些操作会让数据‘丢帧’(WiFi冲突、看门狗、串口打印)

ESP32 ADC采样稳定性实战&#xff1a;规避数据丢失的6个关键策略 在物联网和嵌入式开发领域&#xff0c;ESP32因其出色的无线连接能力和丰富的外设资源成为热门选择。但当开发者将其ADC&#xff08;模数转换器&#xff09;功能用于高精度数据采集时&#xff0c;常常会遇到采样数…...

POE是什么?

POE 一般指 Power over Ethernet(以太网供电)。 通俗理解 用 一根网线(RJ45) 同时做两件事: 传数据(上网、通信) 给设备供电(不用单独再接电源适配器) 常见场景:IP 摄像头、无线 AP、部分 Orange Dongle / 底座,实验室用 PoE 交换机或 PoE 适配器 给 Dongle 供电…...

C#集成AI对话:开源库ha.openclaw.conversation实战指南

1. 项目概述&#xff1a;一个面向对话式AI的C#开源库最近在折腾一个需要集成智能对话能力的桌面应用&#xff0c;后台服务是用C#写的。大家都知道&#xff0c;现在搞AI对话&#xff0c;主流玩法是调用OpenAI、Claude这些大模型的API&#xff0c;或者用一些开源的本地模型。但真…...

点云与轨迹对齐:从经典算法到实际挑战的深度解析

1. 点云与轨迹对齐的核心挑战 想象一下你手里有两张不同角度拍摄的乐高城堡照片&#xff0c;现在需要把它们完美拼接起来。这就是点云对齐要解决的问题——找到两组三维数据之间的最佳变换关系。在机器人导航、自动驾驶和三维重建中&#xff0c;这个技术直接影响着定位精度和地…...

Poppins几何字体:如何用一款免费字体解决你的多语言设计难题

Poppins几何字体&#xff1a;如何用一款免费字体解决你的多语言设计难题 【免费下载链接】Poppins Poppins, a Devanagari Latin family for Google Fonts. 项目地址: https://gitcode.com/gh_mirrors/po/Poppins 你是否曾经在设计多语言项目时&#xff0c;为找不到统一…...

如何高效配置编程字体:Maple Mono的进阶优化方案

如何高效配置编程字体&#xff1a;Maple Mono的进阶优化方案 【免费下载链接】maple-font Maple Mono: Open source monospace font with round corner, ligatures and Nerd-Font icons for IDE and terminal, fine-grained customization options. 带连字和控制台图标的圆角等…...

告别整板实心铜:在PADS VX2.7中为你的四层板电源层设置网格覆铜与开窗的完整流程

告别整板实心铜&#xff1a;在PADS VX2.7中为四层板电源层设置网格覆铜与开窗的完整流程 在高速PCB设计中&#xff0c;电源层的处理方式直接影响电路板的散热性能、机械强度和EMI表现。传统实心覆铜虽然阻抗低&#xff0c;但在热应力敏感场景下容易导致板翘曲&#xff0c;而密集…...

Open3D内存检测终极指南:LeakSanitizer的完整应用教程

Open3D内存检测终极指南&#xff1a;LeakSanitizer的完整应用教程 【免费下载链接】Open3D Open3D: A Modern Library for 3D Data Processing 项目地址: https://gitcode.com/gh_mirrors/op/Open3D Open3D作为现代3D数据处理库&#xff0c;在处理大规模点云、网格等数据…...