当前位置： 首页 > news >正文

数据可视化02-PCA降维

news 2026/2/7 14:21:13

一、PCA

PCA做什么？找坐标系。

目标？二维降到一维，信息保留最多。

怎么样最好？数据分布最分散的方向（方差最大），作为主成分（坐标轴）。

二、怎么找主成分？

PC1的确定：每个点的 b^{2} 之和最小，即 c^{2} 之和最大。

PC2的确定：过原点，且与PC1垂直。

PCA降维的核心思想是：用少数几个最重要的方向（主成分PC1）来表示数据，而不是用所有方向。

为什么可以降噪？

  1. 舍弃次要方向： 噪声（偏离的点）通常分布在次要方向（如PC2）上，降维时舍弃这些方向，相当于过滤了一部分噪声。

  2. 压缩噪声的影响： 即使噪声点在PC1上仍有偏离，它们的偏离程度比在原始数据中要小。

三、特征值与特征向量

（一）特征向量

简单来说，特征向量定义了新的坐标轴的方向。

（二）特征值

特征值表示了每个主成分在数据集中的方差贡献率。

（三）碎石图

相关文章：

数据可视化02-PCA降维

一、PCA PCA做什么？找坐标系。 目标？二维降到一维，信息保留最多。 怎么样最好？数据分布最分散的方向（方差最大），作为主成分（坐标轴）。 二、怎么找主成分？ …...

编程日记 2025/3/1 21:57:55

大连指令数据集的创建--数据收集与预处理_02

1.去哪儿爬虫 编程语言：Python爬虫框架：Selenium（用于浏览器自动化）解析库：BeautifulSoup（用于解析HTML） 2.爬虫策略 目标网站：去哪儿（https://travel.qunar.com/trav…...

编程日记 2025/3/1 21:56:53

xr-frame 3D Marker识别，扬州古牌坊 3D识别技术稳定调研

目录 识别物体规范 3D Marker 识别目标文件 map 生成 生成任务状态解析 服务耗时： 对传入的视频有如下要求： 对传入的视频建议： 识别物体规范 为提高Marker质量，保证算法识别效果，可参考Marker规范文档 Marker规…...

编程日记 2025/3/1 21:55:52

【网络安全 | 漏洞挖掘】利用文件上传功能的 IDOR 和 XSS 劫持会话

未经许可，不得转载。 本文涉及漏洞均已修复。 文章目录 前言正文前言 想象这样一个场景：一个专门处理敏感文档的平台，如保险理赔或身份验证系统，却因一个设计疏漏而成为攻击者的“金矿”。在对某个保险门户的文件上传功能进行测试时，我意外发现了一个可导致大规模账户接管…...

编程日记 2025/3/1 21:54:51

达梦数据库系列之安装及Mysql数据迁移

达梦数据库系列之安装及Mysql数据迁移 1. 达梦数据库1.1 简介1.2 Docker安装达梦1.2.1 默认密码查询1.2.2 docker启动指定密码 1.3 达梦数据库连接工具1.3.1 快捷键 2 Mysql数据库迁移至达梦2.1 使用SQLark进行数据迁移 1. 达梦数据库 1.1 简介 DM8是达梦公司在总结DM系列产品…...

编程日记 2025/3/1 21:53:49

FS800DTU联动OneNET平台数据可视化View

目录 1 前言 2 环境搭建 2.1 硬件准备 2.2 软件环境 2.3 硬件连接 3 注册OneNET云平台并建立物模型 3.1 参数获取 3.2 连接OneNET 3.3上报数据 4 数据可视化View 4.1 用户信息获取 4.2 启用数据可视化View 4.3 创建项目 4.4 编辑项目 4.5 新增数据源 4.6 数据过滤器配置 4.6 项…...

编程日记 2025/3/1 21:52:48

ffmpeg avdevice_register_all 注册设备的作用

在 FFmpeg 中，avdevice_register_all() 是一个用于注册所有输入和输出设备的函数。它是 FFmpeg 的 libavdevice 模块的一部分，专门用于处理音频和视频的输入/输出设备（如摄像头、麦克风、屏幕捕获等）。 以下是对 avdevice_regist…...

编程日记 2025/3/1 21:50:45

使用JS遍历JSON数组

在JavaScript中，遍历JSON对象或数组是一个常见的操作，尤其是在处理复杂数据结构时。这里有几种不同的方法可以根据你的需求进行遍历。 1. 遍历JSON对象 如果你有一个JSON对象（实际上在JavaScript中，所有的对象都可以视为JSON对象…...

编程日记 2025/3/1 21:46:41

Go基于协程池的延迟任务调度器

原理 通过用一个goroutine以及堆来存储要待调度的延迟任务，当达到调度时间后，将其添加到协程池中去执行。 主要是使用了chan、Mutex、atomic及ants协程池来实现。 用途 主要是用于高并发及大量定时任务要处理的情况，如果使用Go协程来实现每…...

编程日记 2025/3/1 21:43:34

k8S通过代理将集群外的中间件引入集群内访问 —— 筑梦之路

背景说明 有部分中间件是跑在Kubernetes集群之外，我们希望通过service的方式来访问集群外的中间件，比如访问我们k8s集群外的elasticsearch集群。 ES节点本身又处在一个负载均衡IP：192.168.100.100 之后，但是代理的端口号是9202&am…...

编程日记 2025/3/1 21:42:29

Linux 第三次脚本作业

源码编译安装httpd 2.4，提供系统服务管理脚本并测试（建议两种方法实现） 一、第一种方法 1、把 httpd-2.4.63.tar.gz 这个安装包上传到你的试验机上 2、 安装编译工具 (俺之前已经装好了） 3、解压httpd包 4、解压后的httpd包的文…...

编程日记 2025/3/1 21:31:16

使用通义万相Wan2.1进行视频生成

使用通义万相Wan2.1进行视频生成 源代码准备运行环境准备创建Python虚拟环境并激活安装依赖包 模型下载生成视频官网的视频生成例子简单描述场景视频生成示例详细描述场景视频生成示例 最近通义万相开源了其视频生成模型。模型有两个版本，一个是1.3B的，一…...

编程日记 2025/3/1 21:30:14

AI技术为旅行社打开新流量入口

2月28日消息，在“2025旅业发展高峰论坛”上，马蜂窝交易中心总经理绳志成在主题演讲中系统性阐述了AI技术对自由行市场的颠覆性影响。 绳志成介绍，传统“大而全”的跟团游产品吸引力持续走低，用户更愿意为“小众秘境”、“在地文化…...

编程日记 2025/3/1 21:29:13

SuperMap iClient3D for WebGL 影像数据可视范围控制

在共享同一影像底图的服务场景中，如何基于用户权限体系实现差异化的数据可视范围控制？SuperMap iClient3D for WebGL提供了自定义区域影像裁剪的方法。让我们一起看看吧！ 一、数据制作 对于上述视频中的地图制作，此处不做讲述&am…...

编程日记 2025/3/1 21:26:10

API网关相关知识点

目录 API网关基础知识总结 | JavaGuide Spring Cloud Gateway常见问题总结 | JavaGuide API网关 | 小傅哥 bugstack 虫洞栈 美团: 百亿规模API网关服务Shepherd的设计与实现 vivo: 微服务 API 网关架构实践 唯品会: 高吞吐消息网关的探索与思考 API网关基础知识总结 | J…...

编程日记 2025/3/1 21:23:06

Opencv 图像形态学操作

3.1 形态学-腐蚀操作 img cv2.imread(CSDN.png) cv2.imshow(CSDN, img) cv2.waitKey(0) cv2.destroyAllWindows如果腐蚀核的覆盖区域内的所有像素值都满足条件（阈值），则中心像素的值保持不变；如果有任何像素值不满足条件&#x…...

编程日记 2025/3/1 21:22:05

Readability.js 与 Newspaper提取网页内容和元数据

在当今信息爆炸的时代，网页内容的提取和处理变得尤为重要。无论是从新闻网站、博客还是教程网站中提取内容，都需要一个高效、准确的工具来帮助我们去除无关信息，提取出有价值的正文内容。这不仅能够提高我们的工作效率，还能让我们…...

编程日记 2025/3/1 21:19:02

小程序Three Dof识别 实现景区AR体验

代码工程 GitCode - 全球开发者的开源社区,开源代码托管平台 dof...

编程日记 2025/3/1 21:18:01

腾讯2025年软件测试面试题

以下是基于腾讯等一线互联网公司软件测试岗位的面试趋势和技术要求，025年出现的软件测试面试题。这些问题涵盖了基础知识、自动化测试、性能测试、安全测试、编程能力等多个方面，供参考和准备。 一、基础知识 软件测试的基本概念...

编程日记 2025/3/1 21:07:47

SSL域名证书怎么续期？

在当今数字化时代，网站的安全性已成为企业和个人不可忽视的重要因素。SSL域名证书作为保障网站数据传输安全的关键工具，其重要性不言而喻。然而，SSL证书并非永久有效，它们通常有一个固定的有效期，到期后需要进行续期以…...

编程日记 2025/3/1 21:03:42

VB.net复制Ntag213卡写入UID

本示例使用的发卡器：https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...

编程新知 2026/1/26 20:39:53

大语言模型如何处理长文本？常用文本分割技术详解

为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...

编程新知 2025/11/18 0:32:13

《用户共鸣指数（E）驱动品牌大模型种草：如何抢占大模型搜索结果情感高地》

在注意力分散、内容高度同质化的时代，情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现，消费者对内容的“有感”程度，正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中&#xff0…...

编程新知 2026/2/2 1:48:09

数据链路层的主要功能是什么

数据链路层（OSI模型第2层）的核心功能是在相邻网络节点（如交换机、主机）间提供可靠的数据帧传输服务，主要职责包括： 🔑 核心功能详解： 帧封装与解封装 封装： 将网络层下发…...

编程新知 2026/2/1 7:31:51

提升移动端网页调试效率：WebDebugX 与常见工具组合实践

在日常移动端开发中，网页调试始终是一个高频但又极具挑战的环节。尤其在面对 iOS 与 Android 的混合技术栈、各种设备差异化行为时，开发者迫切需要一套高效、可靠且跨平台的调试方案。过去，我们或多或少使用过 Chrome DevTools、Remote Debug…...

编程新知 2025/6/10 21:08:23

DBLP数据库是什么？

DBLP（Digital Bibliography & Library Project）Computer Science Bibliography是全球著名的计算机科学出版物的开放书目数据库。DBLP所收录的期刊和会议论文质量较高，数据库文献更新速度很快，很好地反映了国际计算机科学学术研…...

编程新知 2026/2/4 20:54:56

实战设计模式之模板方法模式

概述 模板方法模式定义了一个操作中的算法骨架，并将某些步骤延迟到子类中实现。模板方法使得子类可以在不改变算法结构的前提下，重新定义算法中的某些步骤。简单来说，就是在一个方法中定义了要执行的步骤顺序或算法框架，但允许子类…...

编程新知 2026/1/26 23:42:12

算法—栈系列

一&#xff1a;删除字符串中的所有相邻重复项 class Solution { public:string removeDuplicates(string s) {stack<char> st;for(int i 0; i < s.size(); i){char target s[i];if(!st.empty() && target st.top())st.pop();elsest.push(s[i]);}string ret…...

编程新知 2026/1/22 13:43:14

【汇编逆向系列】六、函数调用包含多个参数之多个整型-参数压栈顺序，rcx,rdx,r8,r9寄存器

从本章节开始&#xff0c;进入到函数有多个参数的情况&#xff0c;前面几个章节中介绍了整型和浮点型使用了不同的寄存器在进行函数传参&#xff0c;ECX是整型的第一个参数的寄存器&#xff0c;那么多个参数的情况下函数如何传参&#xff0c;下面展开介绍参数为整型时候的几种情…...

编程新知 2026/2/6 0:56:43

生信服务器 | 做生信为什么推荐使用Linux服务器？

原文链接&#xff1a;生信服务器 | 做生信为什么推荐使用Linux服务器&#xff1f; 一、 做生信为什么推荐使用服务器&#xff1f; 大家好&#xff0c;我是小杜。在做生信分析的同学&#xff0c;或是将接触学习生信分析的同学&#xff0c;<font style"color:rgb(53, 1…...

编程新知 2026/2/3 3:34:58