当前位置： 首页 > news >正文

pandas由入门到精通-数据清洗-缺失值处理

news 2026/3/31 11:52:46

pandas-02-数据清洗&预处理

    • A.缺失值处理
      • 1. Pandas缺失值判断
      • 2. 缺失值过滤
        • 2.1 Series.dropna()
        • 2.2 DataFrame.dropna()
      • 3. 缺失值填充
      • 3.1 值填充
      • 3.2 向前/向后填充

文中用S代指Series，用Df代指DataFrame
数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清洗的常用方法：包括缺失值、重复值、异常值处理，数据类型统计，分箱，随机采样，向量化编码等方法。每种方法都给出了代码和实例，并用表格进行总结。

A.缺失值处理

在这里插入图片描述

1. Pandas缺失值判断

  • np.nan 会自动识别为NaN （not a number），认定为空值
  • python中内置

相关文章：

pandas由入门到精通-数据清洗-缺失值处理

pandas-02-数据清洗&预处理 A.缺失值处理1. Pandas缺失值判断2. 缺失值过滤2.1 Series.dropna()2.2 DataFrame.dropna()3. 缺失值填充3.1 值填充3.2 向前/向后填充文中用S代指Series，用Df代指DataFrame 数据清洗是处理大型复杂情况数据必不可少的步骤，这里总结一些数据清…...

编程日记 2023/8/31 19:46:04

Redis 教程 - 主从复制

Redis 教程 - 主从复制 Redis 支持主从复制（Master-Slave Replication），通过主从复制可以将一个 Redis 服务器（主节点）的数据复制到其他 Redis 服务器（从节点），以实现数据的冗余备份…...

编程日记 2023/8/31 19:45:02

[递归] 子集 全排列和组合问题

1.1 子集I 思路可以简单概括为 二叉树&#xff0c;每一次分叉要么选择一个元素&#xff0c;要么选择空&#xff0c;总共有n次&#xff0c;因此到n1进行保存结果&#xff0c;返回。像这样&#xff1a; #include <cstdio> #include <vector> #include <algorithm&…...

编程日记 2023/8/31 19:44:01

ELK安装、部署、调试（四）KAFKA消息队列的安装和部署

1.简介 Kafka是一种高吞吐量的分布式发布订阅消息系统&#xff0c;它可以处理消费者在网站中的所有动作流数据。 这种动作&#xff08;网页浏览&#xff0c;搜索和其他用户的行动&#xff09;是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通…...

编程日记 2023/8/31 19:42:59

半导体晶片机器视觉测量及MARK点视觉定位

半导体晶片机器视觉测量及MARK点视觉定位 客户的需求: 检测内容&#xff1a; SMT行业晶片位置角度与PCB板Mark点位置的测试测量 检测要求&#xff1a; 精度0.04mm&#xff0c;移动速度100mm/s 视觉可行性分析: 对样品进行了光学实验&#xff0c;并进行图像处理&#xff0c…...

编程日记 2023/8/31 19:41:58

ranger无法同步用户问题解决

1.首先就是定位日志,日志目录 cd /var/log/ranger/usersync 定位到问题报错如下: LdapDeltaUserGroupBuilder.getUsers() failed with exception:java.naming.AuthticationExceptiom :[LDAP:error code 49 - Invalid Credentials]:remaing name ‘ouPeople,dc*.dccom’ 解决办法…...

编程日记 2023/8/31 19:40:56

使用通信顺序进程（CSP）模型的 Go 语言通道

在并发编程中&#xff0c;许多编程语言采用共享内存/状态模型。然而&#xff0c;Go 通过实现 通信顺序进程&#xff08;CSP&#xff09;模型来区别于众多。在CSP中&#xff0c;程序由不共享状态的并行进程组成&#xff1b;相反&#xff0c;它们通过通道进行通信和同步操作。因此…...

编程日记 2023/8/31 19:39:55

VPN网关

阿里云VPN网关(VPN Gateway&#xff0c;简称VPN)是一款基于Internet&#xff0c;通过加密通道将企业数据中心、办公网或终端与专有网络(VPC) 安全可靠连接起来的服务。 VPN网关提供IPsec-VPN和SSL-VPN两种。 网络连接方式应用场景IPsec-VPN支持在企业本地数据中心、企业办公网…...

编程日记 2023/8/31 19:38:51

产品展示视频制作的要点

制作产品展示视频时通过精心策划的视频剧本和拍摄手法&#xff0c;可以准确地呈现活动的目的、主题和特点&#xff0c;让观众更好地理解和认同活动的意义。深圳产品活动视频制作公司老友记小编还为您整理了以下一些重要的制作要点&#xff1a; 1.明确目标受众&#xff1a;了解你…...

编程日记 2023/8/31 19:37:50

appium+python自动化测试

获取APP的包名 1、aapt即Android Asset Packaging Tool&#xff0c;在SDK的build-tools目录下。该工具可以查看apk包名和launcherActivity 2、在android-sdk里面双击SDK-manager,下载buidl-tools 3、勾选build-tools&#xff0c;随便选一个版本&#xff0c;我这里选的是24的版…...

编程日记 2023/8/31 19:36:49

【AI辅助办公】PDF转PPT，移除水印

PDF转PPT 将PDF上传链接即可转换成PPT。​​​​​​ ​​​​​​​ https://www.camscanner.com/pdftoppthttps://www.camscanner.com/pdftoppt​​​​​​​​​​​​​​移除水印 第一步&#xff1a;打开视图-宏 第二步&#xff1a;输入宏名&#xff08;可以是人以文字…...

编程日记 2023/8/31 19:35:48

ssm农业视频实时发布管理系统源码

ssm农业视频实时发布管理系统源码108 开发工具&#xff1a;idea 数据库mysql5.7 数据库链接工具&#xff1a;navcat,小海豚等 技术&#xff1a;ssm package com.controller;import java.io.File; import java.io.FileNotFoundException; import java.io.IOException; impo…...

编程日记 2023/8/31 19:34:46

【100天精通python】Day48：python Web开发_WSGI接口与使用

目录 1 WSGI接口 1.1 CGI 简介 1.2 WSGI 简介 1.3 定义 WSGI 接口 1.3.1 应用程序&#xff08;Application&#xff09; 1.3.2 服务器&#xff08;Server&#xff09; 1.4 WSGI 接口的使用示例 1.5 WSGI接口的优势 1 WSGI接口 上一节实现了静态服务器&#xff0c;但是当…...

编程日记 2023/8/31 19:33:45

Understanding Lockup Cells

工具会分析扫描链和EDT逻辑之间的控制时序元素的时钟的时序关系，当必须要同步时钟并保持数据完整性时插入边沿触发寄存器（lockup cells）。 可以使用report_edt_lockup_cells命令来展示工具已经插入的lockup cells的详细报告。 Lockup Cell Insertion 工具会分析控制时序元…...

编程日记 2023/8/31 19:32:44

javaCV实现java图片ocr提取文字效果

引入依赖&#xff1a; <dependency><groupId>org.bytedeco</groupId><artifactId>javacv-platform</artifactId><version>1.5.5</version></dependency> 引入中文语言训练数据集&#xff1a;chi_sim GitHub - tesseract-ocr…...

编程日记 2023/8/31 19:31:42

七牛云OSS存储

前言： 七牛云的存储项目的附件，需要开发一套七牛云的工具类，可以使用该工具类进行七牛云服务器进行文件的上传与下载操作； 七牛云的文档学习： 相关的依赖项的配置： <dependency><groupId>com.amazonaws</groupId><artifactId>aws-java-sdk-s3…...

编程日记 2023/8/31 19:30:41

11.物联网lwip，网卡原理

一。LWIP协议栈内存管理 1.LWIP内存管理方案 &#xff08;1&#xff09;堆heap 1.灰色为已使用内存 2.黑色为未使用内存 3.紫色为使用后内存 按照某种算法&#xff0c;把数据放在内存块中 &#xff08;2&#xff09;池pool 设置内存池&#xff0c;设置成大小相同的内存块。 2…...

编程日记 2023/8/31 19:29:39

视频监控/视频汇聚/视频云存储EasyCVR平台接入华为ivs3800平台提示400报错，该如何解决？

开源EasyDarwin视频监控TSINGSEE青犀视频平台EasyCVR能在复杂的网络环境中&#xff0c;将分散的各类视频资源进行统一汇聚、整合、集中管理&#xff0c;在视频监控播放上&#xff0c;视频云存储/安防监控汇聚平台可支持1、4、9、16个画面窗口播放&#xff0c;可同时播放多路视频…...

编程日记 2023/8/31 19:28:38

WordPress主题Zing V2.2.1/模块化WordPress响应式通用企业商城主题

WordPress主题Zing V2.2.1&#xff0c;模块化WordPress响应式通用企业商城主题。 功能介绍 百度熊掌号文章实时推送、原创保护 多设备支持自适应布局&#xff0c;支持电脑、Pad、手机以及各种浏览器 SEO优化首页、文章、页面、分类均支持自定义标题、关键字和描述 速度优化…...

编程日记 2023/8/31 19:27:37

【无需公网IP】在树莓派上搭建Web站点

目录 1.概述 2.使用 Raspberry Pi Imager 安装 Raspberry Pi OS 3.设置 Apache Web 服务器 3.1测试 web 站点 3.2安装静态样例站点 3.3将web站点发布到公网 3.4安装 Cpolar 3.5cpolar进行token认证 3.6生成cpolar随机域名网址 3.7生成cpolar二级子域名 3.8将参数保存…...

编程日记 2023/8/31 19:26:36

【Python并发革命】：GIL解除后首个生产级无锁插件生态正式开放下载（限时72小时）

第一章&#xff1a;Python并发革命的里程碑意义 Python 并发模型的演进并非渐进式改良&#xff0c;而是一场深刻重塑编程范式的革命。从早期依赖线程与锁的阻塞式模型&#xff0c;到 asyncio 的异步 I/O 抽象、async/await 语法糖的引入&#xff0c;再到结构化并发&#xff08;…...

编程新知 2026/3/31 11:17:09

CH340/CH341安卓USB主机模式开发实战

1. CH340/CH341安卓USB主机模式开发入门 很多开发者第一次接触安卓USB主机模式开发时&#xff0c;都会遇到一个典型问题&#xff1a;为什么我的手机连上CH340模块后毫无反应&#xff1f;这通常是因为安卓设备默认工作在从机模式(USB Device Mode)&#xff0c;而连接串口设备需要…...

编程新知 2026/3/31 10:49:00

如何用Sunshine打造你的终极游戏串流服务器：从零开始的完整指南

如何用Sunshine打造你的终极游戏串流服务器&#xff1a;从零开始的完整指南 【免费下载链接】Sunshine Self-hosted game stream host for Moonlight. 项目地址: https://gitcode.com/GitHub_Trending/su/Sunshine 想要在任何设备上畅玩PC游戏大作吗&#xff1f;Sunshin…...

编程新知 2026/3/31 10:40:53

Umi-OCR：重新定义本地化文字识别的工作流范式

Umi-OCR&#xff1a;重新定义本地化文字识别的工作流范式 【免费下载链接】Umi-OCR OCR software, free and offline. 开源、免费的离线OCR软件。支持截屏/批量导入图片&#xff0c;PDF文档识别&#xff0c;排除水印/页眉页脚&#xff0c;扫描/生成二维码。内置多国语言库。 …...

编程新知 2026/3/31 10:14:25

告别软件盗版烦恼：用YT88加密狗5分钟搞定C#/Java/Python源代码加密（附完整开发包下载）

5分钟实现多语言源代码加密&#xff1a;YT88加密狗实战指南 独立开发者最头疼的问题之一&#xff0c;就是辛苦编写的代码被轻易反编译或盗用。上周我的一个朋友就遇到了这种情况——他花了三个月开发的Python数据分析工具&#xff0c;刚上线两周就被破解并免费传播。这种经历在…...

编程新知 2026/3/31 9:44:14

在Python项目中是否应该采用分层结构

在学习Python的过程中&#xff0c;许多开发人员会发现&#xff0c;一些Django项目在视图函数中包含了大量的业务逻辑&#xff0c;类似于Java中的控制器进行过多的业务处理。这导致了一个关键问题&#xff1a;Python项目是否应该采用分层结构&#xff1f;这与MVC(模型-视图-控制…...

编程新知 2026/3/31 9:30:06

GLM-4-9B-Chat-1M与Dify平台集成：无代码长文本处理系统搭建

GLM-4-9B-Chat-1M与Dify平台集成&#xff1a;无代码长文本处理系统搭建 1. 引言 想象一下&#xff0c;你手头有一份200页的法律合同需要快速审核&#xff0c;或者需要分析整本学术专著的核心观点&#xff0c;甚至要处理多语言的长篇商业文档。传统的人工处理方式耗时耗力&…...

编程新知 2026/3/31 9:11:56

Linux系统管理必备：常用命令在Phi-3-vision模型部署与运维中的应用

Linux系统管理必备&#xff1a;常用命令在Phi-3-vision模型部署与运维中的应用 1. 前言&#xff1a;为什么需要掌握这些命令 部署和管理AI模型服务时&#xff0c;熟练使用Linux命令就像拥有了一把瑞士军刀。特别是对于Phi-3-vision这样的视觉大模型&#xff0c;从查看日志到监…...

编程新知 2026/3/31 8:53:50

GPEN肖像增强使用技巧：自然、强力、细节三种模式适用场景解析

GPEN肖像增强使用技巧&#xff1a;自然、强力、细节三种模式适用场景解析 1. 认识GPEN的三种处理模式 GPEN作为当前最先进的肖像增强工具之一&#xff0c;其核心价值在于提供了三种差异化的处理模式&#xff1a;自然、强力和细节。这三种模式不是简单的强度差异&#xff0c;而…...

编程新知 2026/3/31 8:37:45

Thorium浏览器：重新定义Chromium性能的颠覆性优化方案

Thorium浏览器&#xff1a;重新定义Chromium性能的颠覆性优化方案 【免费下载链接】thorium Chromium fork named after radioactive element No. 90. Windows and MacOS/Raspi/Android/Special builds are in different repositories, links are towards the top of the READM…...

编程新知 2026/3/31 8:13:30