当前位置: 首页 > news >正文

python数据分析常见命令

前言

近些天我会整理一些我平时清理csv,excel数据经常用的常见命令来分享给大家学习,大家一起加油!

第一个命令:引入pandas库

pandas库是一个开源的数据分析工具,主要用于数据处理和数据分析。

import pandas as pd

第二个命令:读取数据表(.csv,.excel)

#读取csv格式的数据表
data = pd.read_csv("文件路径.csv")   
#记住文件路径的反斜杠是/,如果使用错误会报错

第三个命令:保存处理后的数据到Excel文件

#data是处理好的数据

data.to_excel("result1_1.xlsx", index=False)

第四个命令:缺少值的处理

在数据表中,我们面临着上万条数据,不能一条条查找缺少的数据,所有我们的办法就是,把有缺失的数据的行进行删除

1.查找缺失值

missing_values = data.isnull().sum()

 2.删除缺少值

data=data.dropna()

注意:如果想看到效果,需要保存处理后的数据到Excel文件

 第五个命令:重复值的处理

1.查找重复数据:

示例:查找数据中user_id字段有重复的行

duplicate_values = data.duplicated('user_id')

 2.删除重复数据

示例:删除数据中user_id字段有重复的行

data = data.drop_duplicates('user_id')

 第六个命令:删除有异常值得行

示例:删除数据中Age字段里面有-1,0,“-”值的行

data = data[~data['Age'].isin([-1, 0, "-"])]

解释:isin()函数来判断数据中的年龄是否包含在指定的列表[-1, 0, "-"]中 ,然后使用~操作符来取反,表示保留不包含在这个列表中的行,最终得到过滤后的数据。

本篇文章分享就到这里了,后续会继续更新~

相关文章:

python数据分析常见命令

前言 近些天我会整理一些我平时清理csv,excel数据经常用的常见命令来分享给大家学习,大家一起加油! 第一个命令:引入pandas库 pandas库是一个开源的数据分析工具,主要用于数据处理和数据分析。 import pandas as pd 第二个命令…...

等保测评技术方案(五)

(八)漏洞扫描方案 1.参与人员 乙方工程师:谭 然、张 剑等。 范围经过双方确认,此次评估的对象包括: 2.网络设备 IP 地址 设备型号 备注 / / / / / / 以现场测评实际数据为准 3.应用系统 地址 …...

Redis缓存的基本概念和使用

Redis缓存的基本概念和使用 什么是缓存Redis缓存缓存更新策略缓存穿透缓存雪崩缓存击穿缓存工具类封装 什么是缓存 缓存时数据交换的缓冲区,存储数据的临时区,读写性能较好。 例如计算机的三级缓存。CPU的计算速度超过内存的读写速度,为了平…...

MATLAB模拟退火算法、遗传算法、蚁群算法、粒子群算法

概况 模拟退火算法、遗传算法、蚁群算法、粒子群算法等算法,都是属于概率算法,不绝对,不迅速,能用其它方式解决的问题,不要用这些相对复杂的算法,比如有明确的线性关系或者非线性对应关系。这里的概率算法…...

git自用随笔

push失败 因为远程比本地新&#xff0c;要拉到本地进行合并。git pull拉取&#xff0c;拉取失败&#xff0c;本地分支没有和远程链接&#xff0c;使用git branch --set-upstream-toorigin/<branch> dev进行链接&#xff0c;链接后再次pull&#xff0c;pull提示合并冲突&a…...

CorelDRAW2024设计界的隐藏宝藏

CorelDRAW 2024是一款专业的平面设计软件&#xff0c;被广泛地应用于各类设计领域。它的功能强大、操作简便&#xff0c;是许多设计师的得力助手。在本文中&#xff0c;我们将详细解析这款软件的核心特性以及其在实际应用中的表现。 CDR永久版安装包百度云分享下载如下点击获取…...

【JAVA】递归

接着上一讲继续&#xff0c;内容不多&#xff0c;讲解一下递归相关内容。 1. 生活中的故事 从前有坐山&#xff0c;山上有座庙&#xff0c;庙里有个老和尚给小和尚将故事&#xff0c;讲的就是&#xff1a; "从前有座山&#xff0c;山上有座庙&#xff0c;庙里有个老和尚…...

MacOS java多版本安装与管理

Home - SDKMAN! the Software Development Kit Manager # 安装sdkman curl -s "https://get.sdkman.io" | bashsource "$HOME/.sdkman/bin/sdkman-init.sh"sdk version正常出现sdkman版本号就安装成功了 # 安装java # 安装java8 sdk install java 8.0…...

NSSCTF | [LitCTF 2023]我Flag呢?

这道题没啥好说的&#xff0c;题目标签为源码泄露&#xff0c;我们直接CtrlU查看网页源码就能在最后找到flag 本题完...

PostgreSQL-常用函数和操作符

PostgreSQL 中文社区 PL/pgSQL 是 PostgreSQL 中的一种存储过程语言&#xff0c;它支持许多常用的函数和操作符。下面列举了一些常用的 PL/pgSQL 函数和操作符&#xff1a; 1. 常用函数&#xff1a; RAISE&#xff1a;用于在存储过程中抛出异常。 RAISE EXCEPTION Error oc…...

河南大学大礼堂火灾事故引发安防监控对智能分析技术应用的思考

一、方案背景 2024年5月2日&#xff0c;在修缮施工期间的河南大学河南留学欧美预备学校旧址大礼堂发生火情。现场航拍画面显示&#xff0c;大礼堂经过火灾&#xff0c;房顶已经基本坍塌&#xff0c;被火烧过的建筑呈焦黑状。 公开资料显示&#xff0c;大礼堂属河南留学欧美预…...

自动化中遇到的问题归纳总结

1、动态元素定位不到 解决方法&#xff1a;尽量使用固定元素定位&#xff0c;如没有固定元素&#xff0c;则采用绝对路径进行定位&#xff0c;因为元素路径是唯一且不变的 2、自动化脚本执行速度较慢 尽量使用css方法定位元素&#xff0c;使用等待时&#xff0c;少用sleep方…...

UE4_照亮环境_不同雾效的动态切换

一、问题及思路&#xff1a; 我们在一个地图上&#xff0c;经常切换不同的区域&#xff0c;不同的区域可能需要不同的色调&#xff0c;例如暖色调的野外或者幽暗的山洞&#xff0c;这两种环境上&#xff0c;雾效的选用肯定不一样&#xff0c;夕阳西下的户外用的就是偏暖的色调&…...

【解决】Android APK文件安装时 已包含数字签名相同APP问题

引言 在开发Android程序过程中&#xff0c;编译好的APK文件&#xff0c;安装至Android手机时&#xff0c;有时会报 包含数字签名相同的APP 然后无法安装的问题&#xff0c;这可能是之前安装过同签名的APP&#xff0c;但是如果不知道哪个是&#xff0c;无法有效卸载&#xff0c;…...

layui的treeTable组件,多层级上传按钮失效的问题解决

现象描述: layui的treeTable 的上传按钮在一层能用&#xff0c;展开后其他按钮正常点击&#xff0c;上传按钮无效。 具体原因没有深究&#xff0c;大概率是展开的子菜单没有被渲染treeTable的done管理到&#xff0c;导致没有重绘上传按钮。 解决方案: 不使用layu的上传组件方法…...

HashMap在JDK1.8的优化

目录 数据结构上的优化 Hash碰撞问题解决方案的优化 Hash值算法的优化...

Kotlin标准函数和静态方法

标准函数 with 第一个参数是一个类型或者对象&#xff0c;第二个参数是lambda表达式。其中第一个参数为第二个参数提供上下文&#xff0c;返回值是最后一行。案例代码&#xff1a; fun main() {val list mutableListOf<String>()var ret with(list) {add("1&q…...

RabbitMQ(四种使用模式)

文章目录 1.Fanout&#xff08;广播模式&#xff09;1.基本介绍2.需求分析3.具体实现1.编写配置类 RabbitMQConfig.java2.编写生产者&#xff0c;发送消息到交换机 MQSender.java3.编写消费者&#xff0c;接受消息 MQReceiver.java4.控制层调用方法&#xff0c;发送信息到交换机…...

【UE5 C++】基础学习笔记——01 UObject的创建与使用

目录 步骤 一、创建UObject 二、创建基于UObject的蓝图类 三、在UObject中使用变量和函数 步骤 一、创建UObject 在内容浏览器中新建一个C类 父类选择“Object” 类的类型设置为公有&#xff0c;这里就命名为“MyObject”&#xff0c;点击“创建类”来创建头文件和源文…...

TCP及IP协议

TCP协议的传输是可靠的&#xff0c;而UDP协议的传输“尽力而为” TCP传输可靠性———确认&#xff0c;重传&#xff0c;排序&#xff0c;流控。 流控&#xff1a;滑动窗口机制 TTL--- 数据包每经过一个路由器的转发&#xff0c;他的TTL值将减1&#xff0c;当一个数据包中的T…...

在语音对话中,OpenClaw 的语音唤醒词定制化如何实现?

语音唤醒词定制化这件事&#xff0c;听起来像是给机器一个专属的暗号&#xff0c;喊对了它才搭理你。在OpenClaw这类语音对话系统里&#xff0c;实现这个功能&#xff0c;本质上是在解决一个“如何在嘈杂的声音环境里&#xff0c;准确识别出某个特定词汇”的问题。 这和我们平时…...

当Task.Run遇上CancellationToken:C#异步编程中的‘紧急停止‘按钮设计

当Task.Run遇上CancellationToken&#xff1a;C#异步编程中的紧急停止按钮设计 在现代软件开发中&#xff0c;异步编程已成为提升应用响应能力和资源利用率的关键技术。C#作为一门成熟的编程语言&#xff0c;提供了强大的异步编程模型&#xff0c;其中Task.Run和CancellationTo…...

为什么你的视觉检测准确率卡在92.7%?(揭秘工业现场3类未标注异常数据导致的模型过拟合代码根源)

第一章&#xff1a;视觉检测准确率瓶颈的工业现场真相在实际产线部署中&#xff0c;视觉检测模型在实验室达到99.2%的mAP&#xff0c;落地后却频繁出现漏检与误报——这不是算法缺陷&#xff0c;而是工业现场多维干扰叠加的真实映射。光照波动、工件表面反光、传送带抖动、镜头…...

OpenClaw 的检索增强中,向量数据库的索引类型(HNSW、IVF)如何选择?

在讨论时序推理时&#xff0c;OpenClaw 对时间关系的建模方式&#xff0c;其实可以从一个很直观的角度去理解——它并不只是简单地给事件贴上时间标签&#xff0c;而是尝试去捕捉事件之间那种动态的、有时甚至是隐含的依赖关系。 想象一下日常生活中整理相册的过程。如果只是按…...

VTK三维模型导出实战:STL、OBJ与PLY格式的性能对比与应用场景解析

1. 三维模型导出格式概述 第一次接触三维模型导出时&#xff0c;我被各种文件格式搞得晕头转向。STL、OBJ、PLY这些格式到底有什么区别&#xff1f;为什么有的文件特别大&#xff0c;有的又特别小&#xff1f;经过几个项目的实战&#xff0c;我终于摸清了门道。三维模型导出本质…...

为什么事故复盘总是写到很晚?

这两天和几个做运维/后端的朋友聊了下事故复盘&#xff0c;发现一个很真实的情况&#xff1a; &#x1f449; 大家都知道复盘很重要 &#x1f449; 但几乎没人愿意写 我问了一个问题&#xff1a; “为什么一份复盘总是要写那么久&#xff1f;” 总结下来基本都是这几个原因&…...

07_gstack并行开发:Git Worktrees与Conductor多会话管理

07_gstack并行开发&#xff1a;Git Worktrees与Conductor多会话管理关键字&#xff1a;gstack、Git Worktrees、Conductor、并行开发、多会话管理、Claude Code、并行sprint、Garry Tan、AI并行工作流“One sprint, one person, one feature — that takes about 30 minutes wi…...

手把手教你用LiuJuan Z-Image:从下载到出图,小白也能搞定高清人像生成

手把手教你用LiuJuan Z-Image&#xff1a;从下载到出图&#xff0c;小白也能搞定高清人像生成 想用AI生成专业级人像照片却不知从何入手&#xff1f;本文将带你从零开始&#xff0c;一步步掌握LiuJuan Z-Image Generator的使用方法。无需编程基础&#xff0c;跟着这份保姆级教…...

Qwen3-Embedding-0.6B新手指南:从零开始玩转文本嵌入

Qwen3-Embedding-0.6B新手指南&#xff1a;从零开始玩转文本嵌入 1. 什么是文本嵌入&#xff1f;为什么你需要它&#xff1f; 想象一下&#xff0c;你有一个装满各种文档、网页和笔记的文件夹。当你想找“如何用Python做数据分析”的资料时&#xff0c;你只能靠记忆或者手动翻…...

告别乱码!手把手教你用阿里妈妈数黑体+LVGL 8.3打造炫酷中文界面(附图标字体生成全流程)

告别乱码&#xff01;手把手教你用阿里妈妈数黑体LVGL 8.3打造炫酷中文界面&#xff08;附图标字体生成全流程&#xff09; 在智能家居控制面板、工业HMI等嵌入式设备开发中&#xff0c;中文显示一直是工程师的痛点。传统解决方案要么占用过多Flash空间&#xff0c;要么显示效…...