Python自动化办公篇—pandas操作Excel:读取+查看+选择+清洗+排序+筛选+函数+写入
目录
- 专栏导读
- 库的介绍
- 库的安装
- 1、读取数据
- 2、查看数据
- 3、选择数据
- 4、数据清洗
- 5、数据排序
- 6、数据筛选
- 7、数据操作
- 8、数据写入
- 总结
专栏导读
| 文章名称 | 链接 |
|---|---|
| Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本) | 点我进行跳转 |
| Python办公自动化—openpyxl获取Excel某列的批注信息自动插入到旁边一列 | 点我进行跳转 |
| Python链接MySQL(三)—mysql-connector-python实现—增—删—查—改 | 点我进行跳转 |
| Python办公MySQL(二):Python连接MySQL实现简单的—增—删—查—改(详细教程) | 点我进行跳转 |
| Python提取PDF中的图片并保存 | 点我进行跳转 |
| Python将图片以超链接形式插入Excel表格且以相对路径插入(发给任何人都能打开) | 点我进行跳转 |
| Python办公—openpyxl合并单元格 | 点我进行跳转 |
| Python100个库分享第21个—xlsxwriter (办公库篇) | 点我进行跳转 |
| python+selenium判断【加载中】元素在就一直等待不在就点击下载(非常好用) | 点我进行跳转 |
| Python提取PDF中的表格写入Excel | 点我进行跳转 |
| pandas读取Excel将某列为键某列(可多列)为值—写入字典(json)(键不可重复如重复保留最后有一个键值对) | 点我进行跳转 |
| Python读取超大Excel表格(100万行x30列)三种方法 | 点我进行跳转 |
| Python如何将Excel转CSV(3种常见方法+时间测试) | 点我进行跳转 |
| Python+smtplib库实现Foxmail自动批量给客户发送账单 | 点我进行跳转 |
| Python实现Excel\CSV文件的双重分组求汇总(在Excel中也称之为透视) | 点我进行跳转 |
| Python+tkinter自制一对多多对多匹配GUI工具(CSV版—可改写Excel版)附完整代码 | 点我进行跳转 |
| Python+PySimpleGUI实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+sentence-transformers框架实现相似文本识别(附完整代码+保姆教学) | 点我进行跳转 |
| Python+PySide6实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+docx2pdf批量将word转pdf | 点我进行跳转 |
| Python对账单中某些跨账单重复的单号进行获取 | 点我进行跳转 |
| Python+pandas读取Excel中的每一个sheet中的每一行 | 点我进行跳转 |
| CSV转Excel文件(适合大文件转VBA语言) | 点我进行跳转 |
| Python读取Excel每一行为列表—大PK(openpyxl\pandas\xlwings\xlrd\Spire.XLS\python_calamine)看谁用时少? | 点我进行跳转 |
| Python之Spire.XLS进行Excel与CSV文件互转换 | 点我进行跳转 |
| 利用python将Excel文件拆分成100行为一个的小文件(行数可自己设置) | 点我进行跳转 |
| Python递归—求一组数字的指定和多少种组合方式 | 点我进行跳转 |
| Python看板—python+plotly+streamlit实现简易看板(附完整版代码) | 点我进行跳转 |
| pandas读取Excel统计每一个文件的行数 | 点我进行跳转 |
| Python+pyautogui自动选择附件并上传 | 点我进行跳转 |
| Python+PIL计算两个图像的相似度并返回第一个不匹配的像素的x坐标(附完整版代码) | 点我进行跳转 |
| Python+openpyxl将Excel的某一列转成文本格式 | 点我进行跳转 |
| Python对csv文件的某一列进行拆分+再写入保存 | 点我进行跳转 |
| Excel转CSV文件(适合大文件转VBA) | 点我进行跳转 |
| Python+selenium+PIL实现网页自动截图 | 点我进行跳转 |
| Python批量读取csv(xlsx)文件指定表头获取内容(表头可乱序) | 点我进行跳转 |
| Python将Excel数字对应列的字母写成字典(json)—如1为A列,2为B列以此类推(更新与2024-4-3) | 点我进行跳转 |
| Python+openpyxl读取Excel(每一行为列表) | 点我进行跳转 |
| Python如何批量将图片以超链接的形式插入Excel | 点我进行跳转 |
| 利用Python批量压缩图片大小(不改变图片尺寸,不改变图片格式) | 点我进行跳转 |
🌸 欢迎来到Python办公自动化专栏—Python处理办公问题,解放您的双手
🏳️🌈 博客主页:请点击——> 一晌小贪欢的博客主页求关注
👍 该系列文章专栏:请点击——>Python办公自动化专栏求订阅
🕷 此外还有爬虫专栏:请点击——>Python爬虫基础专栏求订阅
📕 此外还有python基础专栏:请点击——>Python基础学习专栏求订阅
文章作者技术和水平有限,如果文中出现错误,希望大家能指正🙏
❤️ 欢迎各位佬关注! ❤️
库的介绍
库的安装
pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/
1、读取数据
pd.read_csv(): 从CSV文件读取数据
pd.read_excel(): 从Excel文件读取数据
pd.read_sql(): 从SQL数据库读取数据
pd.read_json(): 从JSON文件读取数据
pd.read_html(): 从网页读取HTML表格
2、查看数据
df.head(n): 显示前n行数据(默认是5行)
df.tail(n): 显示后n行数据(默认是5行)
df.info(): 显示DataFrame的信息(包括列名、数据类型、非空值数量等)
df.describe(): 显示数值列的统计信息(如计数、均值、标准差等)
3、选择数据
df[column_name]: 选择单列数据
df[[column1, column2]]: 选择多列数据
df.loc[row_indexer, column_indexer]: 基于标签选择数据
df.iloc[row_indexer, column_indexer]: 基于整数位置选择数据
df.at[row_label, column_label]: 选择单个值(基于标签)
df.iat[row_position, column_position]: 选择单个值(基于整数位置)
4、数据清洗
df.dropna(): 删除包含缺失值的行或列
df.fillna(value): 用指定的值填充缺失值
df.replace(to_replace, value): 替换值
df.astype(dtype): 更改列的数据类型
df.duplicated(): 显示重复的行
df.drop_duplicates(): 删除重复的行
5、数据排序
df.sort_values(by=column_name, ascending=True): 对指定列进行排序
df.sort_index(): 对索引进行排序
df.rank(): 对数据进行排名
6、数据筛选
df[condition]: 使用条件表达式筛选数据
df.query('column_name > value'): 使用字符串表达式筛选数据
7、数据操作
df.apply(function): 对DataFrame的每个元素、行或列应用函数
df.applymap(function): 对DataFrame的每个元素应用函数
df.map(function): 对Series的每个元素应用函数
df.groupby(by): 根据列的值对数据进行分组
df.merge(other_df, on=column_name): 根据列的值合并两个DataFrame
df.concat([df1, df2], axis=0): 连接多个DataFrame(沿行或列)
df.pivot(index=None, columns=None, values=None): 创建一个透视表
8、数据写入
df.to_csv(file_path): 将DataFrame写入CSV文件
df.to_excel(file_path): 将DataFrame写入Excel文件
df.to_sql(name, con, if_exists='fail', index=True): 将DataFrame写入SQL数据库
df.to_json(file_path): 将DataFrame写入JSON文件
| 文章名称 | 链接 |
|---|---|
| Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本) | 点我进行跳转 |
| Python办公自动化—openpyxl获取Excel某列的批注信息自动插入到旁边一列 | 点我进行跳转 |
| Python链接MySQL(三)—mysql-connector-python实现—增—删—查—改 | 点我进行跳转 |
| Python办公MySQL(二):Python连接MySQL实现简单的—增—删—查—改(详细教程) | 点我进行跳转 |
| Python提取PDF中的图片并保存 | 点我进行跳转 |
| Python将图片以超链接形式插入Excel表格且以相对路径插入(发给任何人都能打开) | 点我进行跳转 |
| Python办公—openpyxl合并单元格 | 点我进行跳转 |
| Python100个库分享第21个—xlsxwriter (办公库篇) | 点我进行跳转 |
| python+selenium判断【加载中】元素在就一直等待不在就点击下载(非常好用) | 点我进行跳转 |
| Python提取PDF中的表格写入Excel | 点我进行跳转 |
| pandas读取Excel将某列为键某列(可多列)为值—写入字典(json)(键不可重复如重复保留最后有一个键值对) | 点我进行跳转 |
| Python读取超大Excel表格(100万行x30列)三种方法 | 点我进行跳转 |
| Python如何将Excel转CSV(3种常见方法+时间测试) | 点我进行跳转 |
| Python+smtplib库实现Foxmail自动批量给客户发送账单 | 点我进行跳转 |
| Python实现Excel\CSV文件的双重分组求汇总(在Excel中也称之为透视) | 点我进行跳转 |
| Python+tkinter自制一对多多对多匹配GUI工具(CSV版—可改写Excel版)附完整代码 | 点我进行跳转 |
| Python+PySimpleGUI实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+sentence-transformers框架实现相似文本识别(附完整代码+保姆教学) | 点我进行跳转 |
| Python+PySide6实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+docx2pdf批量将word转pdf | 点我进行跳转 |
| Python对账单中某些跨账单重复的单号进行获取 | 点我进行跳转 |
| Python+pandas读取Excel中的每一个sheet中的每一行 | 点我进行跳转 |
| CSV转Excel文件(适合大文件转VBA语言) | 点我进行跳转 |
| Python读取Excel每一行为列表—大PK(openpyxl\pandas\xlwings\xlrd\Spire.XLS\python_calamine)看谁用时少? | 点我进行跳转 |
| Python之Spire.XLS进行Excel与CSV文件互转换 | 点我进行跳转 |
| 利用python将Excel文件拆分成100行为一个的小文件(行数可自己设置) | 点我进行跳转 |
| Python递归—求一组数字的指定和多少种组合方式 | 点我进行跳转 |
| Python看板—python+plotly+streamlit实现简易看板(附完整版代码) | 点我进行跳转 |
| pandas读取Excel统计每一个文件的行数 | 点我进行跳转 |
| Python+pyautogui自动选择附件并上传 | 点我进行跳转 |
| Python+PIL计算两个图像的相似度并返回第一个不匹配的像素的x坐标(附完整版代码) | 点我进行跳转 |
| Python+openpyxl将Excel的某一列转成文本格式 | 点我进行跳转 |
| Python对csv文件的某一列进行拆分+再写入保存 | 点我进行跳转 |
| Excel转CSV文件(适合大文件转VBA) | 点我进行跳转 |
| Python+selenium+PIL实现网页自动截图 | 点我进行跳转 |
| Python批量读取csv(xlsx)文件指定表头获取内容(表头可乱序) | 点我进行跳转 |
| Python将Excel数字对应列的字母写成字典(json)—如1为A列,2为B列以此类推(更新与2024-4-3) | 点我进行跳转 |
| Python+openpyxl读取Excel(每一行为列表) | 点我进行跳转 |
| Python如何批量将图片以超链接的形式插入Excel | 点我进行跳转 |
| 利用Python批量压缩图片大小(不改变图片尺寸,不改变图片格式) | 点我进行跳转 |
总结
-
希望对初学者有帮助
-
致力于办公自动化的小小程序员一枚
-
希望能得到大家的【一个免费关注】!感谢
-
求个 🤞 关注 🤞
-
此外还有办公自动化专栏,欢迎大家订阅:Python办公自动化专栏
-
求个 ❤️ 喜欢 ❤️
-
此外还有爬虫专栏,欢迎大家订阅:Python爬虫基础专栏
-
求个 👍 收藏 👍
-
此外还有Python基础专栏,欢迎大家订阅:Python基础学习专栏
相关文章:
Python自动化办公篇—pandas操作Excel:读取+查看+选择+清洗+排序+筛选+函数+写入
目录 专栏导读库的介绍库的安装1、读取数据2、查看数据3、选择数据4、数据清洗5、数据排序6、数据筛选7、数据操作8、数据写入总结 专栏导读 文章名称链接Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本)点我进行跳转Pyt…...
数据库大作业——音乐平台数据库管理系统
W...Y的主页😊 代码仓库分享💕 《数据库系统》课程设计 :流行音乐管理平台数据库系统(本数据库大作业使用软件sql server、dreamweaver、power designer) 目录 系统需求设计 数据库概念结构设计 实体分析 属性分…...
【DBA早下班系列】—— 并行SQL/慢SQL 问题该如何高效收集诊断信息
1. 前言 OceanBase论坛问答区或者提交工单支持的时候大部分时间都浪费在了诊断信息的获取交互上,今天我就其中大家比较头疼的SQL问题,给大家讲解一下如何一键收集并行SQL/慢SQL所需要的诊断信息,减少沟通成本,让大家早下班。 2. …...
用python实现多文件多文本替换功能
用python实现多文件多文本替换功能 今天修改单位项目代码时由于改变了一个数据结构名称,结果有几十个文件都要修改,一个个改实在太麻烦,又没有搜到比较靠谱的工具软件,于是干脆用python手撸了一个小工具,发现python在…...
【DevOps】深入探索Ubuntu操作系统:全面了解
引言 在开源软件的世界里,Ubuntu是一个闪耀的明星。它不仅是一个操作系统,更是一种社区精神、一种共享和协作的文化。Ubuntu操作系统基于强大的Linux内核,由世界各地的开发者共同维护和改进。在这篇博文中,我们将深入探索Ubuntu操…...
【Linux】—MySQL安装
文章目录 前言一、下载官方MySQL包二、下载完成后,通过xftp6上传到Linux服务器上三、解压MySQL安装包四、在安装目录下执行rpm安装,请按顺序依次执行。五、配置MySQL六、启动MySQL数据库七、退出,重新登录数据库 前言 本文主要介绍在Linux环境…...
【vue】form表单提交validate验证不进valid原因
目录 1. 原因 1. 原因 1.<el-form>是否写了ref“form”。2.是否有其它标签写了ref“form”。3.<el-form>中要写成:model,不能使用v-model。4.自定义的validate要各个路径均能返回callback()。 const validatePass (rule, value, callback) > {if (…...
如何用 Google Chrome 浏览器浏览经过 XSLT 渲染的 XML 文件
对于经过XSLT渲染的XML文件,本来,可以直接用 IE (Internet Explorer) 打开,就能看到渲染之后的样子,很方便。但是后来,微软把 IE 换成了 Microsoft Edge,按理说这是比 IE 更先进的浏览器,可是偏…...
Python学习笔记12:进阶篇(二),类的继承与组合
类的继承 我们在编写一系列的类的时候,会发现这些类很相似,但是又有各自的特点和行为。在编写这些类的时候,我们可以把相同的部分抽象成一个基类,然后根据其他不同的特点和行为,抽象出子类,继承这个基类。…...
npm install cnpm -g 报错4048
npm install cnpm -g 报错4048 设置淘宝镜像: 报错如下: 其他博主提供的方法都尝试了,比如管理员权限打开终端,删除.npmrc文件,清除缓存npm cache clean -f等都试了无效,最后怀疑是npm和cnpm版本不对应&…...
本地快速部署 SuperSonic
本地快速部署 SuperSonic 0. 引言1. 本地快速部署 supersonic2. 访问 supersonic3. 支持的数据库4. github 地址 0. 引言 SuperSonic融合Chat BI(powered by LLM)和Headless BI(powered by 语义层)打造新一代的BI平台。这种融合确…...
如何给vue开发的网站做seo?
最近公司有个需求,需要给公司的官网sqlynx做seo,但因为各种历史原因吧,原来的网站是用vue开发的。没办法,只能尝试尽量做一些seo,让网站能更好一些。 目录 1. 服务器端渲染(SSR) 2. 预渲染&am…...
算法训练营第六十天(延长12天添加图论) | LeetCode 647 回文子串、LeetCode 516 最长回文子序列
LeetCode 67 回文子串 思路很简单,每一个dp[i]等于dp[i-1]加上当前字符向前直到0各个长度字符串回文串个数即可 代码如下: class Solution {public boolean isValid(String s) {int l 0, r s.length() - 1;while (l < r) {if (s.charAt(l) ! s.ch…...
TikTok账号养号的流程分享
对于很多刚开始运营TikTok的新手小白来说,都会有一个同样的疑问,那就是:TikTok到底需不需要养号?这里明确告诉大家是需要养号的,今天就把我自己实操过的养号经验和策略总结出来,分享给大家。 一、什么是Ti…...
C++初学者指南第一步---6.枚举和枚举类
C初学者指南第一步—6.枚举和枚举类 文章目录 C初学者指南第一步---6.枚举和枚举类1.作用域的枚举(enum class类型)(C11)2.无作用域的枚举(enum类型)3.枚举类的基础类型4.自定义枚举类映射5.和基础类型的互相转换 1.作用域的枚举(enum class类…...
【js判断机型】
var isIOS /(iPhone|iPad|iPod)/i.test(navigator.userAgent) var isiPad navigator.userAgent.match(/(iPad)/) || (navigator.platform ‘MacIntel’ && navigator.maxTouchPoints > 1) 上面这个不行的话,再试下这个 var isiPad (navigator.userAg…...
google chrome浏览器安装crx插件Jam
先上一张图: Jam是bug报告生成插件 1、在地址栏中输入chrome://extensions/,然后回车。 2、将下载好的crx插件,直接拖到里面就可以完成安装工作了。 3、测试了一下jam插件,发现直接没有响应。 4、点击【移除】直接可以删除插件…...
【Java面试】二十、JVM篇(上):JVM结构
文章目录 1、JVM2、程序计数器3、堆4、栈4.1 垃圾回收是否涉及栈内存4.2 栈内存分配越大越好吗4.3 方法内的局部变量是否线程安全吗4.4 栈内存溢出的情况4.5 堆和栈的区别是什么 5、方法区5.1 常量池5.2 运行时常量池 6、直接内存 1、JVM Java源码编译成class字节码后…...
【Python教程】压缩PDF文件大小
压缩 PDF 文件能有效减小文件大小并提高文件传输的效率,同时还能节省计算机存储空间。除了使用一些专业工具对PDF文件进行压缩,我们还可以通过 Python 来执行该操作,实现自动化、批量处理PDF文件。 本文将分享一个简单有效的使用 Python 压缩…...
UE4中性能优化和检测工具
UE4中性能优化和检测工具合集 简述CPUUnreal InsightUnreal ProfilerSimpleperfAndroid StudioPerfettoXCode TimeprofilerBest Practice GPUAdreno GPUMali GPUAndroid GPU Inspector (AGI) 内存堆内存分析Android StudioLoliProfilerUE5 Memory InsightsUnity Mono 内存Memre…...
6541616
56465651...
基于Arduino与步进电机的DIY无线电动相机滑轨制作全攻略
1. 项目概述:打造你的第一台无线电动相机滑轨如果你玩摄影或者视频创作,肯定对那种平滑、富有电影感的平移镜头(Dolly Shot)着迷过。专业级的电动滑轨动辄大几千甚至上万,让很多个人创作者望而却步。今天,我…...
碧蓝航线Alas自动化脚本:10分钟解放双手的智能游戏助手
碧蓝航线Alas自动化脚本:10分钟解放双手的智能游戏助手 【免费下载链接】AzurLaneAutoScript Azur Lane bot (CN/EN/JP/TW) 碧蓝航线脚本 | 无缝委托科研,全自动大世界 项目地址: https://gitcode.com/gh_mirrors/az/AzurLaneAutoScript 还在为每…...
基于MCP协议构建专属AI开发助手:从原理到实践
1. 项目概述:一个为开发者定制的MCP服务器最近在折腾AI应用开发,特别是想给Claude、Cursor这类智能助手增加一些“超能力”,让它们能直接操作我本地的开发环境。比如,让AI帮我直接运行单元测试、查看最近的Git提交、或者分析某个目…...
杰理之似于“PO”声,如果切换的时机刚好在音量较高的时候,比较容易出现【篇】
似于“PO”声,如果切换的时机刚好在音量较高的时候,比较容易出现...
OpenClaw 用户迁移至 Taotoken 平台享受更优 Token 价格
🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 OpenClaw 用户迁移至 Taotoken 平台享受更优 Token 价格 对于正在使用 OpenClaw 这类兼容 OpenAI 协议客户端的开发者或团队而言&a…...
构建安全通讯系统:从加密原理到工程实践的全方位指南
1. 项目概述:为什么我们需要一个“安全通讯系统”?在当今这个信息高度互联的时代,通讯早已渗透到我们工作和生活的每一个角落。从日常的即时消息、邮件往来,到企业内部的机密文件传输、远程会议,再到物联网设备间的数据…...
保姆级教程:用LabVIEW 2023给CANoe做个外挂,实现硬件数据采集与自动化测试
保姆级教程:用LabVIEW 2023给CANoe做个外挂,实现硬件数据采集与自动化测试 在汽车电子测试领域,工程师们常常面临一个核心矛盾:CANoe作为行业标准的总线仿真工具提供了强大的协议分析和测试管理能力,但在面对非标硬件接…...
ENVI处理SPOT影像避坑指南:波段选错、阈值设偏?手把手教你精准提取城市地物
ENVI处理SPOT影像避坑指南:波段选错、阈值设偏?手把手教你精准提取城市地物 城市地物精准提取是遥感应用中的基础性难题。当面对SPOT系列卫星影像时,许多用户会发现:明明按照标准流程操作,提取结果却总出现水体与阴影混…...
基于LangChain与本地LLM构建私有化知识库问答系统实践
1. 项目概述:从零构建一个垂直领域的知识库与问答系统最近在整理个人技术资料时,我遇到了一个非常典型的问题:手头积累了大量来自不同渠道的电子书、技术文档、知乎专栏文章以及各种开源项目的README,内容虽然优质,但过…...
