Python自动化办公篇—pandas操作Excel：读取+查看+选择+清洗+排序+筛选+函数+写入
目录
- 专栏导读
- 库的介绍
- 库的安装
- 1、读取数据
- 2、查看数据
- 3、选择数据
- 4、数据清洗
- 5、数据排序
- 6、数据筛选
- 7、数据操作
- 8、数据写入
- 总结
专栏导读
| 文章名称 | 链接 |
|---|---|
| Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本) | 点我进行跳转 |
| Python办公自动化—openpyxl获取Excel某列的批注信息自动插入到旁边一列 | 点我进行跳转 |
| Python链接MySQL（三）—mysql-connector-python实现—增—删—查—改 | 点我进行跳转 |
| Python办公MySQL（二）：Python连接MySQL实现简单的—增—删—查—改（详细教程） | 点我进行跳转 |
| Python提取PDF中的图片并保存 | 点我进行跳转 |
| Python将图片以超链接形式插入Excel表格且以相对路径插入（发给任何人都能打开） | 点我进行跳转 |
| Python办公—openpyxl合并单元格 | 点我进行跳转 |
| Python100个库分享第21个—xlsxwriter (办公库篇) | 点我进行跳转 |
| python+selenium判断【加载中】元素在就一直等待不在就点击下载(非常好用) | 点我进行跳转 |
| Python提取PDF中的表格写入Excel | 点我进行跳转 |
| pandas读取Excel将某列为键某列(可多列)为值—写入字典(json)（键不可重复如重复保留最后有一个键值对） | 点我进行跳转 |
| Python读取超大Excel表格(100万行x30列)三种方法 | 点我进行跳转 |
| Python如何将Excel转CSV(3种常见方法+时间测试) | 点我进行跳转 |
| Python+smtplib库实现Foxmail自动批量给客户发送账单 | 点我进行跳转 |
| Python实现Excel\CSV文件的双重分组求汇总(在Excel中也称之为透视) | 点我进行跳转 |
| Python+tkinter自制一对多多对多匹配GUI工具(CSV版—可改写Excel版)附完整代码 | 点我进行跳转 |
| Python+PySimpleGUI实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+sentence-transformers框架实现相似文本识别(附完整代码+保姆教学) | 点我进行跳转 |
| Python+PySide6实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+docx2pdf批量将word转pdf | 点我进行跳转 |
| Python对账单中某些跨账单重复的单号进行获取 | 点我进行跳转 |
| Python+pandas读取Excel中的每一个sheet中的每一行 | 点我进行跳转 |
| CSV转Excel文件(适合大文件转VBA语言) | 点我进行跳转 |
| Python读取Excel每一行为列表—大PK(openpyxl\pandas\xlwings\xlrd\Spire.XLS\python_calamine)看谁用时少？ | 点我进行跳转 |
| Python之Spire.XLS进行Excel与CSV文件互转换 | 点我进行跳转 |
| 利用python将Excel文件拆分成100行为一个的小文件(行数可自己设置) | 点我进行跳转 |
| Python递归—求一组数字的指定和多少种组合方式 | 点我进行跳转 |
| Python看板—python+plotly+streamlit实现简易看板(附完整版代码) | 点我进行跳转 |
| pandas读取Excel统计每一个文件的行数 | 点我进行跳转 |
| Python+pyautogui自动选择附件并上传 | 点我进行跳转 |
| Python+PIL计算两个图像的相似度并返回第一个不匹配的像素的x坐标(附完整版代码) | 点我进行跳转 |
| Python+openpyxl将Excel的某一列转成文本格式 | 点我进行跳转 |
| Python对csv文件的某一列进行拆分+再写入保存 | 点我进行跳转 |
| Excel转CSV文件(适合大文件转VBA) | 点我进行跳转 |
| Python+selenium+PIL实现网页自动截图 | 点我进行跳转 |
| Python批量读取csv(xlsx)文件指定表头获取内容(表头可乱序) | 点我进行跳转 |
| Python将Excel数字对应列的字母写成字典(json)—如1为A列，2为B列以此类推（更新与2024-4-3） | 点我进行跳转 |
| Python+openpyxl读取Excel(每一行为列表) | 点我进行跳转 |
| Python如何批量将图片以超链接的形式插入Excel | 点我进行跳转 |
| 利用Python批量压缩图片大小(不改变图片尺寸，不改变图片格式) | 点我进行跳转 |
🌸 欢迎来到Python办公自动化专栏—Python处理办公问题，解放您的双手
🏳️🌈 博客主页：请点击——> 一晌小贪欢的博客主页求关注
👍 该系列文章专栏：请点击——>Python办公自动化专栏求订阅
🕷 此外还有爬虫专栏：请点击——>Python爬虫基础专栏求订阅
📕 此外还有python基础专栏：请点击——>Python基础学习专栏求订阅
文章作者技术和水平有限，如果文中出现错误，希望大家能指正🙏
❤️ 欢迎各位佬关注！ ❤️
库的介绍
库的安装
pip install xxx -i https://pypi.tuna.tsinghua.edu.cn/simple/
1、读取数据
pd.read_csv(): 从CSV文件读取数据
pd.read_excel(): 从Excel文件读取数据
pd.read_sql(): 从SQL数据库读取数据
pd.read_json(): 从JSON文件读取数据
pd.read_html(): 从网页读取HTML表格
2、查看数据
df.head(n): 显示前n行数据（默认是5行）
df.tail(n): 显示后n行数据（默认是5行）
df.info(): 显示DataFrame的信息（包括列名、数据类型、非空值数量等）
df.describe(): 显示数值列的统计信息（如计数、均值、标准差等）
3、选择数据
df[column_name]: 选择单列数据
df[[column1, column2]]: 选择多列数据
df.loc[row_indexer, column_indexer]: 基于标签选择数据
df.iloc[row_indexer, column_indexer]: 基于整数位置选择数据
df.at[row_label, column_label]: 选择单个值（基于标签）
df.iat[row_position, column_position]: 选择单个值（基于整数位置）
4、数据清洗
df.dropna(): 删除包含缺失值的行或列
df.fillna(value): 用指定的值填充缺失值
df.replace(to_replace, value): 替换值
df.astype(dtype): 更改列的数据类型
df.duplicated(): 显示重复的行
df.drop_duplicates(): 删除重复的行
5、数据排序
df.sort_values(by=column_name, ascending=True): 对指定列进行排序
df.sort_index(): 对索引进行排序
df.rank(): 对数据进行排名
6、数据筛选
df[condition]: 使用条件表达式筛选数据
df.query('column_name > value'): 使用字符串表达式筛选数据
7、数据操作
df.apply(function): 对DataFrame的每个元素、行或列应用函数
df.applymap(function): 对DataFrame的每个元素应用函数
df.map(function): 对Series的每个元素应用函数
df.groupby(by): 根据列的值对数据进行分组
df.merge(other_df, on=column_name): 根据列的值合并两个DataFrame
df.concat([df1, df2], axis=0): 连接多个DataFrame（沿行或列）
df.pivot(index=None, columns=None, values=None): 创建一个透视表
8、数据写入
df.to_csv(file_path): 将DataFrame写入CSV文件
df.to_excel(file_path): 将DataFrame写入Excel文件
df.to_sql(name, con, if_exists='fail', index=True): 将DataFrame写入SQL数据库
df.to_json(file_path): 将DataFrame写入JSON文件
| 文章名称 | 链接 |
|---|---|
| Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本) | 点我进行跳转 |
| Python办公自动化—openpyxl获取Excel某列的批注信息自动插入到旁边一列 | 点我进行跳转 |
| Python链接MySQL（三）—mysql-connector-python实现—增—删—查—改 | 点我进行跳转 |
| Python办公MySQL（二）：Python连接MySQL实现简单的—增—删—查—改（详细教程） | 点我进行跳转 |
| Python提取PDF中的图片并保存 | 点我进行跳转 |
| Python将图片以超链接形式插入Excel表格且以相对路径插入（发给任何人都能打开） | 点我进行跳转 |
| Python办公—openpyxl合并单元格 | 点我进行跳转 |
| Python100个库分享第21个—xlsxwriter (办公库篇) | 点我进行跳转 |
| python+selenium判断【加载中】元素在就一直等待不在就点击下载(非常好用) | 点我进行跳转 |
| Python提取PDF中的表格写入Excel | 点我进行跳转 |
| pandas读取Excel将某列为键某列(可多列)为值—写入字典(json)（键不可重复如重复保留最后有一个键值对） | 点我进行跳转 |
| Python读取超大Excel表格(100万行x30列)三种方法 | 点我进行跳转 |
| Python如何将Excel转CSV(3种常见方法+时间测试) | 点我进行跳转 |
| Python+smtplib库实现Foxmail自动批量给客户发送账单 | 点我进行跳转 |
| Python实现Excel\CSV文件的双重分组求汇总(在Excel中也称之为透视) | 点我进行跳转 |
| Python+tkinter自制一对多多对多匹配GUI工具(CSV版—可改写Excel版)附完整代码 | 点我进行跳转 |
| Python+PySimpleGUI实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+sentence-transformers框架实现相似文本识别(附完整代码+保姆教学) | 点我进行跳转 |
| Python+PySide6实现一个选择文件并做处理的GUI办公小工具(完整代码) | 点我进行跳转 |
| Python+docx2pdf批量将word转pdf | 点我进行跳转 |
| Python对账单中某些跨账单重复的单号进行获取 | 点我进行跳转 |
| Python+pandas读取Excel中的每一个sheet中的每一行 | 点我进行跳转 |
| CSV转Excel文件(适合大文件转VBA语言) | 点我进行跳转 |
| Python读取Excel每一行为列表—大PK(openpyxl\pandas\xlwings\xlrd\Spire.XLS\python_calamine)看谁用时少？ | 点我进行跳转 |
| Python之Spire.XLS进行Excel与CSV文件互转换 | 点我进行跳转 |
| 利用python将Excel文件拆分成100行为一个的小文件(行数可自己设置) | 点我进行跳转 |
| Python递归—求一组数字的指定和多少种组合方式 | 点我进行跳转 |
| Python看板—python+plotly+streamlit实现简易看板(附完整版代码) | 点我进行跳转 |
| pandas读取Excel统计每一个文件的行数 | 点我进行跳转 |
| Python+pyautogui自动选择附件并上传 | 点我进行跳转 |
| Python+PIL计算两个图像的相似度并返回第一个不匹配的像素的x坐标(附完整版代码) | 点我进行跳转 |
| Python+openpyxl将Excel的某一列转成文本格式 | 点我进行跳转 |
| Python对csv文件的某一列进行拆分+再写入保存 | 点我进行跳转 |
| Excel转CSV文件(适合大文件转VBA) | 点我进行跳转 |
| Python+selenium+PIL实现网页自动截图 | 点我进行跳转 |
| Python批量读取csv(xlsx)文件指定表头获取内容(表头可乱序) | 点我进行跳转 |
| Python将Excel数字对应列的字母写成字典(json)—如1为A列，2为B列以此类推（更新与2024-4-3） | 点我进行跳转 |
| Python+openpyxl读取Excel(每一行为列表) | 点我进行跳转 |
| Python如何批量将图片以超链接的形式插入Excel | 点我进行跳转 |
| 利用Python批量压缩图片大小(不改变图片尺寸，不改变图片格式) | 点我进行跳转 |
总结
-
希望对初学者有帮助
-
致力于办公自动化的小小程序员一枚
-
希望能得到大家的【一个免费关注】！感谢
-
求个 🤞 关注 🤞
-
此外还有办公自动化专栏，欢迎大家订阅：Python办公自动化专栏
-
求个 ❤️ 喜欢 ❤️
-
此外还有爬虫专栏，欢迎大家订阅：Python爬虫基础专栏
-
求个 👍 收藏 👍
-
此外还有Python基础专栏，欢迎大家订阅：Python基础学习专栏
相关文章：
Python自动化办公篇—pandas操作Excel：读取+查看+选择+清洗+排序+筛选+函数+写入
目录 专栏导读库的介绍库的安装1、读取数据2、查看数据3、选择数据4、数据清洗5、数据排序6、数据筛选7、数据操作8、数据写入总结 专栏导读 文章名称链接Python自动化办公—pyautogui图像定位\点击功能,实现自动截取当前屏幕并检索点击(可制作为游戏点击脚本)点我进行跳转Pyt…...
数据库大作业——音乐平台数据库管理系统
W...Y的主页😊 代码仓库分享💕 《数据库系统》课程设计 ：流行音乐管理平台数据库系统（本数据库大作业使用软件sql server、dreamweaver、power designer） 目录 系统需求设计 数据库概念结构设计 实体分析 属性分…...
【DBA早下班系列】—— 并行SQL/慢SQL 问题该如何高效收集诊断信息
1. 前言 OceanBase论坛问答区或者提交工单支持的时候大部分时间都浪费在了诊断信息的获取交互上，今天我就其中大家比较头疼的SQL问题，给大家讲解一下如何一键收集并行SQL/慢SQL所需要的诊断信息，减少沟通成本，让大家早下班。 2. …...
用python实现多文件多文本替换功能
用python实现多文件多文本替换功能 今天修改单位项目代码时由于改变了一个数据结构名称，结果有几十个文件都要修改，一个个改实在太麻烦，又没有搜到比较靠谱的工具软件，于是干脆用python手撸了一个小工具，发现python在…...
【DevOps】深入探索Ubuntu操作系统：全面了解
引言 在开源软件的世界里，Ubuntu是一个闪耀的明星。它不仅是一个操作系统，更是一种社区精神、一种共享和协作的文化。Ubuntu操作系统基于强大的Linux内核，由世界各地的开发者共同维护和改进。在这篇博文中，我们将深入探索Ubuntu操…...
【Linux】—MySQL安装
文章目录 前言一、下载官方MySQL包二、下载完成后，通过xftp6上传到Linux服务器上三、解压MySQL安装包四、在安装目录下执行rpm安装，请按顺序依次执行。五、配置MySQL六、启动MySQL数据库七、退出，重新登录数据库 前言 本文主要介绍在Linux环境…...
【vue】form表单提交validate验证不进valid原因
目录 1. 原因 1. 原因 1.<el-form>是否写了ref“form”。2.是否有其它标签写了ref“form”。3.<el-form>中要写成:model，不能使用v-model。4.自定义的validate要各个路径均能返回callback()。 const validatePass (rule, value, callback) > {if (…...
如何用 Google Chrome 浏览器浏览经过 XSLT 渲染的 XML 文件
对于经过XSLT渲染的XML文件，本来，可以直接用 IE (Internet Explorer) 打开，就能看到渲染之后的样子，很方便。但是后来，微软把 IE 换成了 Microsoft Edge，按理说这是比 IE 更先进的浏览器，可是偏…...
Python学习笔记12：进阶篇(二)，类的继承与组合
类的继承 我们在编写一系列的类的时候，会发现这些类很相似，但是又有各自的特点和行为。在编写这些类的时候，我们可以把相同的部分抽象成一个基类，然后根据其他不同的特点和行为，抽象出子类，继承这个基类。…...
npm install cnpm -g 报错4048
npm install cnpm -g 报错4048 设置淘宝镜像： 报错如下： 其他博主提供的方法都尝试了，比如管理员权限打开终端，删除.npmrc文件，清除缓存npm cache clean -f等都试了无效，最后怀疑是npm和cnpm版本不对应&…...
本地快速部署 SuperSonic
本地快速部署 SuperSonic 0. 引言1. 本地快速部署 supersonic2. 访问 supersonic3. 支持的数据库4. github 地址 0. 引言 SuperSonic融合Chat BI（powered by LLM）和Headless BI（powered by 语义层）打造新一代的BI平台。这种融合确…...
如何给vue开发的网站做seo?
最近公司有个需求，需要给公司的官网sqlynx做seo，但因为各种历史原因吧，原来的网站是用vue开发的。没办法，只能尝试尽量做一些seo，让网站能更好一些。 目录 1. 服务器端渲染（SSR） 2. 预渲染&am…...
算法训练营第六十天（延长12天添加图论) | LeetCode 647 回文子串、LeetCode 516 最长回文子序列
LeetCode 67 回文子串 思路很简单，每一个dp[i]等于dp[i-1]加上当前字符向前直到0各个长度字符串回文串个数即可 代码如下： class Solution {public boolean isValid(String s) {int l 0, r s.length() - 1;while (l < r) {if (s.charAt(l) ! s.ch…...
TikTok账号养号的流程分享
对于很多刚开始运营TikTok的新手小白来说，都会有一个同样的疑问，那就是：TikTok到底需不需要养号？这里明确告诉大家是需要养号的，今天就把我自己实操过的养号经验和策略总结出来，分享给大家。 一、什么是Ti…...
C++初学者指南第一步---6.枚举和枚举类
C初学者指南第一步—6.枚举和枚举类 文章目录 C初学者指南第一步---6.枚举和枚举类1.作用域的枚举(enum class类型）（C11）2.无作用域的枚举(enum类型)3.枚举类的基础类型4.自定义枚举类映射5.和基础类型的互相转换 1.作用域的枚举(enum class类…...
【js判断机型】
var isIOS /(iPhone|iPad|iPod)/i.test(navigator.userAgent) var isiPad navigator.userAgent.match(/(iPad)/) || (navigator.platform ‘MacIntel’ && navigator.maxTouchPoints > 1) 上面这个不行的话，再试下这个 var isiPad (navigator.userAg…...
google chrome浏览器安装crx插件Jam
先上一张图： Jam是bug报告生成插件 1、在地址栏中输入chrome://extensions/，然后回车。 2、将下载好的crx插件，直接拖到里面就可以完成安装工作了。 3、测试了一下jam插件，发现直接没有响应。 4、点击【移除】直接可以删除插件…...
【Java面试】二十、JVM篇（上）：JVM结构
文章目录 1、JVM2、程序计数器3、堆4、栈4.1 垃圾回收是否涉及栈内存4.2 栈内存分配越大越好吗4.3 方法内的局部变量是否线程安全吗4.4 栈内存溢出的情况4.5 堆和栈的区别是什么 5、方法区5.1 常量池5.2 运行时常量池 6、直接内存 1、JVM Java源码编译成class字节码后…...
【Python教程】压缩PDF文件大小
压缩 PDF 文件能有效减小文件大小并提高文件传输的效率，同时还能节省计算机存储空间。除了使用一些专业工具对PDF文件进行压缩，我们还可以通过 Python 来执行该操作，实现自动化、批量处理PDF文件。 本文将分享一个简单有效的使用 Python 压缩…...
UE4中性能优化和检测工具
UE4中性能优化和检测工具合集 简述CPUUnreal InsightUnreal ProfilerSimpleperfAndroid StudioPerfettoXCode TimeprofilerBest Practice GPUAdreno GPUMali GPUAndroid GPU Inspector (AGI) 内存堆内存分析Android StudioLoliProfilerUE5 Memory InsightsUnity Mono 内存Memre…...
VB.net复制Ntag213卡写入UID
本示例使用的发卡器：https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...
如何在看板中体现优先级变化
在看板中有效体现优先级变化的关键措施包括：采用颜色或标签标识优先级、设置任务排序规则、使用独立的优先级列或泳道、结合自动化规则同步优先级变化、建立定期的优先级审查流程。其中，设置任务排序规则尤其重要，因为它让看板视觉上直观地体…...
解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八
现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示 最终上报fail 解决方法 内核升级导致，需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...
Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）
目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...
Robots.txt 文件
什么是robots.txt？ robots.txt 是一个位于网站根目录下的文本文件（如：https://example.com/robots.txt），它用于指导网络爬虫（如搜索引擎的蜘蛛程序）如何抓取该网站的内容。这个文件遵循 Robots…...
push [特殊字符] present
push 🆚 present 前言present和dismiss特点代码演示 push和pop特点代码演示 前言 在 iOS 开发中，push 和 present 是两种不同的视图控制器切换方式，它们有着显著的区别。 present和dismiss 特点 在当前控制器上方新建视图层级需要手动调用…...
Qt 事件处理中 return 的深入解析
Qt 事件处理中 return 的深入解析 在 Qt 事件处理中，return 语句的使用是另一个关键概念，它与 event->accept()/event->ignore() 密切相关但作用不同。让我们详细分析一下它们之间的关系和工作原理。 核心区别：不同层级的事件处理 方…...
学习一下用鸿蒙DevEco Studio HarmonyOS5实现百度地图
在鸿蒙（HarmonyOS5）中集成百度地图，可以通过以下步骤和技术方案实现。结合鸿蒙的分布式能力和百度地图的API，可以构建跨设备的定位、导航和地图展示功能。 1. 鸿蒙环境准备 开发工具：下载安装 De…...
【Kafka】Kafka从入门到实战：构建高吞吐量分布式消息系统
Kafka从入门到实战：构建高吞吐量分布式消息系统 一、Kafka概述 Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，后成为Apache顶级项目。它被设计用于高吞吐量、低延迟的消息处理，能够处理来自多个生产者的海量数据，并将这些数据实时传递给消费者。 Kafka核心特…...
算术操作符与类型转换：从基础到精通
目录 前言：从基础到实践——探索运算符与类型转换的奥秘 算术操作符超级详解 算术操作符：、-、*、/、% 赋值操作符：和复合赋值 单⽬操作符：、--、、- 前言：从基础到实践——探索运算符与类型转换的奥秘 在先前的文…...