当前位置： 首页 > news >正文

【数据分析专栏之Python篇】四、pandas介绍

news 文章来源：https://blog.csdn.net/yiluohan0307/article/details/131951833 2025/5/20 11:05:57

前言

在上一篇中我们安装和使用了Numpy。本期我们来学习使用 核心数据分析支持库 Pandas。

一、pandas概述

1.1 pandas 简介

Pandas 是 Python 的 核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。

Pandas 是由 Wes McKinney 在 2008 年开发的，McKinney 当时是一家纽约金融服务机构的金融分析师 ，他在自己的工作中遇到了一些数据操作问题，当时 Python 中已经有了 Numpy 这样在处理大规模数据方面有着不错表现的库，但是对于表格等结构化数据而言，Numpy 并不能完全胜任。于是 McKinney 开始着手研究一套解决方案，目的是为了在 Python 中提供一种更便捷的方式来处理结构化数据，最终 Pandas 就被开发出来了。

Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，pandas 离这个目标已经越来越近了。

对于使用 Python 进行数据分析来说，pandas 几乎是无人不知，无人不晓的。通俗来讲，Pandas 是 Python 编程界的 Excel。

1.2 数据结构

Pandas 主要有两种数据结构，分别是 Series 和 DataFrame，他们分别表示一维的序列和二维的表结构。

维数名称描述
1Series可以看做有标签（默认是整数序列 RangeIndex；可以重复）的一维数组（同类型）。是 scalars（标量） 的集合，同时也是 DataFrame 的元素。
2DataFrame一般是二维标签，尺寸可变的表格结构，具有潜在的异质型列。

1.3 Pandas 库的应用场景

Pandas 库广泛应用于数据处理、数据分析和数据可视化等方面，以下是一些 Pandas 库应用的场景：

  • 数据挖掘和分析

Pandas 库的数据结构和函数可以让数据挖掘和分析更加高效和便捷。使用 Pandas 库可以轻松地对数据进行筛选、排序、过滤、清理和变换等操作，并可以进行统计和汇总等分析。

  • 金融和经济分析

在金融和经济分析领域，Pandas 库在对股票数据、金融指标和宏观经济数据等方面有着广泛的应用。Pandas 库不仅可以快速下载和清理数据，还可以进行可视化和模型建立等分析。

  • 科学和工程计算

Pandas 库也常用于处理科学和工程计算中的大量数据集。Pandas 库可以从多个文件格式读取数据，并可以对数据进行清洗和转换，以便后续的建模和分析操作。

1.4 学习文档

Pandas 官方网站 点我，没有 VPN 访问较慢。

Pandas 中文网 点我，可以正常访问，较为人性化。

二、pandas优势

为什么 pandas 能成为 Python 数据分析的利器和核心支持库?我想大概可以从以下几点中找到答案。

2.1 Pandas 特点

pandas的主要数据结构是 Series（一维数据）与DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型的用例。其主要特点如下：

  • 灵活的数据结构：Pandas 提供了两种主要的数据结构，即Series和DataFrame，可以用来处理不同类型和形式的数据，并可以进行索引和切片操作，方便数据的处理和操作。

  • 强大的数据处理能力：Pandas 提供了丰富的数据处理和操作功能，包括数据清洗、缺失值处理、重复值处理、合并和连接、透视表等。

  • 支持广泛的数据格式：Pandas 支持多种格式的数据输入和输出，包括CSV、Excel、JSON、SQL、HDF5等。

  • 灵活的数据分组和聚合：Pandas 提供了灵活的数据分组和聚合功能，可以轻松进行数据分析和汇总。

  • 可视化功能：Pandas 内置了可视化功能，可以通过简单的代码实现图表和可视化结果，方便数据分析和展示。

  • 快速高效：Pandas使用Cython编写，具有快速高效的处理能力，在大数据量的情况下也能快速处理数据。

  • 应用广泛：Pandas广泛应用于金融、统计、社会科学、工程、科学等领域，适用于各种类型的数据处理和分析任务。

  • 开放的社区：Pandas 开源，社区活跃，提供了大量的文档和教程，方便学习和使用。

2.2 Pandas 优势

此外，Python 软件包索引的编制者还表示，Pandas 为数据科学家和开发者提供了几个关键优势，包括：

  • 轻松处理浮点和非浮点数据中的缺失数据（表示为 NaN）
  • 大小易变性：可以从 DataFrame 和更高维度的对象中插入和删除列
  • 自动和显式数据对齐：可以将对象显式对齐到一组标签；或者用户只需忽略标签，让序列、DataFrame 等在计算中自动调整数据
  • 强大、灵活的分组功能，对数据集执行分割-应用-组合操作，进行数据聚合和转换
  • 可轻松将其他 Python 和 Numpy 数据结构中参差不齐、索引不同的数据转换为 DataFrame 对象
  • 大型数据集基于标签的智能切片、精美索引和子集构建
  • 直观的数据集合并与连接
  • 灵活的数据集重塑和旋转
  • 坐标轴的分层标记（每个记号可能具有多个标签）
  • 强大的 I/O 工具，用于加载平面文件（CSV 和分隔文件）、Excel 文件和数据库中的数据，以及保存/加载超快速 HDF5 格式的数据
  • 特定于时间序列的功能：日期范围生成和频率转换、窗口统计数据迁移、日期调整和延迟

三、pandas学习路线

首先是 Series： 之后是 DataFrame ：


结语

本期跟大家分享的内容就到此结束了！希望本文的内容能够帮助到你。

参考文档

Python之Pandas使用详解

Python pandas用法

什么是 Pandas Python？PANDAS 的工作原理和优势？

相关文章：

【数据分析专栏之Python篇】四、pandas介绍

前言 在上一篇中我们安装和使用了Numpy。本期我们来学习使用 核心数据分析支持库 Pandas。 一、pandas概述 1.1 pandas 简介 Pandas 是 Python 的 核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。 …...

编程日记 2023/8/1 1:13:58

《算法竞赛·快冲300题》每日一题：“最小生成树”

《算法竞赛快冲300题》将于2024年出版，是《算法竞赛》的辅助练习册。 所有题目放在自建的OJ New Online Judge。 用C/C、Java、Python三种语言给出代码，以中低档题为主，适合入门、进阶。 文章目录 题目描述题解C代码Java代码Python代码 “ 最…...

编程日记 2023/8/1 1:12:56

mysql的主键选择

一.没有定义主键有什么问题 如果定义了主键，那么InnoDB会使用主键作为聚簇索引如果没有定义主键，那么会使用第一非空的唯一索引（NOT NULL and UNIQUE INDEX）作为聚簇索引如果既没有主键也找不到合适的非空索引，那么In…...

编程日记 2023/8/1 1:11:53

Eureka 学习笔记1：服务端实例缓存

版本 awsVersion ‘1.11.277’ 缓存类型registryConcurrentHashMap<String, Map<String, Lease<InstanceInfo>>>AbstractInstanceRegistry成员变量readWriteCacheMapLoadingCacheResponseCacheImpl成员变量readOnlyCacheMapConcurrentMap<Key, Value>…...

编程日记 2023/8/1 1:10:53

vue : 无法加载文件 C:\Users\86182\AppData\Roaming\npm\vue.ps1，因为在此系统上禁止运行脚本。

windows11&#xff1a; PS E:\VueProjects> vue vue : 无法加载文件 C:\Users\86182\AppData\Roaming\npm\vue.ps1&#xff0c;因为在此系统上禁止运行脚本。有关详细信息&#xff0c;请参阅 https:/ go.microsoft.com/fwlink/?LinkID135170 中的 about_Execution_Policie…...

编程日记 2023/8/1 1:09:51

FLinkCDC读取MySQl时间戳时区相关问题解决汇总

FlinkCDC时间问题timestamp等https://blog.csdn.net/qq_30529079/article/details/127809317 FLinkCDC读取MySQl中的日期问题https://blog.csdn.net/YPeiQi/article/details/130265653 关于flink1.11 flink sql使用cdc时区差8小时问题https://blog.csdn.net/weixin_44762298/…...

编程日记 2023/8/1 1:08:50

第三篇-Tesla P40+CentOS7+CUDA 11.7 部署实践

硬件环境 系统&#xff1a;CentOS-7 CPU: 14C28T 显卡&#xff1a;Tesla P40 24G 准备安装 驱动: 515 CUDA: 11.7 cuDNN: 8.9.2.26 安装依赖 yum clean all yum update yum install -y gcc gcc-c pciutils kernel-devel-$(uname -r) kernel-headers-$(uname -r)查看GPU信息…...

编程日记 2023/8/1 1:07:49

AC+FIT（瘦AP）配置浅谈

FIT ensp实验材料 &#xff1a;pc、路由器、三层交换机、二层交换机、ac、ap 保证连通性&#xff1a; 根据ac与ap设计好的ip配置&#xff0c;使之可以通讯 ac与ap可以实现跨网段管理 1、设置三层交换机的vlan 与vlanif信息 dhcp enable //开启dhcp ip pool forap //…...

编程日记 2023/8/1 1:06:47

【Python】PySpark 数据计算 ② ( RDD#flatMap 方法 | RDD#flatMap 语法 | 代码示例 )

文章目录 一、RDD#flatMap 方法1、RDD#flatMap 方法引入2、解除嵌套3、RDD#flatMap 语法说明 二、代码示例 - RDD#flatMap 方法 一、RDD#flatMap 方法 1、RDD#flatMap 方法引入 RDD#map 方法 可以 将 RDD 中的数据元素 逐个进行处理 , 处理的逻辑 需要用外部 通过 参数传入 map…...

编程日记 2023/8/1 1:05:41

二叉树题目：左叶子之和

文章目录 题目标题和出处难度题目描述要求示例数据范围 解法一思路和算法代码复杂度分析 解法二思路和算法代码复杂度分析 题目 标题和出处 标题&#xff1a;左叶子之和 出处&#xff1a;404. 左叶子之和 难度 3 级 题目描述 要求 给你二叉树的根结点 root \texttt{ro…...

编程日记 2023/8/1 1:04:40

Spark SQL报错： Task failed while writing rows.

错误 今天运行 Spark 任务时报了一个错误&#xff0c;如下所示&#xff1a; WARN scheduler.TaskSetManager: Lost task 9.0 in stage 3.0 (TID 69, xxx.xxx.xxx.com, executor 3): org.apache.spark.SparkException: Task failed while writing rows.at org.apache.spark.sq…...

编程日记 2023/8/1 1:03:39

Linux系统下U盘打不开: No application is registered as handling this file

简述 系统是之前就安装好使用的Ubuntu14.04&#xff0c;不过由于某些原因只安装到了机械硬盘中&#xff1b;最近新买了一块固态硬盘&#xff0c;所以打算把Ubuntu系统迁移到新的固态硬盘上&#xff1b; 当成功的迁移了系统之后发现其引导有点问题&#xff0c;导致多个系统启动不…...

编程日记 2023/8/1 1:02:37

07 定时器处理非活动连接（上）

07 定时器处理非活动连接&#xff08;上&#xff09; 基础知识 非活跃&#xff0c;是指客户端&#xff08;这里是浏览器&#xff09;与服务器端建立连接后&#xff0c;长时间不交换数据&#xff0c;一直占用服务器端的文件描述符&#xff0c;导致连接资源的浪费。 定时事件&a…...

编程日记 2023/8/1 1:01:36

python——案例四：判断字符串中的元素组成

案例四&#xff1a;判断字符串中的元素组成str"Hello World! 666" print(str.isalnum()) #判读所有的字符都是数字或者是字母 print(str.isalpha()) #判读所有的字符都是字母 print(str.isdigit()) #判读所有的字符都是数字 print(str.islower()) #判读所有的字符都是…...

编程日记 2023/8/1 1:00:34

一起学算法（插入排序篇）

概念&#xff1a; 插入排序&#xff08;inertion Sort&#xff09;一般也被称为直接插入排序&#xff0c;是一种简单的直观的排序算法 工作原理&#xff1a;将待排列元素划分为&#xff08;已排序&#xff09;和&#xff08;未排序&#xff09;两部分&#xff0c;每次从&…...

编程日记 2023/8/1 0:59:33

JVM基础篇-本地方法栈与堆

JVM基础篇-本地方法栈与堆 本地方法栈 什么是本地方法? 本地方法即那些不是由java层面实现的方法&#xff0c;而是由c/c实现交给java层面进行调用&#xff0c;这些方法在java中使用native关键字标识 public native int hashCode()本地方法栈的作用? 为本地方法提供内存空…...

编程日记 2023/8/1 0:58:32

防雷保护区如何划分，防雷分区概念LPZ介绍

在防雷设计中&#xff0c;很重要的一点就是防雷分区的划分&#xff0c;只有先划分好防雷区域等级&#xff0c;才好做出比较好的防雷器设计方案。 因为标准对不同区安装的防雷浪涌保护器要求是不一样的。 那么&#xff0c;防雷保护区是如何划分的呢&#xff1f; 如上图所示&…...

编程日记 2023/8/1 0:57:31

随手笔记——3D−3D：ICP求解

随手笔记——3D−3D&#xff1a;ICP求解 使用 SVD 求解 ICP使用非线性优化来求解 ICP 原理参见 https://blog.csdn.net/jppdss/article/details/131919483 使用 SVD 求解 ICP 使用两幅 RGB-D 图像&#xff0c;通过特征匹配获取两组 3D 点&#xff0c;最后用 ICP 计算它们的位…...

编程日记 2023/8/1 0:56:29

Python调用各大机器翻译API大全

过去的二三年中&#xff0c;我一直关注的是机器翻译API在自动化翻译过程中的应用&#xff0c;包括采用CAT工具和Python编程语言来调用机器翻译API&#xff0c;然后再进行译后编辑&#xff0c;从而达到快速翻译的目的。 然而&#xff0c;我发现随着人工智能的发展&#xff0c;很…...

编程日记 2023/8/1 0:55:26

重生之我要学C++第六天

这篇文章的主要内容是const以及权限问题、static关键字、友元函数和友元类&#xff0c;希望对大家有所帮助&#xff0c;点赞收藏评论支持一下吧&#xff01; 更多优质内容跳转&#xff1a; 专栏&#xff1a;重生之C启程(文章平均质量分93) 目录 const以及权限问题 1.const修饰…...

编程日记 2023/8/1 0:54:25

SpringBoot中ErrorPage(错误页面)的使用--【ErrorPage组件】

SpringBoot系列文章目录 SpringBoot知识范围-学习步骤–【思维导图知识范围】 文章目录 SpringBoot系列文章目录本系列校训 SpringBoot技术很多很多环境及工具&#xff1a;必要的知识深层一些的知识 上效果图在Spring Boot里使用ErrorPage还要注意的是 配套资源作业&#xff…...

编程日记 2023/8/1 0:53:24

【Android】APP网络优化学习笔记

网络优化原因 进行网络优化对于移动应用程序而言非常重要&#xff0c;原因如下&#xff1a; 用户体验&#xff1a; 网络连接是移动应用程序的核心功能之一。通过进行网络优化&#xff0c;可以提高应用的加载速度和响应速度&#xff0c;减少用户等待时间&#xff0c;提供更流…...

编程日记 2023/8/1 0:52:21

简单的知识图谱可视化+绘制nx.Graph()时报错TypeError: ‘_AxesStack‘ object is not callable

绘制nx.Graph时报错TypeError: _AxesStack object is not callable 写在最前面知识图谱可视化预期报错可能的原因 原代码原因确认解决后的代码解决&#xff01; 写在最前面 实现一个简单的知识图谱的可视化功能。 使用了NetworkX库来构建知识图谱&#xff0c;并使用matplotlib…...

编程日记 2023/8/1 0:51:20

【Matlab】基于粒子群优化算法优化BP神经网络的时间序列预测（Excel可直接替换数据）

【Matlab】基于粒子群优化算法优化BP神经网络的时间序列预测（Excel可直接替换数据） 1.模型原理2.数学公式3.文件结构4.Excel数据5.分块代码5.1 fun.m5.2 main.m6.完整代码6.1 fun.m6.2 main.m7.运行结果1.模型原理 基于粒子群优化算法（Particle Swarm Optimization, PSO）优…...

编程日记 2023/8/1 0:50:19

【机器学习】Cost Function for Logistic Regression

Cost Function for Logistic Regression 1. 平方差能否用于逻辑回归&#xff1f;2. 逻辑损失函数loss3. 损失函数cost附录 导入所需的库 import numpy as np %matplotlib widget import matplotlib.pyplot as plt from plt_logistic_loss import plt_logistic_cost, plt_two_…...

编程日记 2023/8/1 0:49:17

【EI/SCOPUS会议征稿】2023年第四届新能源与电气科技国际学术研讨会 (ISNEET 2023)

作为全球科技创新大趋势的引领者&#xff0c;中国一直在为科技创新创造越来越开放的环境&#xff0c;提高学术合作的深度和广度&#xff0c;构建惠及全民的创新共同体。这些努力为全球化和创建共享未来的共同体做出了新的贡献。 为交流近年来国内外在新能源和电气技术领域的最新…...

编程日记 2023/8/1 0:48:15

【计算机网络】10、ethtool

文章目录 一、ethtool1.1 常见操作1.1.1 展示设备属性1.1.2 改变网卡属性1.1.2.1 Auto-negotiation1.1.2.2 Speed 1.1.3 展示网卡驱动设置1.1.4 只展示 Auto-negotiation, RX and TX1.1.5 展示统计1.1.7 排除网络故障1.1.8 通过网口的 LED 区分网卡1.1.9 持久化配置&#xff08…...

编程日记 2023/8/1 0:47:15

什么是前端工程化？

工程化介绍 什么是前端工程化&#xff1f; 前端工程化是一种思想&#xff0c;而不是某种技术。主要目的是为了提高效率和降低成本&#xff0c;也就是说在开发的过程中可以提高开发效率&#xff0c;减少不必要的重复性工作等。 tip 现实生活举例 建房子谁不会呢&#xff1f;请…...

编程日记 2023/8/1 0:46:13

【深度学习】【三维重建】windows11环境配置tiny-cuda-nn详细教程

【深度学习】【三维重建】windows11环境配置tiny-cuda-nn详细教程 文章目录 【深度学习】【三维重建】windows11环境配置tiny-cuda-nn详细教程前言确定版本对应关系源码编译安装tiny-cuda-nn总结 前言 本人windows11下使用【Instant Neural Surface Reconstruction】算法时需要…...

编程日记 2023/8/1 0:45:08

Matlab 一种自适应搜索半径的特征提取方法

文章目录 一、简介二、实现代码参考资料一、简介 在之前的博客（C++ ID3决策树）中，提到过一种信息熵的概念，其中它表达的大致意思为：香农认为熵是指“当一件事情有多种可能情况时，这件事情发生某种情况的不确定性”，也就是指如果一个事情的不确定性越大，那么这个信息的熵…...

编程日记 2023/8/1 0:44:07