Python 之 Pandas DataFrame 数据类型的行操作和常用属性和方法汇总

• DataFrame 是 Pandas 的重要数据结构之一，也是在使用 Pandas 进行数据分析过程中最常用的结构之一，可以这么说，掌握了 DataFrame 的用法，你就拥有了学习数据分析的基本能力。
• 在开始之前，我们需要先引入 numpy 和 pandas 库。

import numpy as np​
import pandas as pd

一、DataFrame 行操作

• 在我们理解了前文的列索引操作后，行索引操作就变的简单。
• 具体列索引操作详见 Python 之 Pandas DataFrame 数据类型的简介、创建的列操作。

1. 标签选取

• 行操作需要借助 loc 属性来完成:按标签或布尔数组访问一组行和列。
• 首先，我们定义一个字典，作为初始数据，创建 DataFrame 数据结构。

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d)
print("===========df原始数据========")
print(df)
#===========df原始数据========
#    one  two
# a  1.0    1 
# b  2.0    2 
# c  3.0    3 
# d  NaN    4

• 然后，我们确定标签为 b 的数据。

print("===========标签为b的数据========")
print(df.loc['b'])
#===========标签为b的数据========
#one    2.0
#two    2.0
#Name: b, dtype: float64

• 这里需要注意的是，loc 允许接受两个参数分别是行和列。
• 例如，我们选取 b 行 one 列交叉的数据。

df.loc['b',"one"]
#2.0

• 除此之外，行和列还可以使用切片。
• 例如，标签为 b 的行到标签为 d 的行, 对应标签为 one 的列。
• 这里需要注意的是，使用行标签切片，是包含结束的行。

df.loc['b':'d',"one"]   # 注意
#b    2.0
#c    3.0
#d    NaN
#Name: one, dtype: float64

• 用过 loc 索引的行和列与 numpy 整数数组索引的区别如下，loc 是通过标签进行取值，他有两个参数，第一个代表行，第二个代表列。

df.loc[['a','b'],["one","two"]]
#   one	 two
#a	1.0	   1
#b	2.0	   2

• 我们可以通过 np.arange( ).reshape( ) 生成一个从 0 到 1 的三行四列的指定元素数组，然后调用其中第一行和第一列，第三行和第四列分别相交的数据。

s = np.arange(12).reshape((3,4))
s
#array([[ 0,  1,  2,  3],
#          [ 4,  5,  6,  7], 
#          [ 8,  9, 10, 11]])
s[[0,2],[0,3]]
#array([ 0, 11])

2. 数值型索引和切片

• 使用数据型索引,需要使用 iloc 属性。
• 直接使用索引，会优先查找的是列标签，如果找不到会报错，列没有位置索引。
• 可以使用 iloc，行基于整数位置的按位置选择索引。
• 例如，我们指定 data 数据，然后定义行标签，通过字典创建 DataFrame。

data = {'Name':['关羽', '刘备', '张飞', '曹操'],'Age':[28,34,29,42]}
index = ["rank1", "rank2", "rank3", "rank4"]
df = pd.DataFrame(data, index=index)
df
#       Name   Age
#rank1	关羽	28
#rank2	刘备	34
#rank3	张飞	29
#rank4	曹操	42

• 然后，我们取得位置索引为 2 的数据。

df.iloc[2]
#Name    张飞
#Age     29
#Name: rank3, dtype: object

• 我们也可以同时取得位置索引分别为 0 和 2 的数据。

df.iloc[[0,2]]
Name	Age
rank1	关羽	28
rank3	张飞	29

• 我们也可以选择行索引为 0，列索引为 1 的数据。

df.iloc[0,1]
#28

• 这里需要注意的是，loc 使用的是标签索引，iloc 使用的是位置索引，两者不能混用，比如在 loc 中使用位置索引，或者在 iloc 中使用标签索引。
• 常见有如下的错误写法：loc 当中使用了 1 这个位置索引，iloc 当中使用了 Name 这个标签索引。

#df.loc[1,"Name"]
#df.iloc[1,"Name"]

3. 切片操作多行选取

• 可以直接使用数值型切片操作行，和使用 iloc 同样的结果。
• 例如，我们指定 data 数据，然后定义行标签，通过字典创建 DataFrame。

data = {'Name':['关羽', '刘备', '张飞', '曹操'],'Age':[28,34,29,42]}
index = ["rank1", "rank2", "rank3", "rank4"]
df = pd.DataFrame(data, index=index)
df
#       Name    Age
#rank1	关羽	28
#rank2	刘备	34
#rank3	张飞	29
#rank4	曹操	42

• 然后，我们取得取得位置索引从 1 到 3 的行，但是不包含第 3 行的数据。

print("=====df.iloc[1:3]:=======")
print(df.iloc[1:3])
#=====df.iloc[1:3]:=======
#      Name  Age
#rank2   刘备   34
#rank3   张飞   29

• 我们使用切片可以直接提取行。

print("=====df[1:3]:=======")
print(df[1:3])
#=====df[1:3]:=======
#        Name  Age
#rank2   刘备   34
#rank3   张飞   29

4. 添加数据行

• 使用 append() 函数，可以将新的数据行添加到 DataFrame 中，该函数会在行末追加数据行.
• 其语法模板如下：

df.append(other, ignore_index=False, verify_integrity=False, sort=False)

• 将 other 追加到调用者的末尾，返回一个新对象。other 行中不在调用者中的列将作为新列添加。
• 其参数含义如下：
• other 表示 DataFrame 或 Series/dict 类对象，或这些对象的列表。
• ignore_index 默认为 False，如果为 True 将不适用 index 标签。
• verify_integrity 默认为 False ，如果为 True，则在创建具有重复项的索引时引发 ValueError。
• sort 表示排序。
• 例如，我们可以生成一个指定数据的数组，并于后续的操作观察。

data = {'Name':['关羽', '刘备', '张飞', '曹操'], 'Age':[28, 34, 29, 42],"Salary":[5000, 8000, 4500, 10000]}
df = pd.DataFrame(data)
df
#	Name	Age	 Salary
# 0	关羽	28 	  5000
# 1	刘备	34	  8000 
# 2	张飞	29	  4500
# 3	曹操	42	  10000

4.1 追加字典

• 我们在行末新加一个数据行，此时，我们需要添加 ignore_index=True，否则会报错。例如下述操作。

d2 = {"Name":"诸葛亮", "Age":30}
df3 = df.append(d2)
print(df3)

• 错误提示：Can only append a Series if ignore_index=True or if the Series has a name。
• 这是因为仅当 ignore_index=True 或序列有名称时，才能追加序列。

d2 = {"Name":"诸葛亮", "Age":30}
df3 = df.append(d2, ignore_index=True) # 需要添加 
print(df3)
#    Name    Age   Salary
#0   关羽     28   5000.0
#1   刘备     34   8000.0
#2   张飞     29   4500.0
#3   曹操     42   10000.0
#4   诸葛亮   30   NaN

• 或者 Series 数据当中有 name。

d2 = {"Name":"诸葛亮", "Age":30}​
s = pd.Series(d2, name="a")
print(s)
df3 = df.append(s)
print(df3)
#Name    诸葛亮 
#Age      30 
#Name: a, dtype: object
#    Name    Age   Salary 
#0   关羽     28   5000.0 
#1   刘备     34   8000.0 
#2   张飞     29   4500.0 
#3   曹操     42   10000.0 
#a  诸葛亮   30   NaN

4.2 追加列表

• 如果 list 是一维的，则以列的形式追加。
• 如果 list 是二维的，则以行的形式追加。
• 如果 list 是三维的，只添加一个值。
• 这里需要注意的是，使用 append 可能会出现相同的 index，想避免的话,可以使用 ignore_index=True。
• 首先，我们生成输出数据数组，便于后续的观察操作。

data = [[1, 2, 3, 4],[5, 6, 7, 8]]              
df = pd.DataFrame(data)
print(df)
#   0  1  2  3
#0  1  2  3  4
#1  5  6  7  8

• （1） 当 list 是一维的，则以列的形式追加。

a_l = [10,20]​
df3 = df.append(a_l)
print(df3)
#    0    1    2    3
#0   1  2.0  3.0  4.0 
#1   5  6.0  7.0  8.0 
#0  10  NaN  NaN  NaN 
#1  20  NaN  NaN  NaN

• （2） 当 list 是二维的，则以行的形式追加。

a_l = [[10,"20",30],[2,5,6]]
df4 = df.append(a_l) 
print(df4)
#    0   1   2    3
#0   1   2   3  4.0 
#1   5   6   7  8.0 
#0  10  20  30  NaN 
#1   2   5   6  NaN

• 此时，我们会发现行标签有点不太对，因此我们使用 ignore_index=True。

print("=========使用:ignore_index=True===========")
df5 = df.append(a_l,ignore_index=True) # 需要添加 
print(df5)
#=========使用:ignore_index=True===========
#     0   1   2    3 
#0   1   2   3  4.0 
#1   5   6   7  8.0 
#2  10  20  30  NaN 
#3   2   5   6  NaN

• 在这里需要注意的是，append 不改变原数据，是生成一个新数据。

5. 删除数据行

​- 可以使用行索引标签，从 DataFrame 中删除某一行数据。如果索引标签存在重复，那么它们将被一起删除。示例如下：

df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])​
df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])​
df = df.append(df2)
print("=======源数据df=======")
print(df)
#=======源数据df=======
#   a  b 
#0  1  2 
#1  3  4 
#0  5  6 
#1  7  8

• 注意此处调用了 drop() 方法，drop 默认不会更改源数据，而是返回另一个dataframe来存放删除后的数据。
• （1） drop 函数默认删除行，列需要加 axis = 1。
• （2） 当 inplace 为 False 时不会修改源数据，为 True 时会修改源数据。

df1 = df.drop(0)
print("=======修改后数据df1=======")
print(df1)
=======修改后数据df1=======
#    a  b 
#1  3  4 
#1  7  8

二、常用属性和方法汇总

名称	属性&方法描述
T	行和列转置。
axes	返回一个仅以行轴标签和列轴标签为成员的列表。
dtypes	返回每列数据的数据类型。
empty	DataFrame中没有数据或者任意坐标轴的长度为0，则返回True
columns	返回DataFrame所有列标签
shape	返回一个元组，获取行数和列数,表示了 DataFrame 维度。
size	DataFrame中的元素数量。
values	使用 numpy 数组表示 DataFrame 中的元素值。
head()	返回前 n 行数据。
tail()	返回后 n 行数据。
rename()	rename(columns=字典) ,修改列名
info()	可以显示信息，例如行数/列数，总内存使用量，每列的数据类型以及不缺少值的元素数
sort_index()	默认根据行标签对所有行排序，或根据列标签对所有列排序，或根据指定某列或某几列对行排序。
sort_values()	既可以根据列数据，也可根据行数据排序

• 我们先生成一个初始数据数组，用以后续的观察操作。

data = {'Name':['关羽', '刘备', '张飞', '曹操'], 'Age':[28, 34, 29, 42],"Salary":[5000, 8000, 4500, 10000]}
df = pd.DataFrame(data)
df
#	Name	Age	Salary 
#0	关羽	28	5000 
#1	刘备	34	8000 
#2	张飞	29	4500 
#3	曹操	42	10000

1. 转置

• 返回 DataFrame 的转置，也就是把行和列进行交换，但是源数据是不会发生任何变化的。

df.T0	   1	   2	   3
Name	关羽	刘备	张飞	曹操 
Age	      28	  34	  29	  42 
Salary	5000	8000	4500   10000	

2. axes

• 返回一个行标签、列标签组成的列表。

print(df.axes)
[df.index,df.columns]
#[RangeIndex(start=0, stop=4, step=1), Index(['Name', 'Age', 'Salary'], dtype='object')]

3. dtypes

• 返回 Series 每一列的数据类型。示例如下：

df.dtypes
Name      object
Age           int64
Salary       int64
dtype: object

4. empty

• 返回一个布尔值，判断输出的数据对象是否为空，若为 True 表示对象为空。

df.empty
#False

• 我们创建一个空的 DataFrame。

empty_df = pd.DataFrame()
empty_df.empty 
#True

• 如果给 DataFrame 数据类型直接判断真假，则会报错: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). 。

5. columns

• 返回 DataFrame 所有列标签。

df.columns
#Index(['Name', 'Age', 'Salary'], dtype='object')

• 我们也可以通过 df.columns 的个数获取 DataFrame 当中列的个数。

len(df.columns)
#3
df.columns.size
#3

6. shape

• 返回一个元组，获取行数和列数，表示了 DataFrame 维度。

df.shape
#(4,3)
row_num,column_num = df.shape
print(row_num,column_num )
#4 3

7. values

• 以 ndarray 数组的形式返回 DataFrame 中的数据。

df.values
#array([['关羽', 28, 5000], 
#          ['刘备', 34, 8000],        
#          ['张飞', 29, 4500],        
#          ['曹操', 42, 10000]], dtype=object)

8. head() & tail()

• 我们可以使用 head() 获取前几行数据。

df.head(3)
#	Name	Age	Salary 
#0	关羽	28	5000 
#1	刘备	34	8000 
#2	张飞	29	4500

• 我们也可以使用 tail() 获取后几行数据。

df.tail(3)
#	Name	Age	Salary 
#1	刘备	34	8000 
#2	张飞	29	4500 
#3	曹操	42	10000

9. 修改列名 rename()

• 其语法模板如下：

DataFrame.rename(index=None, columns=None, inplace=False)

• 其参数含义如下：
• index 表示修改后的行标签。
• columns 表示修改后的列标签。
• inplace 表示默认为 False，不改变源数据，返回修改后的数据，True 更改源数据。
• 先输出原始数据，便于操作和观察。

df
#	Name	Age	Salary 
#0	关羽	28	5000 
#1	刘备	34	8000 
#2	张飞	29	4500 
#3	曹操	42	10000

• 我们可以修改变量 df 的行标签。

df.rename(index={1:"row2", 2:"row3"})
df
#	Name	Age	Salary 
#0	关羽	28	5000 
#row2	刘备	34	8000 
#row3	张飞	29	4500 
#3	曹操	42	10000

• 我们可以修改变量 df 的列标签。

df.rename(columns = {"Name":"name", "Age":"age"})
df
#	name	age	Salary 
#0	关羽	28	5000 
#1	刘备	34	8000 
#2	张飞	29	4500 
#3	曹操	42	10000

• 如果我需要修改源数据的话，添加 inplace 参数。

df.rename(index={1:"row2", 2:"row3"}, columns = {"Name":"name", "Age":"age"}, inplace=True)
df
#	name	age	Salary 
#0	关羽	28	5000 
#row2	刘备	34	8000 
#row3	张飞	29	4500 
#3	曹操	42	10000

10. info() 函数

• 用于打印 DataFrame 的简要摘要，显示有关 DataFrame 的信息，包括索引的数据类型 dtype 和列的数据类型 dtype，非空值的数量和内存使用情况。
• 首先，我们创建一组数据，将数据追加到 df 数据中。

data = {"name":"诸葛亮","age":30}
df = df.append(data, ignore_index =True)
df
#	name	age	Salary 
#0	关羽	28	5000.0 
#1	刘备	34	8000.0 
#2	张飞	29	4500.0 
#3	曹操	42	10000.0 
#4	诸葛亮	30	NaN

• 然后使用 info() 函数。

df.info()
#<class 'pandas.core.frame.DataFrame'> 
#RangeIndex: 5 entries, 0 to 4 
#Data columns (total 3 columns):  
##   Column  Non-Null Count  Dtype   
#---  ------  --------------  -----    
#0   name    5 non-null      object   
#1   age     5 non-null      int64    
#2   Salary  4 non-null      float64 
#dtypes: float64(1), int64(1), object(1) 
#memory usage: 248.0+ bytes

• 我们来看一看都有些什么信息：
• （1） <class ‘pandas.core.frame.DataFrame’> 表示数据类型为 DataFrame。
• （2） RangeIndex: 5 entries, 0 to 4 表示有 5 条数据（也就是 5 行），索引为 0-4。
• （3） Data columns (total 3 columns) 表示该数据帧有 3 列。
• （4）# 表示索引号，不用太在意。
• （5） column 表示每列数据的列名。
• （6） Non-Null count 表示每列数据的数据个数，缺失值 NaN 不作计算。可以看出上面 Salary 列数据有缺失值。
• （7） Dtype 表示数据的类型。
• （8） dtypes 表示float64(1), int64(1), object(1): 数据类型的统计。
• （9） memory usage 表示 248.0+ bytes: 该数据帧占用的运行内存（RAM）。

11. df. sort_index() 函数

• 默认根据行标签对所有行排序，或根据列标签对所有列排序，或根据指定某列或某几列对行排序。
• 其语法模板如下：

sort_index(axis=0, ascending=True, inplace=False)

• 其参数含义如下：
• axis：0 表示按照行名排序；1 表示按照列名排序。
• ascending：默认 True 升序排列；False 降序排列。
• inplace：默认 False，否则排序之后的数据直接替换原来的数据。
• 需要注意的是，df.sort_index() 可以完成和 df.sort_values() 完全相同的功能，但 python 更推荐用只用 df.sort_index() 对根据行标签和根据列标签排序，其他排序方式用 df.sort_values()。

df = pd.DataFrame({'b':[1,2,2,3],'a':[4,3,2,1],'c':[1,3,8,2]},index=[2,0,1,3])  
df 
#    b	a	c 
#2	1	4	1 
#0	2	3	3 
#1	2	2	8 
#3	3	1	2 

• 我们默认按行标签升序排序，或 df.sort_index(axis=0, ascending=True)。

df.sort_index()
#    b	a	c 
#0	2	3	3 
#1	2	2	8 
#2	1	4	1 
#3	3	1	2 

• 我们按列标签升序排序

df.sort_index(axis=1)
#   a	b	c 
#2	4	1	1 
#0	3	2	3 
#1	2	2	8 
#3	1	3	2 

12. df.sort_values() 函数

• 既可以根据列数据，也可根据行数据排序。
• 其语法模板如下：

DataFrame.sort_values(by, axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last')

• 其参数含义如下：
• by：str or list of str；如果 axis=0，那么 by=“列名”；如果 axis=1，那么 by=“行名”。
• axis：{0 or ‘index’, 1 or ‘columns’}，default 0，默认按照列排序，即纵向排序；如果为 1，则是横向排序。
• ascending：布尔型，True 则升序，如果 by=[‘列名1’,‘列名2’]，则该参数可以是 [True, False]，即第一字段升序，第二个降序。
• inplace：布尔型，是否用排序后的数据框替换现有的数据框。
• na_position：{‘first’, ‘last’}, default ‘last’，默认缺失值排在最后面。
• 需要注意的是，必须指定 by 参数，即必须指定哪几行或哪几列；无法根据 index 名和 columns 名排序（由.sort_index()执行）。
  ​- 我们先生成源数据。

df = pd.DataFrame({'b':[1,2,3,2],'a':[4,3,2,1],'c':[1,3,8,2]},index=[2,0,1,3]) 
df
#	b	a	c 
#2	1	4	1 
#0	2	3	3 
#1	3	2	8 
#3	2	1	2

• （1） 按 b 列升序排序。
• 等同于 df.sort_values(by=‘b’,axis=0)。

df.sort_values(by='b') 
print(df)
#	b	a	c 
#2	1	4	1 
#0	2	3	3 
#3	2	1	2 
#1	3	2	8

• （2） 先按 b 列降序，再按 a 列升序排序。
• 等同于 df.sort_values(by=[‘b’,‘a’],axis=0,ascending=[False,True])。

df.sort_values(by=['b','a'],ascending=[False,True]) 
print(df)
#   b	a	c 
#1	3	2	8 
#3	2	1	2 
#0	2	3	3 
#2	1	4	1

• （3） 按行 3 升序排列。

df.sort_values(by=3,axis=1)
print(df)
#	a	b	c 
#2	4	1	1 
#0	3	2	3 
#1	2	3	8 
#3	1	2	2

• （4） 按行 3 升序，行 0 降排列。

df.sort_values(by=[3,0],axis=1,ascending=[True,False])
print(df)
#	a	b	c 
#2	4	1	1 
#0	3	3	2 
#1	2	8	3 
#3	1	2	2

• 需要注意的是，指定多列（多行）排序时，先按排在前面的列（行）排序，如果内部有相同数据，再对相同数据内部用下一个列（行）排序，以此类推。
• 如果内部无重复数据，则后续排列不执行。即首先满足排在前面的参数的排序，再排后面参数。