大数据分析04 数据查询分析

构建数据源

• 引入pandas包
  数据map中ID为列，值为行，每一列中值个数要一致

import pandas as pd
data = {'ID': ['000001', '000002', '000003', '000004', '000005', '000006', '000007'],'name':['黎明', '赵怡春', '张富平', '白丽', '牛玉德', '姚华', '李南'], 'gender':[True, False, True, False, True, False, True], 'age':[16, 20, 18, 18, 17, 18, 16], 'height':[1.88, 1.78, 1.81, 1.86, 1.74, 1.75, 1.76]}frame = pd.DataFrame(data) 
frame    

print打印的不是二维表格 直接用frame显示更好看

• 读取文本文件数据

datau.txt内容格式

1|24|M|technician|85711
2|53|F|other|94043
3|23|M|writer|32067
4|24|M|technician|43537
5|33|F|other|15213
6|42|M|executive|98101

按分隔符读取内容

import pandas as pdunames = ['uid', 'age', 'gender', 'occupation', 'zip']
users = pd.read_table('datau.txt', sep='|', header=None, names=unames)users.head(5)

-读取CSV

frame1 = pd.read_csv("data.csv", encoding='GBK') # 将数据加载成DataFrame格式
frame1.head(5)

数据的选择

筛选行

• 选择一列并使用index更改行号

frame = pd.DataFrame(data, index=[6, 5, 4, 3, 2, 1, 0])
frame['name'] //frame.name

• 多列选择

frame[['name', 'age', 'gender']] 

• 指定数据行
  包含下届不包含上届

frame[2:4]

• 按索引
  要求准确的编号，包含下上下界

frame.loc[1] 

• 展示所有数据，筛选多列

fream.loc[:,["age","name"]]

• 根据序号获取

frame.iloc[1,3]

与loc的区别是：loc取的是绝对数值，值不存在的不展示，iloc从0开始的索引号

• 条件范围

frame[frame['age'] > 17]

与frame[frame[‘age’] ]>17做区别，前者返回年龄大于17的数据行，后者返回所有的数据行值是否大于17，是个bool值

• 多条件

frame[(frame['age'] > 17) & (frame['height'] == 1.80)]  

• 范围
  取一个离散范围,年龄在16-20之间

frame[frame['age'].isin([16, 20])]

• 列名修改

frame.rename(columns=["ID":"学号"])

• 截取字符

frame["name"].str[0:1]

• 格式化小数

frame.["height"].round(2)

• 自定义函数
  apply 用来执行函数，可以通过args传递参数

def xinbie(val):if val is True:return "男"else:return "女"
frame['gender'].apply(xinbie)

输出格式

• 直接打印

print(frame)

• 输出表格

frame

• 输出HTML

print(frame.to_html())

设置数据展示

• 设置展示最大行数None为所有

pd.set_option('display.max_rows',None)