Numpy第十章 统计相关

一.次序统计1.计算最小值numpy.amin函数功能返回数组或沿指定轴的最小值。函数numpy.amin(a[, axisNone, outNone, keepdimsnp._NoValue,alnp._NoValue, wherenp._NoValue])参数a输入数组。axis计算的轴方向默认为None计算整个数组的最小值。out可选输出数组。keepdims是否保持维度默认为False。initial初始值用于空数组。where条件过滤。例import numpy as np x np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]]) # 计算整个数组的最小值 y np.amin(x) print(y) # 输出11 # 沿 axis0列方向计算最小值 y np.amin(x, axis0) print(y) # 输出[11 12 13 14 15] # 沿 axis1行方向计算最小值 y np.amin(x, axis1) print(y) # 输出[11 16 21 26 31]2.计算最大值numpy.amax函数功能返回数组或沿指定轴的最大值。函数numpy.amax(a[, axisNone, outNone, keepdimsnp._NoValue, initialnp._NoValue, wherenp._NoValue])参数与amin相同。例# 计算整个数组的最大值 y np.amax(x) print(y) # 输出35 # 沿 axis0列方向计算最大值 y np.amax(x, axis0) print(y) # 输出[31 32 33 34 35] # 沿 axis1行方向计算最大值 y np.amax(x, axis1) print(y) # 输出[15 20 25 30 35]3.计算极差numpy.ptp函数功能返回沿指定轴的最大值与最小值的差值即极差Peak To Peak。函数numpy.ptp(a, axisNone, outNone, keepdimsnp._NoValue)参数a输入数组。axis计算的轴方向默认为None计算整个数组的极差。例# 计算整个数组的极差 print(np.ptp(x)) # 输出18 (35-11) # 沿 axis0列方向计算极差 print(np.ptp(x, axis0)) # 输出[20 20 20 20 20] (31-11, 32-12, ...) # 沿 axis1行方向计算极差 print(np.ptp(x, axis1)) # 输出[4 4 4 4 4] (15-11, 20-16, ...)4.计算分位数numpy.percentile函数功能计算沿指定轴的第 q 个百分位数。函数numpy.percentile(a, q, axisNone, outNone, overwrite_inputFalse, interpolationlinear, keepdimsFalse)参数a输入数组。q介于 0-100 的浮点数或数组表示百分位25 表示第 25 百分位50 表示中位数。axis计算的轴方向。interpolation插值方法默认为linear当分位数位置不是整数时使用线性插值。例np.random.seed(20200623) x np.random.randint(0, 20, size[4, 5]) print(x) # 输出示例 # [[10 2 1 1 16] # [18 11 10 14 10] # [11 1 9 18 8] # [16 2 0 15 16]] # 计算整个数组的第 25 和第 50 百分位中位数 print(np.percentile(x, [25, 50])) # 输出[ 2. 10.] # 沿 axis0列方向计算第 25 和第 50 百分位 print(np.percentile(x, [25, 50], axis0)) # 输出示例 #75 1.75 0.75 10.75 9.5 ] # [13.5 2. 5. 14.5 13. ]] # 沿 axis1行方向计算第 25 和第 50 百分位 print(np.percentile(x, [25, 50], axis1)) # 输出示例 # [[ 1. 10. ] # [ 2. 11. ] # [ 2. 9. ] # [ 2. 15. ]]5.总结amin/amax分别求最小值/最大值可沿指定。ptp求极差最大值 - 最小值可沿指定轴计算。percentile求分位数如中位数、四分位数支持多百分位和插值方法。用amin/amax快速获取数据范围。用percentile分析数据的分布如四分位数、中位数。用ptp了解数据的波动幅度。二.均值与方差1.计算中位数numpy.median函数函数numpy.median(a, axisNone, outNone, overwrite_inputFalse, keepdimsFalse)功能沿指定轴axis计算数组元素的中位数。中位数是将一组数据排序后位于中间位置的值若数据个数为偶数则取中间两个数的平均值。参数a: 输入数组。axis: 指定计算中位数的轴axisNone: 将数组展平后计算整体中位数。axis0: 沿列方向计算中位数对每一列求中位数。axis1: 沿行方向计算中位数对每一行求中位数。out: 可选输出数组。overwrite_input: 是否允许覆盖输入数组默认为False。keepdims: 是否保持维度默认为False。例import numpy as np np.random.seed(20200623) # 设置随机种子保证结果可复现 x np.random.randint(0, 20, size[4, 5]) # 生成 4行5列元素在 [0,20) 的随机整数 print(x) # 输出: # [[10 2 1 1 16] # [18 11 10 14 10] # [11 1 9 18 8] # [16 2 0 15 16]] # 1. 计算整体中位数axisNone print(np.percentile(x, 50)) # 50%分位数即中位数 print(np.median(x)) # 输出: 10.0 # 2. 沿列方向计算中位数axis0 print(np.percentile(x, 50, axis0)) print(np.median(x, axis0)) # 输出: [13.5 2. 5. 14.5 13.] # 3. 沿行方向计算中位数axis1 print(np.percentile(x, 50, axis1)) print(np.median(x, axis1)) # 输出: [ 2. 11. 9. 15.]中位数是“中间值”可通过np.percentile(x, 50)实现50%分位数。np.median(x)默认计算整体中位数指定axis可按行/列计算。2.计算平均值 numpy.mean()函数函数numpy.mean(a[, axisNone, dtypeNone, outNone, keepdimsnp._NoValue])功能沿指定轴计算数组元素的算术平均值总和除以元素个数。参数a: 输入数组。axis: 指定计算平均值的轴axisNone: 计算整体平均值。axis0: 沿列方向计算平均值对每一列求平均。axis1: 沿行方向计算平均值对每一行求平均。dtype: 输出数据类型可选。out: 可选输出数组。keepdims: 是否保持维度可选。例import numpy as np x np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]]) # 1. 计算整体平均值axisNone y np.mean(x) print(y) # 23.0 # 2. 沿列方向计算平均值axis0 y np.mean(x, axis0) print(y) # [21. 22. 23. 24. 25.] # 3. 沿行方向计算平均值axis1 y np.mean(x, axis1) print(y) # [13. 18. 23. 28. 33.]平均值 总和 / 元素个数。np.mean(x)默认计算整体平均值指定axis可按行/列计算。3. 计算加权平均值 numpy.average()函数函数numpy.average(a[, axisNone, weightsNone, returnedFalse])功能沿指定轴计算加权平均值各数值乘以相应权重后求和再除以权重总和。若不指定weights则等价于np.mean。参数a: 输入数组。axis: 指定计算加权平均值的轴。weights: 权重数组需与a形状兼容。returned: 是否返回权重总和可选。例import numpy as np x np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]]) # 1. 无权重等价于 np.mean y np.average(x) print(y) # 23.0 # 2. 沿列方向axis0 y np.average(x, axis0) print(y) # [21. 22. 23. 24. 25.] # 3. 沿行方向axis1 y np.average(x, axis1) print(y) # [13. 18. 23. 28. 33.] # 4. 带权重的示例weightsy y np.arange(1, 26).reshape([5, 5]) # 生成权重数组 z np.average(x, weightsy) # 整体加权平均 print(z) # 27.0 z np.average(x, axis0, weightsy) # 沿列加权平均 print(z) # [25.54545455 26.16666667 26.84615385 27.57142857 28.33333333] z np.average(x, axis1, weightsy) # 沿行加权平均 print(z) # [13.66666667 18.25 23.15384615 28.11111111 33.08695652]加权平均值 (数值 × 权重之和) / 权重总和。若不指定weightsnp.average与np.mean效果一致指定weights可实现加权计算。4.计算方差 numpy.var()函数函数numpy.var(a[, axisNone, dtypeNone, outNone, ddof0, keepdimsnp._NoValue])功能沿指定轴计算数组元素的方差衡量数据与均值的偏离程度。参数a: 输入数组。axis: 指定计算方差的轴。ddof: Delta Degrees of Freedom自由度ddof0默认分母为n总体方差。ddof1分母为n-1样本方差的无偏估计。keepdims: 是否保持维度可选。例import numpy as np x np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]]) # 1. 总体方差ddof0默认 y np.var(x) print(y) # 52.0 y np.mean((x - np.mean(x)) ** 2) # 手动验证(x-均值)^2 的平均值 print(y) # 52.0 # 2. 样本方差ddof1无偏估计 y np.var(x, ddof1) print(y) # 54.166666666666664 y np.sum((x - np.mean(x)) ** 2) / (x.size - 1) # 手动验证除以 n-1 print(y) # 54.166666666666664 # 3. 沿列方向计算方差ddof0 y np.var(x, axis0) print(y) # [50. 50. 50. 50. 50.] # 4. 沿行方向计算方差ddof0 y np.var(x, axis1) print(y) # [2. 2. 2. 2. 2.]方差 各数据与均值差的平方的平均值总体方差ddof0。样本方差无偏估计需除以n-1ddof1。np.var(x)默认计算总体方差指定axis可按行/列计算。5计算标准差 numpy.std()函数函数numpy.std(a[, axisNone, dtypeNone, outNone, ddof0, keepdimsnp._NoValue])功能沿指定轴计算数组元素的标准差方差的平方根衡量数据的离散程度。参数a: 输入数组。axis: 指定计算标准差的轴。ddof: 自由度同np.varddof0默认分母为n总体标准差。ddof1分母为n-1样本标准差的无偏估计。keepdims: 是否保持维度可选。例import numpy as np x np.array([[11, 12, 13, 14, 15], [16, 17, 18, 19, 20], [21, 22, 23, 24, 25], [26, 27, 28, 29, 30], [31, 32, 33, 34, 35]]) # 1. 总体标准差ddof0默认 y np.std(x) print(y) # 7.211102550927978 y np.sqrt(np.var(x)) # 手动验证方差的平方根 print(y) # 7.211102550927978 # 2. 沿列方向计算标准差ddof0 y np.std(x, axis0) print(y) # [7.07106781 7.07106781 7.07106781 7.07106781 7.07106781] # 3. 沿行方向计算标准差ddof0 y np.std(x, axis1) print(y) # [1.41421356 1.41421356 1.41421356 1.41421356 1.41421356]标准差 √方差。np.std(x)默认计算总体标准差指定axis可按行/列计算。三.相关1.计算协方差矩阵 (Covariance Matrix)核心概念协方差衡量的是两个变量如何一起变化。正值表示正相关负值表示负相关零表示没有线性关系。numpy.cov()函数语法np.cov(m, yNone, rowvarTrue, biasFalse, ddofNone, ...)解释m: 一维或二维数组。如果是一维则计算其方差。rowvarTrue: 默认将每一行视为一个变量即每行是一个特征列是观测值。如果是单个列表它会自动将其视为一个变量。biasFalse: 默认计算样本协方差分母为n - 1。如果设为True则分母为n总体协方差。例import numpy as np x [1, 2, 3, 4, 6] y [0, 2, 5, 6, 7] print(np.cov(x)) # 3.7 - x 的样本方差 print(np.cov(y)) # 8.5 - y 的样本方差 print(np.cov(x, y)) # [[3.7, 5.25], [5.25, 8.5]] - 协方差矩阵np.cov(x, y)返回一个 2x2 矩阵对角线元素[0,0]和[1,1]分别是 x 和 y 的方差。非对角线元素[0,1]和[1,0]是 x 和 y 的协方差对称矩阵。手动计算协方差# 样本协方差公式: cov(x,y) Σ((xi - x̄)(yi - ȳ)) / (n - 1) z np.sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1) print(z) # 5.25也可以用np.dot实现np.dot(x - np.mean(x), y - np.mean(y)) / (len(x) - 1)方差与协方差的关系np.var(x)默认计算总体方差分母 n结果是 2.96。np.var(x, ddof1)计算样本方差分母 n-1结果是 3.7与np.cov(x)相同。2.计算相关系数 (Correlation Coefficient)核心概念相关系数是标准化后的协方差取值范围在 [-1, 1] 之间消除了量纲的影响更直观地反映线性关系的强度。numpy.corrcoef()函数语法np.corrcoef(x, yNone, ...)解释返回 Pearson 相关系数矩阵。对角线是 1变量与自身的相关系数。非对角线是两个变量的相关系数。例np.random.seed(20200623) x, y np.random.randint(0, 20, size(2, 4)) # 生成两组随机数 z np.corrcoef(x, y) print(z) # [[1. 0.48510096] # [0.48510096 1. ]]相关系数约为 0.485表示 x 和 y 存在中等程度的正相关。手动计算相关系数相关系数公式r cov(x,y) / (std(x) * std(y))a np.dot(x - np.mean(x), y - np.mean(y)) # 协方差的分子部分 b np.sqrt(np.dot(x - np.mean(x), x - np.mean(x))) # x 的标准差 * sqrt(n-1) c np.sqrt(np.dot(y - np.mean(y), y - np.mean(y))) # y 的标准差 * sqrt(n-1) print(a / (b * c)) # 0.4851009629263671这个结果与np.corrcoef(x, y)[0,1]完全一致。3.直方图 / 分箱 (Histogram / Digitize)核心概念将数据按指定的区间bins进行分组确定每个数据点落在哪个区间内。numpy.digitize()函数语法np.digitize(x, bins, rightFalse)参数解释x: 输入数组需要被分箱的数据。bins: 一维数组必须是单调递增或递减的表示分箱的边界。right: 默认为False表示区间是左闭右开(bins[i-1], bins[i]]若为True则是左开右闭[bins[i-1], bins[i])。返回值每个元素在bins中的索引位置从 1 开始。例x np.array([0.2, 6.4, 3.0, 1.6]) bins np.array([0.0, 1.0, 2.5, 4.0, 10.0]) inds np.digitize(x, bins) print(inds) # [1 4 3 2]0.2落在(0.0, 1.0]→ 索引 16.4落在(4.0, 10.0]→ 索引 43.0落在(2.5, 4.0]→ 索引 31.6落在(1.0, 2.5]→ 索引 2循环验证for n in range(x.size): print(bins[inds[n] - 1], , x[n], , bins[inds[n]]) # 0.0 0.2 1.0 # 4.0 6.4 10.0 # 2.5 3.0 4.0 # 1.0 1.6 2.5rightTrue的情况x np.array([1.2, 10.0, 12.4, 15.5, 20.0]) bins np.array([0, 5, 10, 15, 20]) inds np.digitize(x, bins, rightTrue) print(inds) # [1 2 3 4 4] inds np.digitize(x, bins, rightFalse) print(inds) # [1 3 3 4 5]当rightTrue时10.0会被归入[10, 15)索引为 2。当rightFalse时10.0会被归入(5, 10]索引为 3。4.总结协方差衡量两个变量共同变化的程度和方向受量纲影响。相关系数标准化后的协方差范围 [-1, 1]便于比较不同变量间的线性关系。分箱digitize将数据按指定区间归类是绘制直方图或进行数据离散化的基础。