NumPy 应用实例：用户行为数据分析（归一化和标准化处理）

在用户行为分析中常常需要同时处理多个特征例如访问次数、消费金额、停留时长、收藏数量等。这些特征虽然都能反映用户活跃程度或消费倾向但它们的单位、量纲和取值范围通常并不一致。如果直接将原始数据用于综合评分或相似度计算数值较大的特征往往会对结果产生过强影响从而削弱分析的合理性。因此在正式分析之前通常需要先进行特征缩放。最常见的两种处理方法就是归一化与标准化。前者通常用于将数据压缩到统一范围便于综合评分后者则更适合用于距离计算和相似性分析。本实例以一组电商平台用户行为数据为例使用 NumPy 完成以下任务对用户特征进行归一化和标准化处理在此基础上计算用户评分并通过距离计算找出最相近的用户。一、理论基础1、特征缩放的意义在多特征数据分析中不同特征往往具有不同的数值尺度。例如月消费金额可能是数千元而收藏商品数可能只有十几个。如果不先统一尺度后续的加权评分、距离度量等计算就容易被大数值特征“主导”。特征缩放的主要目的有三点• 消除不同特征之间的量纲差异• 避免大范围特征对结果产生不成比例的影响• 使不同特征能够在同一尺度下共同参与分析2、归一化归一化通常指最小—最大归一化即将某一特征的全部取值线性压缩到 [0, 1] 区间。公式为其中• x 表示原始值• x_min 表示该特征的最小值• x_max 表示该特征的最大值• x 表示归一化后的结果归一化后的数据具有两个明显特点• 所有值都落在同一固定区间内• 仍然保留原始数据的大小规律因此它非常适合用于综合评分、加权比较等场景。延伸阅读《AI 术语通俗词典归一化》3、标准化标准化通常指 Z-score 标准化即把每个特征转换为“相对于均值偏离多少个标准差”的形式。公式为其中• x 表示原始值• μ 表示该特征的均值• σ 表示该特征的标准差• z 表示标准化后的结果标准化后的数据不一定落在固定区间内但其各列通常具有“均值为 0、标准差为 1”的性质。它更适合用于距离计算、聚类分析、近邻查找等任务因为它能较好地消除不同特征尺度差异对距离度量的干扰。延伸阅读《AI 术语通俗词典标准化》4、两种方法的使用区别归一化与标准化都属于特征缩放技术但适用重点不同• 当任务强调“统一评分尺度”时通常使用归一化• 当任务强调“比较样本之间的差异程度”时通常使用标准化本实例中用户评分采用归一化数据而用户距离计算采用标准化数据这也是该类任务中较常见的处理方式。二、任务分析1、原始数据与分析目标现有 5 位用户的行为数据每位用户包含 4 个特征月访问次数、月消费金额、平均停留时长和收藏商品数。数据如下用户月访问次数月消费金额元平均停留时长分钟收藏商品数A2515008.512B835003.25C4280015.028D1552005.88E35220011.318根据要求需要完成三项任务1对每个特征进行归一化与标准化2在权重为 [0.3, 0.4, 0.2, 0.1] 的条件下计算用户评分3计算用户之间的距离并找出最相近的用户2、数据组织方式在 NumPy 中这类数据最适合表示为二维数组• 每一行表示一个用户• 每一列表示一个行为特征因此本实例的数据矩阵形状为 (5, 4)即 5 个用户、4 个特征。后续所有按特征进行的统计如最小值、最大值、均值、标准差都应按列计算。在 NumPy 中这通常通过 axis0 实现。3、本实例涉及的 NumPy 知识点本例虽然是一个综合应用题但所用的 NumPy 知识点并不复杂主要包括以下几类。1数组创建使用 np.array() 将原始用户行为数据组织成二维数组便于后续统一运算。2按列统计为了进行归一化与标准化需要先得到每一列特征的统计量np.min(data, axis0)求每列最小值np.max(data, axis0)求每列最大值np.mean(data, axis0)求每列均值np.std(data, axis0)求每列标准差这些结果本身都是长度为 4 的一维数组分别对应 4 个特征。3广播机制归一化与标准化都不是逐个元素手工计算而是直接利用 NumPy 的广播机制完成整列运算。例如(data - min_vals) / (max_vals - min_vals)这里 data 是二维数组min_vals 和 max_vals 是一维数组。NumPy 会自动将一维数组沿行方向扩展使每一列与对应统计量进行匹配运算。4点积计算综合评分用户评分本质上是“特征向量 × 权重向量”的加权求和因此可以使用np.dot(normalized_data, weights)若 normalized_data 的形状为 (5, 4)weights 的形状为 (4,)则结果是长度为 5 的一维数组对应每位用户的综合评分。5距离计算用户之间的相似程度可通过欧氏距离衡量。欧氏距离公式为在代码中可先计算两个用户标准化向量的差再平方、求和、开平方。延伸阅读《AI 术语通俗词典欧氏距离》6排序找近邻要找出某个用户最相近的两个用户可对该用户与所有用户的距离进行排序。这里会用到np.argsort(distances)它返回的是“按距离从小到大排序后的下标”。由于每个用户与自身的距离一定为 0因此排序后的第一个下标就是当前用户自己需要从后面的结果中取最近邻。延伸阅读《NumPy 函数手册排序与搜索》4、处理流程设计本实例可以按以下顺序完成1构造原始用户行为数据数组2分别计算归一化数据和标准化数据3使用归一化数据进行加权评分4使用标准化数据计算用户距离矩阵5根据距离矩阵找出每个用户的最近邻并进一步找出全局最相近的用户对。这一流程体现了一个比较完整的数据分析基本框架数据准备 → 特征预处理 → 指标计算 → 相似性分析三、示例代码import numpy as np # # 1. 创建原始数据# 每一行表示一个用户# 每一列依次表示# [月访问次数, 月消费金额, 平均停留时长, 收藏商品数]# 使用 dtypefloat便于后续归一化和标准化时得到浮点结果# data np.array([ [25, 1500, 8.5, 12], # 用户A [8, 3500, 3.2, 5], # 用户B [42, 800, 15.0, 28], # 用户C [15, 5200, 5.8, 8], # 用户D [35, 2200, 11.3, 18] # 用户E], dtypefloat) # 保存用户名称便于输出结果时显示users np.array([A, B, C, D, E]) # # 2. 归一化Min-Max Scaling# 公式# x (x - x_min) / (x_max - x_min)## axis0 表示按列统计# - min_vals 得到每个特征的最小值# - max_vals 得到每个特征的最大值# 结果均是一维数组长度等于特征数# min_vals np.min(data, axis0)max_vals np.max(data, axis0) # 利用广播机制让每一列分别减去该列最小值再除以该列的取值范围normalized_data (data - min_vals) / (max_vals - min_vals) print(归一化后的数据)print(normalized_data) # # 3. 标准化Z-score Standardization# 公式# z (x - μ) / σ## mean_vals每列均值# std_vals 每列标准差# 标准化后各列数据以 0 为中心更适合做距离计算# mean_vals np.mean(data, axis0)std_vals np.std(data, axis0) # 同样利用广播机制对每一列完成标准化standardized_data (data - mean_vals) / std_vals print(\n标准化后的数据)print(standardized_data) # # 4. 计算用户综合评分# 题目给定权重# [0.3, 0.4, 0.2, 0.1]## 评分使用归一化后的数据原因是# 各特征已经被统一压缩到 [0, 1] 区间# 此时权重才能更合理地体现各指标的重要程度# weights np.array([0.3, 0.4, 0.2, 0.1]) # np.dot(normalized_data, weights) 的含义# 每个用户的一行特征与权重向量做点积得到该用户的总评分user_scores np.dot(normalized_data, weights) print(\n用户评分)for user, score in zip(users, user_scores): print(f用户{user}{score:.4f}) # # 5. 计算用户之间的欧氏距离# 欧氏距离公式# d(x, y) sqrt(sum((x_i - y_i)^2))## 这里使用标准化后的数据而不是归一化后的数据# 是因为距离计算更关注“偏离平均水平的程度”# 标准化通常更适合用于相似性分析# n_users data.shape[0] # 创建一个 n_users × n_users 的零矩阵用来保存距离结果dist_matrix np.zeros((n_users, n_users)) # 只计算上三角区域j i避免重复计算for i in range(n_users): for j in range(i 1, n_users): # standardized_data[i] 和 standardized_data[j] # 分别表示第 i 个用户和第 j 个用户的标准化特征向量 diff standardized_data[i] - standardized_data[j] # 向量差 sq_diff diff ** 2 # 各维度差值平方 distance np.sqrt(np.sum(sq_diff)) # 平方和开根号得到欧氏距离 # 距离矩阵关于主对角线对称 dist_matrix[i, j] distance dist_matrix[j, i] distance print(\n用户距离矩阵)print(dist_matrix) # # 6. 找出每个用户最相近的 2 个用户# np.argsort(distances) 返回按距离从小到大排序后的下标# 由于距离矩阵主对角线上的元素表示用户与自身的距离恒为 0# 因此排序后的第一个下标就是当前用户自己# 取 [1:3] 即可得到距离最近的两个其他用户# print(\n每个用户最相近的 2 个用户)for i in range(n_users): distances dist_matrix[i] neighbor_indices np.argsort(distances)[1:3] nearest_users users[neighbor_indices] print(f用户{users[i]} 最相近的 2 个用户{nearest_users[0]}、{nearest_users[1]}) # # 7. 找出全局最相近的两个用户# 即在所有不同用户对中寻找欧氏距离最小的一对# min_distance float(inf)closest_pair None for i in range(n_users): for j in range(i 1, n_users): if dist_matrix[i, j] min_distance: min_distance dist_matrix[i, j] closest_pair (users[i], users[j]) print(f\n全局最相近的两个用户{closest_pair[0]} 和 {closest_pair[1]})print(f它们的距离为{min_distance:.4f})四、结果解读1、归一化结果的意义归一化后每个特征都被压缩到 [0, 1] 区间。值越接近 1表示该用户在该特征上越接近整体最大水平值越接近 0则说明越接近整体最小水平。因此归一化结果适合用于“谁更高、谁更低”的统一比较也适合做加权评分。2、标准化结果的意义标准化后的结果不再表示“绝对大小”而表示“偏离平均水平的程度”。• 正值表示高于平均水平• 负值表示低于平均水平• 绝对值越大偏离程度越明显。因此它更适合用于比较用户行为模式之间的差异。3、用户评分的意义本实例给定的权重为[0.3, 0.4, 0.2, 0.1]表示四个特征的重要程度分别为月访问次数0.3月消费金额0.4平均停留时长0.2收藏商品数0.1由于“月消费金额”的权重最高因此它对最终评分的影响最大。评分越高说明该用户在综合行为表现上越强。4、距离矩阵的意义距离矩阵中的每个元素表示两个用户之间的差异程度。距离越小说明两位用户越相似距离越大说明二者的行为模式差异越明显。主对角线上的值恒为 0因为任意用户与自身的距离总是 0。 小结归一化和标准化都是常用的特征缩放方法。前者适合综合评分后者更适合距离计算与相似性分析。本实例借助 NumPy 的数组、按列统计、广播、点积与排序等操作完成了用户行为数据的预处理、评分与近邻查找体现了 NumPy 在数据分析中的基础应用。“点赞有美意赞赏是鼓励”