机器学习day01（机器学习概述 + KNN算法）

机器学习_算法分类有监督学习有监督 有特征、有标签。有监督又被分为分类问题 和 回归问题。分类问题目标值标签值是不连续的分类种类二分类、多分类回归问题目标值标签值是连续的无监督学习训练数据有特征无标签根据样本间的相似性对样本集进行聚类发现事务内部结构及相互关系半监督学习半监督 有特征部分有标签、部分没标签。让专家标注少量数据利用已经标记的数据也就是带有类标签训练出一个模型在利用改模型去套用未标记的数据通过询问领域专家分类结果与模型分类结果做对比从而对模型做进一步改善和提高。半监督学习可大幅度降低成本。专家标记成本强化学习强化学习 寻找最短路径最优解以便获取最多的奖励。强化学习机器学习的一个重要分支应用场景里程碑AlphaGo、各类游戏、对抗比赛、无人驾驶场景四要素Agent、环境、奖励、动作总结机器学习建模流程机器学习建模的一般步骤获取数据搜集与完成机器学习任务相关的 数据集数据基本处理数据集中异常值缺失值的处理等特征工程对数据特征进行提取、转成向量让模型达到最好的效果机器学习模型训练选择合适的算法对模型进行训练根据不同的任务来选中不同的算法有监督学习、无监督学习半监督学习强化学习模型评估评估效果好上线服务评估效果不好则重复上述步骤特征工程特征工程概念特征工程利用专业背景知识和技巧处理数据让机器学习算法效果最好。这个过程就是特征工程。数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限而已。特征提取原始数据中提取与任务相关的特征构成特征向量。特征预处理特征对模型产生影响因量纲单位问题有些特征对模型影响较大、有些影响小特征降维对原始数据的维度降低叫做特征降维一般会对原始数据产生影响特征选择原始数据特征很多与任务相关是其中一个特征集合子集不会改变原始数据特征组合把多个的 特征合并成一个特征。利用乘法或加法来完成模型拟合问题拟合模型在训练集和测试集上表现情况欠拟合概念模型在训练集、测试集表现都不好产生原因模型过于简单过拟合概念模型在训练集表现好在测试集表现不好产生原因模型太过于复杂、数据不纯、训练数据太少泛化概念模型在新数据集非训练数据上的表现好坏的能力。奥卡姆剃刀原则给定两个具有相同泛化误差的模型较简单的模型比较复杂的模型更可取。机器学习开发环境pip install scikit-learnKNN算法KNN算法简介K-近邻算法K Nearest Neighbor简称KNN。比如根据你的邻居推断出你的类别KNN算法是想如果一个样本在特征空间中的K个最相似的样本中的大多数属于一个类别则该样本也属于这个类别。怎么去计算是否相似呢可以用欧氏距离。欧氏距离 对应维度差值平方和开平方根。当然后面还有其他的方法K值的选择K值过小用较小邻域中的训练实例进行预测容易受到异常点的影响K值的减少就意味着整体模型变得复杂容易发生过拟合。K值过大用较大邻域中的训练实例进行预测受到样本均衡的问题且K值的增加就意味着整体的模型变得简单欠拟合。思路分析KNN解决问题分类问题、回归问题分类问题和回归问题的相同点二者都属于有监督学习有特征、有标签分类问题和回归问题的不同点标签不连续是分类问题标签连续是回归问题不连续的标签虽然可以用数字表示如 0,1,2但数字之间的算术运算加、减、乘、除、求平均没有实际意义所以需要特殊处理——这就是分类问题。连续的标签数字本身就有量纲和物理意义算术运算结果仍然是同类量所以可以直接用数学函数拟合——这就是回归问题。分类是投票回归是均值。算法思想若一个样本在特征空间中的K个最相似的样本大多数属于某一个类别则该样本也属于这个类别。相似性欧氏距离KNN算法API介绍分类实现# KNN算法分类思路 KNN算法介绍(K Nearest Neighbors), K近邻算法 原理 基于 欧氏距离或者其它的距离计算方式计算 测试集 和 每个训练集之间的距离然后根据距离升序排列找到最近的K个样本 基于K个样本投票票数最多的就作为最终的预测结果 --- 分类问题 基于K个样本计算平均值作为最终预测结果 --- 回归问题 实现思路 1.分类问题 适用于有特征有标签且标签是不连续的(离散的) 2.回归问题。 适用于有特征有标签且标签是连续的。 KNN算法分类问题思路如下 1.计算测试集和每个训练的样本之间的距离。 2.基于距离进行升序排列。 3.找到最近的K个样本. 4.K个样本进行投票。 5.票数多的结果作为最终的预测结果。 代码实现思路 1.导包 2.准备数据集测试集 和 训练集 3.创建KNN分类模型对象 4.模型训练 5.模型预测 # 导包 from sklearn.neighbors import KNeighborsClassifier # 准备数据集测试集 和 预测集 x_train [ [0], [1], [2], [3] ] # 特征 因为特征可以有多个特征所以是一个二维数组 y_train [ 0, 0, 1, 1 ] # 训练集的标签 因为标签是离散的所以是一个一维数组 x_test [ [5] ] # 测试集的特征数据 # 创建KNN分类模型对象 estimator KNeighborsClassifier(n_neighbors2) # 也即是 K # 模型训练 estimator.fit(x_train, y_train) # 拟合 # 模型预测 y_predict estimator.predict(x_test) # 打印预测结果 print(y_predict)回归实现# 回归代码实现 KNN算法介绍(K Nearest Neighbors), K近邻算法 原理 基于 欧氏距离或者其它的距离计算方式计算 测试集 和 每个训练集之间的距离然后根据距离升序排列找到最近的K个样本 基于K个样本投票票数最多的就作为最终的预测结果 --- 分类问题 基于K个样本计算平均值作为最终预测结果 --- 回归问题 实现思路 1.分类问题 适用于有特征有标签且标签是不连续的(离散的) 2.回归问题。 适用于有特征有标签且标签是连续的。 KNN算法回归问题思路如下 1.计算测试集和每个训练的样本之间的距离。 2.基于距离进行升序排列。 3.找到最近的K个样本. 4.基于K个样本的标签值计算平均值 5.将上述计算出来的平均值作为最终的预测结果。 代码实现思路 1.导包 2.准备数据集测试集 和 训练集 3.创建KNN分类模型对象 4.模型训练 5.模型预测 # 导包 from sklearn.neighbors import KNeighborsRegressor # 这个表示的是分类 # 训练集的特征数据 x_train [ [0, 0 ,1], [1, 1, 0], [3, 10, 10], [4, 11, 12] ] # 训练集的标签数据 y_train [ 0.1, 0.2, 0.3, 0.4 ] # 测试集的特征数据 x_test [ [3, 11, 10] ] # 创建KNN分类模型对象 estimator KNeighborsRegressor(n_neighbors2) # 模型训练 estimator.fit(x_train, y_train) # 模型预测 y_predict estimator.predict(x_test) # 打印预测结果 print(y_predict) # [0.35]距离度量欧氏距离的计算方法欧氏距离 对应维度差值平方和开平方根曼哈顿距离的计算方法曼哈顿距离城市街区距离 对应维度差值的绝对值求和切比雪夫距离的计算方法切比雪夫距离 对应维度值差值的绝对值求最大值。闵可夫斯基距离的计算方法不是一种新的距离的度量方式是对多个距离度量公式的概括性的表述总结。特征预处理为什么要做归一化和标准化特征的单位或者大小相差太大或者某个特征的方差相比其他的特征要大出几个数量级容易影响支配目标结果使得一些模型算法无法学习到其他的特征。归一化通过对原始数据进行变化把数据映射到 [min, max]默认为 [0, 1] 之间弊端容易受到 最大值 和 最小值 的影响所以它一般用于处理小数据集。API# 数据归一化API # 导包 from sklearn.preprocessing import MinMaxScaler # 准备数据集归一化之前的原数据 x_train [ [90, 2, 10, 40], [60, 4, 15, 45], [75, 3, 13, 46] ] # 创建归一化对象 scaler MinMaxScaler() # 对原数据集进行归一化操作 x_train_new scaler.fit_transform(x_train) # 输出归一化后的数据 print(x_train_new)标准化通过对原始数据进行标准化转换为均值为0标准差为1的标准正态分布的数据。适用于大数据集的处理。API# 数据标准化API # 导包 from sklearn.preprocessing import StandardScaler # 标准化对象 # 准备数据 x_train [ [90, 2, 10, 40], [60, 4, 15, 45], [75, 3, 13, 46] ] # 创建数据标准化对象 standard StandardScaler() # 标准化 # 对原始特征进行变换 x_new_train standard.fit_transform(x_train) # 打印标准化后的结果 print(x_new_train)