【机器学习】第2章 线性回归及最大熵模型

一、概念

1.回归就是用一条曲线对数据点进行拟合，该曲线称为最佳拟合曲线，这个拟合过程称为回归。

2.一个自变量 叫 一元线性回归，大于一个自变量 叫 多元线性回归。  

（1）多元回归：两个x，一个y   

3.这里讲一下线性模型，在二维上就是那根线叫线性模型，他可以用作分类，也可以用作回归：

4. 公式：

（1）准确的说是求 右边的欧米伽和b（用最小二乘法 或者 梯度下降法 求解）。

（2）优化目标：让 【（预测值与真实值之间的欧式距离，下一章）之和】 最小。

预测值就是通过我们用方法推测出的一个点。

真实值就是实际存在的原来样本的一个点，或者说是预测出来本应该是这个点。

5.广义线性模型：

你可以把y替换成lny，原理就跟高中数学里面学的，两边同时取e，最后式子其实是没变化的，这里原理懂了秒懂，不懂得应该也不考无所谓。

6.对率回归 是分类学习算法。其衍生出来的逻辑回归虽然名字中有“回归”，但其主要用途是解决分类问题，特别是二分类问题。

7.梯度下降法简单来说就是一点点求要求的那条直线。

8.人为设置的，而非用来学习的参数，所以叫做超参数。

9.最大熵模型

现实中，不加约束的事物都会朝着“熵增”（不确定，混乱）的方向发展，

当随机变量呈均匀分布时，熵值最大。

最大熵模型就是认为在满足所有约束条件下，熵最大最好（即该情况下数据随机分布，此时最随机，最混乱）。

OK，上面的都不是重点，重点来了：

混淆矩阵

1.基础值缩写：

（1）TN（True negative，真阴率）:真0

（2）FN（False nagative，假阴率）：假0，即被预测错误的1

（3）TP（True positive，真阳率）：真1

（4）FP（False positive，假阳率）：假1，即被预测错误的0

2.准确率：表示预测正确的结果占总样本的百分比。

3.精确率（查准率）：表示在被预测为正的样本中实际为正的样本的概率。意思就是在预测为正样本的结果中，有多少把握可以预测正确，即不要求对的数量，只要求对的精度/正确率。

4.召回率（查全率）：表示在实际为正的样本中被预测为正样本的概率。即是不是所有的1全被找出来了，即要求预测对的数量，但是精度就不保证了。

5.PR曲线：以精确率P为纵坐标，以召回率R为横坐标做出的曲线（竖P横R）。

（1）置信度：（P,R）这样一个点就是置信度

（2）置信度阈值：就是设置一个y轴（P）的值，然后上面的是正例，下面的是负例（上正下负），就是画一条横着的线。

（3）图形：

6.ROC曲线：横轴是假阳率（FPR）  纵轴是真阳率（TPR）

（1）假阳率：

（2）真阳率，就是召回率R：

（3）图形：

（4）x越往右，则表示猜错的正例越来越多，y越往上，则表示猜对的正例越来越多，（1,1）表示此时预测样本全为正例。

二、习题    

单选题

7. 逻辑回归模型解决（ B）问题

A、回归    B、分类   C、聚类    D、推理

多选题

7. 混淆矩阵大多数评价指标的基础，以下哪些数据它主要包括的信息（ABCD ）

A、TN    B、TP   C、FP    D、FN

判断题

6. 逻辑回归是一种广义线性回归，通过回归对数几率的方式将线性回归应用于分类任务。（T）

7. 信息论中，熵可以度量随机变量的不确定性。现实世界中，不加约束的事物都会朝着“熵增”的方向发展，也就是向不确定性增加的方向发展。（ T）

8. 准确率可以判断总的正确率,在样本不平衡的情况下,也能作为很好的指标来衡量结果。（F）