（四）机器学习---逻辑回归及其Python实现

之前我们提到了常见的任务和算法，本篇我们使用逻辑回归来进行分类

分类问题	回归问题	聚类问题	各种复杂问题
决策树√	线性回归√	K-means√	神经网络√
逻辑回归√	岭回归	密度聚类	深度学习√
集成学习√	Lasso回归	谱聚类	条件随机场
贝叶斯		层次聚类	隐马尔可夫模型
支持向量机		高斯混合聚类	LDA主题模型

---

目录

一.分类问题

二.逻辑回归的基本原理

（1）逻辑回归

（2）逻辑回归模型的参数学习

（3）逻辑回归模型的决策边界

（4）应用案例：银行贷款审批

（5）小结 

三.基于Scikit-learn实现逻辑回归

（1）Python支持的逻辑回归实现

（2）逻辑回归应用案例实现

（3）用逻辑回归实现多元分类

（4）机器学习一般流程总结

 四.分类模型的性能评估

（1）平衡问题分类模型的性能评估

（2）非平衡问题分类模型的性能评估

（3）小结

---

一.分类问题

        分类是将样本划分到已知的目标类中。它从数据中学习一个分类决策函数或分类模型（也称为分类器classifier)，判断新的未知数据的类别。分类问题的目标不是连续值，而是有限个离散值，即类别。

        这时我们想知道，线性回归的方法可以解决我们的分类问题吗？

        但是如果点的分布更复杂，如右下角又多出一些点（图3），从图中看原来的分割线依然有效。但新的回归训练得到的分割线将如图4紫色线所示。已有的点有明显的分类错误，无法在现有训练集上得到好的线性分类函数。

  所以我们需要一个分类算法来处理这类问题，也就是我们的逻辑回归。

---

二.逻辑回归的基本原理

（1）逻辑回归

        逻辑回归是一种监督学习算法。通过对有标记的样本数据进行学习，获得一个二分类决策函数，用来预测未知数据的类别。

sigmoid函数可以将负无穷到正无穷的自变量的值得计算结果，映射到0到1的值。

所以说先线性回归再逻辑回归，最后再进行判断的决策。

（2）逻辑回归模型的参数学习

（3）逻辑回归模型的决策边界

而这里的b+w1x1+w2x2 = 0，就是可以看作进行逻辑学习后得到的决策边界。

（4）应用案例：银行贷款审批

（5）小结 

---

三.基于Scikit-learn实现逻辑回归

（1）Python支持的逻辑回归实现

（2）逻辑回归应用案例实现

（3）用逻辑回归实现多元分类

（4）机器学习一般流程总结

---

 四.分类模型的性能评估

（1）平衡问题分类模型的性能评估

接下来我们用代码来实现 ：

（2）非平衡问题分类模型的性能评估

（3）小结