26 Python 分类：一棵树不够稳，那就很多棵树一起判断？一文入门随机森林

Python 数据分析入门一棵树不够稳那就很多棵树一起判断一文入门随机森林适合人群Python 初学者 / 数据分析入门 / 机器学习入门 / 教学案例分享前一篇文章里我们已经认识了组合分类知道了一个很重要的思路如果单个模型不够稳可以考虑让多个模型一起判断。顺着这个思路最自然会遇到的一个方法就是随机森林Random Forest这个名字听起来其实已经很形象了。决策树是一棵树随机森林就是很多棵树最后不是一棵树单独说了算而是很多棵树一起做判断所以如果用一句非常通俗的话来理解随机森林就是一棵树可能会看偏那就让很多棵树一起投票。随机森林是组合分类里非常经典的一类方法它本质上属于集成学习方法。它通过构造多棵决策树并把这些树的结果组合起来往往能得到比单棵树更稳定的分类效果。这一篇文章还是继续沿用“学生能否通过技能考核预测”这个案例带你把随机森林的基础逻辑理顺什么是随机森林它和单棵决策树是什么关系为什么很多棵树一起判断会更稳“随机”到底随机在哪随机森林为什么常常比单棵树效果更稳如何用 Python 训练一个简单的随机森林模型一、先从一个很自然的问题开始为什么一棵树不一定够稳前面讲决策树的时候我们已经知道决策树的优点很明显直观容易解释很像流程图规则清晰但它也有一个很现实的问题单棵树有时候会比较容易受训练数据影响。比如当前数据里刚好有一些特殊样本某几个异常点影响了分裂方向某一层选属性时刚好做了一个不太稳的判断这时候就可能出现一种情况这棵树在训练集上看起来不错换一批数据效果却开始波动前面提到过树太复杂时还容易过拟合需要剪枝来控制复杂度。那接下来就有一个非常自然的想法如果一棵树容易受样本影响那能不能不要只依赖一棵树这就是随机森林背后的核心出发点。二、什么是随机森林随机森林从名字上就很好理解森林说明不是一棵树而是很多棵树随机说明这些树不是完全一样地长出来的所以随机森林可以先粗略理解成由很多棵决策树组成的分类模型。这些树不是只摆在那里它们会分别对同一个样本做判断最后再把这些判断综合起来得到最终结果。也就是说随机森林并不是“多棵树各干各的”而是多棵树共同完成一个分类任务。这也正符合前一篇讲过的组合分类思想组合分类器是由多个分类器组合而成的复合模型而且组合分类器往往比它的成员分类器更准确。所以从本质上看随机森林就是“决策树 组合分类”结合后的典型方法。三、为什么叫“森林”先用一个通俗例子理解还是拿“学生能否通过技能考核”这个案例来理解。假设现在学校要判断一个新学生是否能通过技能考核。如果只用一棵决策树可以理解成只有一个“老师”在做判断这个老师会按自己的树状规则一步步判断最后得出结论那随机森林可以怎么理解就是不是一个老师判断而是很多个“老师”各自判断最后大家一起投票决定这个学生更可能“通过”还是“未通过”这样做有什么好处很明显某一个老师如果刚好判断偏了不一定会影响最终结果多个老师综合后偶然性通常会更小最终结果往往比单独依赖一个老师更稳所以从最直观的角度看随机森林其实就是让很多棵树一起做决定而不是只相信一棵树。四、随机森林里的“随机”到底随机在哪这是很多初学者一开始最容易疑惑的地方。既然叫“随机森林”那它到底随机在哪里这里的“随机”主要体现在两个方面。1样本随机每棵树看到的数据不完全一样随机森林在训练每一棵树时不是简单地把同一份训练集原封不动地交给每棵树而是会从训练样本中进行有放回抽样为每棵树生成自己的训练集。这个过程可以理解成原始训练集有一批学生数据训练第1棵树时随机抽一批样本出来训练第2棵树时再随机抽一批训练第3棵树时再抽一批因为是有放回抽样所以有些样本可能会被重复抽到有些样本可能在某棵树里没有被抽到这就意味着每棵树看到的训练数据不是完全一样的。而这一步的意义就在于让不同的树学到的东西不完全一致。2特征随机每次分裂时不看全部特征除了样本随机随机森林还有第二个“随机”每棵树在每个结点划分时不是从全部特征里选而是先随机选一部分特征再从这部分特征里找最优划分。这一点非常关键。还是用“学生是否通过技能考核”的案例来理解。假设当前有这些特征平时成绩实训成绩出勤率是否参加培训如果是普通决策树每次分裂时可能会把这几个特征全部拿来比较然后选当前最优的那个。但在随机森林里不是每次都看全部特征而是先随机抽一部分特征出来然后只在这一部分里选最优划分这样做的结果是什么就是不同树在分裂时思路不会完全一样。有的树可能更重视“实训成绩”有的树可能更关注“出勤率”还有的树可能会在不同层次里走出不同结构。所以随机森林的“随机”本质上就是让每棵树都带一点差异。五、为什么随机森林往往比单棵树更稳这个问题其实是整篇文章的核心。可以先直接说结论随机森林往往比单棵决策树更稳是因为它把很多棵有差异的树组合起来了。为什么这样会更稳可以从几个角度看。1单棵树容易“长偏”决策树本身很容易受样本细节影响。训练数据稍微变一下树的结构就可能变化很大。这也是为什么单棵树常常不够稳定。2很多棵树一起判断可以降低偶然性如果不是只依赖一棵树而是让很多棵树分别判断再综合结果那单棵树的偶然偏差就不容易被放大。也就是说某一棵树判断偏了不代表整个森林都会跟着偏这和前面讲组合分类时的思想是完全一致的多个模型综合后整体通常会更稳定。3样本随机 特征随机让树之间形成差异如果很多棵树全都长得一模一样那组合起来意义其实不大。随机森林之所以有效一个关键原因就是每棵树训练数据不完全一样每次分裂时可选特征也不完全一样所以它们学到的结构不会完全一致。正因为这些差异存在组合后才更容易形成互补。六、随机森林和单棵决策树到底有什么区别这个地方最好直接对比着看。单棵决策树只有一棵树判断过程清晰很容易解释但有时容易受样本影响稳定性一般随机森林有很多棵树每棵树都带一点随机性最后综合很多棵树的结果通常比单棵树更稳定但可解释性没有单棵树那么强所以如果用一句话总结两者区别可以直接写成单棵决策树强调“规则清晰、容易解释”随机森林强调“多树组合、结果更稳”。七、随机森林的基本流程可以怎么理解把前面讲的内容串起来随机森林的大致流程就很清楚了。第一步从原始训练集里随机抽样用有放回抽样的方式为每棵树生成自己的训练样本。第二步训练很多棵决策树每棵树在训练时每个结点分裂时不看全部特征而是从随机抽取的一部分特征中选最优分裂第三步让每棵树分别做判断新样本来了以后每棵树都会给出自己的分类结果。第四步综合所有树的结果最后把这些树的结果组合起来给出最终判断。所以它的整体思路可以概括成一句话先让很多棵不完全一样的树分别判断再综合大家的结果。八、Python 实操之前先说一下用的数据是什么下面代码里用到的是sklearn自带的鸢尾花数据集Iris。这个数据集是机器学习入门中非常经典的一个分类数据集一共包含150 个样本4 个数值特征3 个类别4 个特征分别是花萼长度花萼宽度花瓣长度花瓣宽度模型要做的事情就是根据这 4 个特征判断这朵花属于哪一种鸢尾花。所以这本质上是一个三分类问题。虽然这个例子不是“学生能否通过技能考核”的业务数据但它非常适合用来演示随机森林的基本用法。九、Python 实操训练一个简单的随机森林分类器下面直接用RandomForestClassifier来训练一个简单的随机森林模型。fromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.ensembleimportRandomForestClassifier# 1. 加载鸢尾花数据集irisload_iris()Xiris.data yiris.target# 2. 划分训练集和测试集X_train,X_test,y_train,y_testtrain_test_split(X,y,test_size0.2,random_state42)# 3. 构建随机森林模型rfRandomForestClassifier(n_estimators100,random_state42)# 4. 训练模型rf.fit(X_train,y_train)# 5. 查看模型效果print(测试准确率,rf.score(X_test,y_test))十、这段代码到底在做什么这段代码其实很适合用来把前面的概念落地。第一步加载数据这里加载的是鸢尾花数据集。X是特征y是类别标签。第二步划分训练集和测试集模型不会直接拿全部数据来训练而是一部分用来训练一部分用来测试效果这样可以更客观地看模型对新数据的表现。第三步创建随机森林模型这里最关键的一行是rfRandomForestClassifier(n_estimators100,random_state42)这里的n_estimators100表示这片“森林”里一共有 100 棵树。也就是说模型不是只训练一棵树而是训练 100 棵树一起判断。第四步训练模型fit()的作用就是让随机森林在训练集上学习。第五步输出准确率score()会返回模型在测试集上的准确率用来衡量分类效果。十一、随机森林是不是树越多越好这个问题也很容易想到。看到n_estimators100很多人会马上问是不是树越多越好答案是不一定。树变多很多时候确实会让结果更稳一些但也会带来训练时间更长计算成本更高提升可能越来越小也就是说树的数量不是越多越神奇而是要在效果和成本之间找平衡。所以随机森林和前面讲过的组合分类一样关键不在“越多越好”而在于在合理范围内通过多棵树的组合提升稳定性。十二、这一篇最该记住什么学完这一篇建议至少记住下面几个关键点。1什么是随机森林随机森林是由很多棵决策树组成的组合分类方法。2它为什么叫“随机”因为它的随机性主要来自两个方面对训练样本进行有放回抽样每次结点分裂时只从随机选取的一部分特征中找最优划分3它为什么往往更稳因为它不是只依赖一棵树而是通过多棵有差异的树共同判断降低单棵树的偶然偏差。4它和单棵决策树的区别是什么单棵树更容易解释随机森林通常更稳定5代码里n_estimators是什么表示森林里树的数量。十三、结尾总结这一篇文章核心其实就是在回答一个问题如果一棵决策树不够稳怎么办答案就是那就不要只相信一棵树而是让很多棵树一起判断。顺着这个问题可以把随机森林的思路理解得非常自然它属于组合分类方法本质上是很多棵决策树的组合每棵树都有一定随机性最后通过组合结果提高整体稳定性和分类效果如果说前面学习单棵决策树的时候我们更关注的是这棵树怎么分规则怎么解释那么到了随机森林关注点就变成了为什么很多棵树一起判断会更稳多树组合如何降低单棵树的偏差这一步想明白了后面再学模型评估与选择就会顺很多。因为到那时问题就不再只是“会不会用模型”而是到底哪个模型更适合当前任务。十四、课后思考可以试着回答下面几个问题为什么单棵决策树有时不够稳定随机森林里的“随机”主要体现在哪两个方面为什么很多棵树一起判断往往会比一棵树更稳随机森林和单棵决策树最大的区别是什么n_estimators这个参数表示什么如果这些问题你都能比较顺畅地说清楚那随机森林这一部分就已经真正入门了。写在最后随机森林之所以常被用在实际任务里一个很重要的原因就是它把决策树“容易理解”的优点保留了一部分又通过多树组合弥补了单棵树不够稳的问题。所以如果你已经学过决策树再来看随机森林其实会有一种很自然的感觉原来森林不过就是很多棵树一起做更稳的判断。