11.15 机器学习-集成学习方法-随机森林

# 机器学习中有一种大类叫**集成学习**（Ensemble Learning），集成学习的基本思想就是将多个分类器组合，从而实现一个预测效果更好的集成分类器。集成算法可以说从一方面验证了中国的一句老话：

# 三个臭皮匠，赛过诸葛亮。集成算法大致可以分为：Bagging，Boosting 和 Stacking 三大类型。

# （1）每次有放回地从训练集中取出 n 个训练样本，组成新的训练集；

# （2）利用新的训练集，训练得到M个子模型；

# （3）对于分类问题，采用投票的方法，得票最多子模型的分类类别为最终的类别；

# 就是把多个分类器组合起来用 每个分类器都从训练集里面拿一部分（有放回的） 数据进行训练 最后得到了很多个模型组成的一个集成模型 各个模型拿的数据集可能有重合部分

# # 行和列 都会随机选 数据个数和特征个数 关注点不一样

# 然后 传入一个数据拿去预测 集成模型里面的每个子模型都会给一个结果 然后看结果最多的那个当做数据的结果

# **随机森林**就属于集成学习,是通过构建一个包含多个决策树(通常称为基学习器或弱学习器)的森林，每棵树都在不同的数据子集和特征子集上进行训练，

# 最终通过投票或平均预测结果来产生更准确和稳健的预测。这种方法不仅提高了预测精度，也降低了过拟合风险，并且能够处理高维度和大规模数据集

# - 随机:  特征随机，训练集随机

#   - 样本：对于一个总体训练集T，T中共有N个样本，每次有放回地随机选择n个样本。用这n个样本来训练一个决策树。

#   - 特征：假设训练集的特征个数为d，每次仅选择k(k<d)个来构建决策树。

# - 森林:  多个决策树分类器构成的分类器, 因为随机，所以可以生成多个决策树

# - 处理具有高维特征的输入样本，而且不需要降维

# - 使用平均或者投票来提高预测精度和控制过拟合  

# 不需要降维 因为已经特征选择随机了

# API

# class sklearn.ensemble.RandomForestClassifier

# 参数：

# n_estimators  int, default=100

# 森林中树木的数量。(决策树个数)

# criterion {“gini”, “entropy”}, default=”gini” 决策树属性划分算法选择

#   当criterion取值为“gini”时采用 基尼不纯度（Gini impurity）算法构造决策树，

#   当criterion取值为 “entropy” 时采用信息增益（ information gain）算法构造决策树.

   

# max_depth int, default=None 树的最大深度。

from sklearn.ensemble import RandomForestClassifier

from sklearn.datasets import load_iris

from sklearn.feature_extraction import DictVectorizer

from sklearn.feature_selection import VarianceThreshold

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

import pandas as pd

import numpy as np

def random_forest1():

    df1=pd.read_csv("assets/csv/titanic.csv")

    df1["age"].fillna(df1["age"].mode()[0],inplace=True)

    x=df1.drop(["embarked","home.dest","room","ticket","boat","survived"],axis=1)

    y=df1["survived"]

    y=y.to_numpy()

    # print(x)

    # print(y)

    x=x.to_dict(orient="records") # df转字典 字典进行字典的那个处理

    vector1=DictVectorizer(sparse=False)

    x=vector1.fit_transform(x)

    x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=666,train_size=0.8)

    scaler1=StandardScaler()

    x_train_stand=scaler1.fit_transform(x_train)

    x_test_stand=scaler1.transform(x_test)

    forest1=RandomForestClassifier(n_estimators=100,criterion="gini",max_depth=3)

    model1=forest1.fit(x_train_stand,y_train)

    score1=model1.score(x_test_stand,y_test)

    print(score1)

    pass

 

if __name__=="__main__":

    random_forest1()

    pass