基于机器学习的心脏病预测方法（11）——梯度提升机（GBM）

一、梯度提升机介绍

GBM（Gradient Boosting Machine）算法是Boosting(提升)算法的一种。主要思想是，串行地生成多个弱学习器，每个弱学习器的目标是拟合先前累加模型的损失函数的负梯度， 使加上该弱学习器后的累积模型损失往负梯度的方向减少。 且它用不同的权重将基学习器进行线性组合，使表现优秀的学习器得到重用。 GBM属于加法模型，也称 MART(muliple additive regression trees)。

最常用的基学习器为树模型，采用决策树的GBM称为GBDT（Gradient Boosting Decision Tree）。而XgBoost、LightGBM、CatBoost等都是从GBDT（采用CART树）派生出来的具体实现工具。

GBM梯度提升机（或梯度推进机）是一种集成学习法（Ensemble）。GBM（Gradient Boosting Machine）算法是Boosting算法（提升方法）的一种。GBM主要思想是基于之前建立的基学习器的损失函数的梯度下降方向来建立下一个新的基学习器，目的就是希望通过集成这些基学习器使得模型总体的损失函数不断下降，模型不断改进。

二、核心代码

首先需要导入相应库和数据集：

import pandas as pd
import numpy as np
<