梯度提升决策树（Gradient Boosting Decision Tree, GBDT）是一种算法，它通过迭代地训练决策树来最小化损失函数，从而提高模型的预测性能。GBDT的核心思想是将多个弱学习器（通常是决策树）的结果累加起来，形成强学习器，即。与随机森林相同，弱学习器可以是分类树也可以是回归树（有的观点说GBDT只能由回归树构成，这可能是由于GBDT通常使用回归树解决问题从而给人造成了误解，实际上分类指标同样能够用来计算负梯度，具体使用的是回归树还是分类树，主要看损失函数的构造以及任务的目标值类型）。
GBDT的工作原理如下：
首先，GBDT使用一个初始预测器（通常是一个常数值）对所有样本进行预测。
在每次迭代中，GBDT会计算损失函数的负梯度，这个负梯度将作为残差，用于训练下一棵决策树。损失函数的负梯度可以被视为当前模型预测值与真实值之间差异的度量。对于不同的损失函数，负梯度的计算方式也会有所不同。例如，对于均方误差损失函数（回归问题），负梯度的计算公式为：
其中，是第t轮迭代中第i个样本的残差，是真实值，是前一轮迭代的预测值。
在每次迭代中，新的决策树被添加到模型中，模型的预测值更新为：
其中是第t轮迭代中训练的决策树对样本的预测值。是学习率。而对于每一颗决策树（即弱学习器），有：
这里，h为决策树模型，L是损失函数。
最终的GBDT模型是所有弱学习器的加权和：
其中，T是迭代次数，是初始预测值，是第t轮迭代中决策树的权重（通常与当前决策树的复杂度成反比）。当达到预设的迭代次数或模型性能不再显著提升时，GBDT停止迭代。
梯度下降是一种优化算法，用于最小化损失函数。它通过计算损失函数相对于模型参数的梯度（即损失函数在参数空间中的斜率），然后沿着梯度的反方向更新参数，以此减小损失函数的值。
梯度提升是一种集成学习算法，“提升”指的是通过添加一个新的弱学习器迭代改进模型的方法），以此来最小化损失函数。在每一步迭代中，梯度提升算法计算当前模型的残差（即损失函数的负梯度），然后将一个新的弱学习器拟合到这些残差上。这个过程可以看作是在每一步迭代中，模型都在尝试修正前一步的预测误差。
两者都是在每一轮迭代中，利用损失函数相对于模型的负梯度方向的信息来对当前模型进行更新，只不过在梯度下降中直接使用损失函数的负梯度来更新参数，而在梯度提升中使用损失函数的负梯度作为残差的近似值，而不是直接用于更新参数。
虽然实际业务工作中，考虑GBDT模型的时候我们基本都会使用其工程优化版本——XGBoost以及LightGBM，但它仍然是值得深入学习的经典机器学习模型之一。以下是GBDT的一些优缺点：
（1）高准确性：GBDT能够处理高维度、稀疏特征以及非线性关系等复杂问题，因此在训练集和测试集上都表现良好。
（2）强大的泛化能力：通过组合多个弱分类器形成一个强分类器，减少了过拟合的风险。
（3）对缺失值的鲁棒性：GBDT能够自动处理缺失值，无需额外的处理步骤。
（4）可并行化的预测阶段：虽然训练过程是串行的，但预测时可以并行计算，提高了预测速度。
（1）训练时间较长：GBDT是串行算法，需要按顺序构建每棵决策树，因此训练时间较长。
（2）对异常值敏感：GBDT在训练过程中容易受到异常值的影响，可能导致模型性能下降。
（3）无法并行化训练：GBDT的训练过程无法并行化，工程加速只能体现在单颗树构建过程中。
版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。
本文网址：https://www.mushiming.com/mjsbk/8401.html