集成学习之Boosting —— Gradient Boosting实现

  • 时间:
  • 浏览:0
  • 来源:UU快3—全天最准大发快三

下图比较了回归问提中使用平方损失和Huber损失的差别以及所有人 的early stopping point:

下面换俩个多多 噪音较大的数据集,用PCA降到二维进行可视化:

初始化: \(f_0(x) = \mathop{\arg\min}\limits_\gamma \sum\limits_{i=1}^N L(y_i, \gamma)\)

Gradient Boostig一般有俩个多多 初始值居于,即后面 第一步中的\(f_0(x)\),在实现的以后你這個 初始值是没法乘学习率的,将会乘话语等于变相改变了初始值,会产生许多意想没法的结果 (很不幸你会犯过你這個 错误 ~) 。

输出\(f_M(x)\)

在分类问提中将上一篇中的 AdaBoost 和本篇中的GBDT作比较,仍使用以后的数据集,其中GBDT分别使用了logistic loss和 这篇文章 最后提到的modified huber loss:

你這個 次modified loss比logistic loss表现好,但时会如Real AdaBoost。

另外具体实现了early_stopping,回归,分类和分步预测 (stage_predict,见完正代码)。

for m=1 to M:

/