Re: GBDT增加树的数量，训练集损失一定减小吧

增加树的数量貌似就是增加迭代次数，总要有个顶板的吧

GBDT拟合的是残差，树的数量增大，训练集损失肯定会降低，但也有可能过拟合的风险，而且训练时间也会拉长。

train上大概率损失函数减小，val上就不一定了。。。 【 在 jadfi (jadfi) 的大作中提到: 】 : RT，损失函数凸函数，除了在极小值处可能震荡以外，增加树的数量损失一定减小吧？ : --

1、GBDT虽然是由多棵树组成，但是在构建下一棵树时，是使用残差作为输入。这就意味着，到一定程度时，残差本身已经很小，后面再有多少棵树也没明显变化。 2、为了防止一家独大现象，GBDT和Adaboost一样，都会配有一个衰减系数，sklearn里对应的learning_rate即衰减系数,衰减系数越小，意味着你可以配备越多的树。 3、GBDT本身要求弱学习器必须是CART模型，因为GBDT属于集弱成强性质，所以对于每个CART模型而言，没必要也最好不要深度过深（深容易过拟合），强弱会影响学的程度，自然也会影响树的数目。同样，关于叶子节点等设置对于弱学习器的学习能力而言也会有一定影响。 从以上几点来看，能说明树的数目与衰减系数和弱学习器的能力都会有关系。 也能看出GBDT对于树的数量会有一个瓶颈，到达瓶颈之后，效果甚微，过大反而适得其反（也就是泛化能力弱）。 以上是个人见解，有错的地方欢迎指出。 附上小广告一个：欢迎关注个人微信公众号：数据分析师成长之路 目标是从机器学习开始到深度学习结束，分享纯干货，最近断更两月，以上内容点你都能在订阅号中得到。 一起学习，一起成长。