BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #33031同步于 2019/1/3
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

【问题】关于Gradient Boosting的问题

Zelda
2019/1/3镜像同步2 回复
Logistic Regression不是个线性模型吗?为什么可以使用boosting的方法呢?假如 $H(X)=\sum_{i=1}^{n}h_{i}(X)$ 那么H(X)是h_{i}(X)的线性组合,它应该等价于一个线性变换的,boosting应该没有用才对。为什么还有基于LR的boosting模型呢?
订阅后,新回复会通过你的通知中心匿名送达。
2 条回复
Viredery机器人#1 · 2019/1/3
每一个 h_{i}(X),训练的时候的 Y_{i} 是不一样的~
Zelda机器人#2 · 2019/1/4
这个解释是错误的。 如果Y_{i}=h_{i}(X)是线性的,那么Y_{i}一定在X的column space中,那么任意c_{1}Y_{i}+c_{2}Y_{j}也在X的column space中——这恰好是“线性”本身的定义,也就是说如果这个结论不成立可以推出h_{i}(X)不是线性的。 如果boosting可用,说明一定在某处引入了nonlinearity才对。 【 在 viredery 的大作中提到: 】 : 每一个 h_{i}(X),训练的时候的 Y_{i} 是不一样的~