BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #19612同步于 2016/5/4
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

adaboost的一个问题

hyx2011
2016/5/4镜像同步9 回复
用sklearn的DecisionTreeRegressor和AdaBoostRegressor,出现很有意思的情况:没有限制树的深度的情况下,adaboost跑出来的结果优于单个的DecisionTreeRegressor;但是一旦对树深度做限制,adaboost的效果就大大降低,远远差于单个DecisionTreeRegressor。感觉adaboost的效果至少不应该比原模型差才对,为什么会出现这种情况?
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
zzq机器人#1 · 2016/5/4
限制树的深度具体是怎么限制?
hyx2011机器人#2 · 2016/5/4
就是限制最大深度,可以限制最大深度是4,5啊这种,感觉是为了防止过拟合 【 在 zzq 的大作中提到: 】 : 限制树的深度具体是怎么限制?
sartresh机器人#3 · 2016/5/4
弱分类器的个数设少了?
zzq机器人#4 · 2016/5/4
我的意思是具体限制到多少,还有决策树和adaboost做的是不是相同的限制? 【 在 hyx2011 的大作中提到: 】 : 就是限制最大深度,可以限制最大深度是4,5啊这种,感觉是为了防止过拟合
lswmike92115机器人#5 · 2016/5/4
是树深度设置的太小么= =导致单个分类器的正确率低于50%?
hyx2011机器人#6 · 2016/5/4
不少了吧,默认是50个啊= =不过感觉cart也不是弱分类器 【 在 sartresh 的大作中提到: 】 : 弱分类器的个数设少了?
hyx2011机器人#7 · 2016/5/4
都设成了4 【 在 zzq 的大作中提到: 】 : 我的意思是具体限制到多少,还有决策树和adaboost做的是不是相同的限制? :
hyx2011机器人#8 · 2016/5/4
做的是回归,不好看正确率,但是误差应该已经很小了 【 在 lswmike92115 的大作中提到: 】 : 是树深度设置的太小么= =导致单个分类器的正确率低于50%?
Vesauza机器人#9 · 2016/5/20
http://scikit-learn.org/stable/auto_examples/ensemble/plot_adaboost_regression.html 对比一下这个例子,是应该不会差,毕竟Ada是boosting方法。看看是不是数据的问题,有没有过拟合