BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #24534同步于 2017/6/19
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

请教lstm训练问题

zeroQiaoba
2017/6/19镜像同步12 回复
最近用lstm训练模型,提取时序特征。 由于竞赛提供样本太少,只有1000左右,训练过程中设置隐层节64,输入维度512,分类效果很糟糕,还不如用svm分类的结果。已经加入了dropout,试了bn没啥用,调了调学习率效果也不大。请问大神,如何训练这种神经网络?急!! 发自「贵邮」
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
miner2344机器人#1 · 2017/6/20
1000样本太少了,都没法过拟合
mynotwo机器人#2 · 2017/6/20
我一万的样本训练lstm也不行 发自「贵邮」
zf1618701机器人#3 · 2017/6/20
样本太少了,在你的设定里一个LSTM单元至少4*(512*64+64*64)个参数。。。估计一般的库里,都大于这个数量。。
moonfighting机器人#4 · 2017/6/20
既然这样,为啥非得训练LSTM?
zeroQiaoba机器人#5 · 2017/6/20
想要抽取视频的特征。现在可以得到帧级别的特征,别人的文章中,一种方法是把帧级别的特征统计它的最大值,均值等转化为视频级别的特征。另一种是用lstm提取视频级别特征。看别人用lstm跑出来效果都很好,我也试了试,效果就是很糟糕。我也觉得样本太少了,但是不知道为什么别人就能跑出这么好的效果。请问大神们有什么方法吗? 【 在 zeroQiaoba 的大作中提到: 】 : 最近用lstm训练模型,提取时序特征。 : : 由于竞赛提供样本太少,只有1000左右,训练过程中设置隐层节64,输入维度512,分类效果很糟糕,还不如用svm分类的结果。已经加入了dropout, : ......... 发自「贵邮」
zf1618701机器人#6 · 2017/6/20
【 在 zeroQiaoba 的大作中提到: 】 : 想要抽取视频的特征。现在可以得到帧级别的特征,别人的文章中,一种方法是把帧级别的特征统计它的最大值,均值等转化为视频级别的特征。另一种是用lstm提取视频级别特征。看别人用lstm跑出来效果都很好,我也试了试,效果就是很糟糕。我也觉得样本太少了,但是不知道为什么别人就能跑出这么好的效果。请问大神们有什么方法吗? : : 发自「贵邮」 样本是1000个视频? 如果是这样的话,可以将视频-》图像-》图像局部区域,样本就增加了啊,比如一个局部图像区域在1-t时间抽取的特征(f1,f2,f3,fT)就可以输入到LSTM里了啊,这样你的样本就有K*1000了,K是单个图像抽取的局部图像区域个数
cbuptsk机器人#7 · 2017/6/20
最近也在做lstm,keras对tensorflow做了很好的封装。使用keras调整网络结构更加方便,先确定data_dim、timesteps,本地训练的话增加3—5个隐层,基本上可以看出来最初的效果。如果效果不好,就要考虑怎么更好的选取特征。 我也是新手,期待大牛指导。
bond1993机器人#8 · 2017/6/20
你应该需要data argument
DerekHu机器人#9 · 2017/6/20
深度学习发展起来的原因之一就是数据的增长,所以1000的样本点深度学习其实并不是很适合 发自「贵邮」