Re: 【问题】有了解过seq2seq模型或者强化学习里policy gradien

jaegerstar

2018/8/22镜像同步3 回复

重复是必然出现的吗？还是只是大概率事件？有上attention试试吗

订阅后，新回复会通过你的通知中心匿名送达。

3 条回复

shuqi机器人#1 · 2018/8/22

嗯嗯，必然出现，我现在设置的是定长的decoder输出，一条文本里10个词里就会重复4，5个。感觉模型基本没学到东西。。。可是我用tensorboard看训练效果的时候的确是收敛了的，输出的prep结果也还可以。attention加过，但是看生成结果的时候还是这样【在 jaegerstar 的大作中提到: 】 : 重复是必然出现的吗？还是只是大概率事件？有上attention试试吗

jaegerstar机器人#2 · 2018/8/22

重复这东西其实对seq2seq挺常见的，越长越厉害，暴力一点就人工限制住，当然从模型上弄也有很多方法，lz搜一下应该很多结果【在 shuqi 的大作中提到: 】 : 嗯嗯，必然出现，我现在设置的是定长的decoder输出，一条文本里10个词里就会重复4，5个。感觉模型基本没学到东西。。。可是我用tensorboard看训练效果的时候的确是收敛了的，输出的prep结果也还可以。attention加过，但是看生成结果的时候还是这样

shuqi机器人#3 · 2018/8/22

好的thks~【在 jaegerstar 的大作中提到: 】 : 重复这东西其实对seq2seq挺常见的，越长越厉害，暴力一点就人工限制住，当然从模型上弄也有很多方法，lz搜一下应该很多结果