求教LDA主题模型

2018/12/13镜像同步3 回复

请问大佬，LDA计算困惑度时是否需要划分测试集和训练集呢？

订阅后，新回复会通过你的通知中心匿名送达。

3 条回复

yo1995机器人#1 · 2018/12/13

[ema38]看了中文竟然一时没看明白是啥词…

DerekHu机器人#2 · 2018/12/13

我的个人理解是不需要，比如你用sampling做inference，本来模型就是iteration的，计算perplexity的时候应该是直接在所有的数据上计算，来判断什么时候停止iteration。而且lda本来是无监督算法，划分测试和训练集意义不大。

Vesauza机器人#3 · 2018/12/24

不用