返回信息流看了两天LDA,晕乎乎的,有个问题实在想不明白,求教。。。
gibbs采样是已知分布获取样本,但是LDA模型在采样之前,具体的分布是不知道的啊。。。只知道分布的表达式。。。
我看算法里面是随机初始了一个分布,然后进行采样,然后根据每次采样的结果去更新分布,之后接着采样直到收敛。这感觉像是鸡生蛋蛋生鸡啊,为什么能保证采样的结果是真实的
P(Z|W) 的样本啊?(W是词语向量,Z是每个词对应的主题向量)
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #21519同步于 2016/10/31
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
LDA的一点问题。。。
weiyuan
2016/10/31镜像同步12 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
【 在 guanzhe 的大作中提到: 】
: 跟初始状态没有关系啊,满足一致性平稳条件无论初始状态如何,最终都会收敛到同一个分布~
但是得已知分布函数吧,现在分布函数都不确定。
知道分布了那你求什么呢?
http://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a.html
【 在 weiyuan 的大作中提到: 】
: 但是得已知分布函数吧,现在分布函数都不确定。
【 在 guanzhe 的大作中提到: 】
: 跟初始状态没有关系啊,满足一致性平稳条件无论初始状态如何,最终都会收敛到同一个分布~
你是说细致平稳吗? 细致平稳里面转移矩阵是确定的吧,但lda的gibbs采样转移矩阵是在动态变化的呀.
【 在 zuo123 的大作中提到: 】
: 学习LDA之前,先弄懂bayesian跟frequentist的区别。
: 没有稳固的基础,学什么都会弄不懂的。
你的意思是说由于狄利克雷分布中的先验分布和后验分布有相同表达式,所以采样的数据可以作为先验数据去更新后验的概率分布,并不改变分布的表达式吗?