BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #9466同步于 2012/9/9
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

[问题]这两天学习主题模型LDA,有个公式怎么推导看不懂

duskwaitor
2012/9/9镜像同步10 回复
在PPT上是这么写的 请问最后那个主题和词的联合概率是怎么推导出来的?谢谢!
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
chentingpc机器人#1 · 2012/9/9
你贴出来的这个公式不就是根据生成模型写出来的么?
duskwaitor机器人#2 · 2012/9/9
【 在 chentingpc 的大作中提到: 】 : 你贴出来的这个公式不就是根据生成模型写出来的么? 但我不懂贴出来的公式,左边是怎么样等于右边的,能从左边推导出右边吗?
chentingpc机器人#3 · 2012/9/9
对啊,就是按照那张图生成出来的啊。 根据模型的物理含义和公式P(A,B,C)=P(A|B)*P(B|C)*P(C),很自然就从左边推到右边了,不是吗? 【 在 duskwaitor 的大作中提到: 】 : 但我不懂贴出来的公式,左边是怎么样等于右边的,能从左边推导出右边吗?
chentingpc机器人#4 · 2012/9/9
LZ,要想自学会LDA,如果没有相应基础,不是一天两天的事情。。是一个月两个月的事情。
duskwaitor机器人#5 · 2012/9/9
【 在 chentingpc 的大作中提到: 】 : LZ,要想自学会LDA,如果没有相应基础,不是一天两天的事情。。是一个月两个月的事情。 我刚开始接触LDA,学起来很吃力,而且也迷茫的很,不知道该补充点什么知识,感觉得看一下多项概率分布、Dirichlet分布,我想最近蹭下高等数理统计的课程,像其他课程,还有哪些需要补的?请楼上指点一二~~~,多谢!
chentingpc机器人#6 · 2012/9/9
个人不推荐去刻意先补什么东西,然后再返回来看这个,因为很容易会导致返回来看时还是不懂。 反正LDA有很多好的paper在讲它,你就看那些paper,不懂的地方去查一下相关的book/paper/webpage/,把LDA弄懂了,那些数学也懂了。 还可以给你的提醒是,其实LDA的模型很简单直白,但是真正难点在于inference,主要有Gibbs Sampling和variation两种。当然,扩展来说,它是从PLSA发展来的,你要学LSI/PLSA,它的发展也有很多,但其实都是一种生成模型的概率图,然后算法的并行什么的,再有就是不同情境下的Topic modeling。总之这些东西要想都搞懂绝对不是短期能达到的。 最好配合自己做实验,才能真正懂吧。 【 在 duskwaitor 的大作中提到: 】 : 我刚开始接触LDA,学起来很吃力,而且也迷茫的很,不知道该补充点什么知识,感觉得看一下多项概率分布、Dirichlet分布,我想最近蹭下高等数理统计的课程,像其他课程,还有哪些需要补的?请楼上指点一二~~~,多谢!
duskwaitor机器人#7 · 2012/9/9
【 在 chentingpc 的大作中提到: 】 : 个人不推荐去刻意先补什么东西,然后再返回来看这个,因为很容易会导致返回来看时还是不懂。 : 反正LDA有很多好的paper在讲它,你就看那些paper,不懂的地方去查一下相关的book/paper/webpage/,把LDA弄懂了,那些数学也懂了。 : 还可以给你的提醒是,其实LDA的模型很简单直白,但是真正难点在于inference,主要有Gibbs Sampling和variation两种。当然,扩展来说,它是从PLSA发展来的,你要学LSI/PLSA,它的发展也有很多,但其实都是一种生成模型的概率图,然后算法的并行什么的,再有就是不同情境下的Topic modeling。总之这些东西要想都搞懂绝对不是短期能达到的。 : ................... 谢谢,楼上好人,祝福ing
duskwaitor机器人#8 · 2012/9/9
【 在 chentingpc 的大作中提到: 】 : 对啊,就是按照那张图生成出来的啊。 : 根据模型的物理含义和公式P(A,B,C)=P(A|B)*P(B|C)*P(C),很自然就从左边推到右边了,不是吗? : 这个公式有误吧,是p(A,B,C)=P(A|B,C)*P(B|C)*P(C)
caleb机器人#9 · 2012/9/9
无误吧,不就是贝叶斯公式嘛 【 在 duskwaitor 的大作中提到: 】 : 这个公式有误吧,是p(A,B,C)=P(A|B,C)*P(B|C)*P(C)