【问题，已解决】机器学习最大后验概率推导相关

2019/6/19镜像同步6 回复

原题目是：给定一组训练样本{x_i, y_i} , i=1...N, 假设数据生成过程为 y= wx+c， c为随机误差，并服从均值为0，最大值为1/2β的拉普拉斯分布。假设N个训练样本对随机误差相互独立，参数w服从均值为0，最大值为1/2γ的拉普卡斯先验分布。基于最大后验概率估计法推导求解参数w的最优化问题。[ema0] 个人浅显的理解是最大后验概率求这个问题的话，要有条件概率P（x,c|w），然后再求得似然函数L=条件概率*先验概率，但是这种既没有给X的分布，还要加一个误差的，不太明白呀。我的问题是，条件概率怎么求，这种证明，要假设X的分布吗，不假设这个条件概率怎么求？ [ema1]不求大神们给出证明过程，给个思路也行啊！

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

w494081672机器人#1 · 2019/6/19

参数的后验概率是指P（w|q）=P(q|w)P(w)/P(q),题目中是q=y|x或q=x,y

Resetrlin机器人#2 · 2019/6/19

所以这个q没办法求么【在 w494081672 的大作中提到: 】 : 参数的后验概率是指P（w|q）=P(q|w)P(w)/P(q),题目中是q=y|x或q=x,y

peterGG机器人#3 · 2019/6/19

变分或者MCMC？

w494081672机器人#4 · 2019/6/20

q=y|x 可以求；y|x的分布就是常数wx加上变量c 【在 Resetrlin 的大作中提到: 】 : 所以这个q没办法求么

Resetrlin机器人#5 · 2019/6/25

【在 w494081672 的大作中提到: 】 : q=y|x 可以求；y|x的分布就是常数wx加上变量c 大致明白了！十分感谢

DerekHu机器人#6 · 2019/6/30

歪个楼说一下c，c是表征Gaussian Noise，其实推一下Variance-bias tradeoff你会发现本身estimate p(x)就存在噪声，因为数据是有限的，不过当然如果用MAP or ML estimator是不考虑数据的generation process，如果是bayesian estimation需要考虑c。具体推到建议看看bishop的prml