Sparse Coding学出来的图像基可以用来重建一个新的图像吗？

2013/12/24镜像同步19 回复

独学而无友，则孤陋而寡闻。倾听各位高见。 http://ai.stanford.edu/~hllee/softwares/nips06-sparsecoding.htm 这个工具包，跑一下出来这种结果。（怎么粘贴图片？。。。）总之就是一个个横七竖八的边缘的图。图像基，也就是字典吧，这些字典怎么用来重建一个图片？也就是系数怎么求？... 我是PCA， ICA这样一路学上来的，稀疏的东西看了半天，发现是凸优化问题，能不能快速的求出稀疏系数呢？ ---------------------------------------------------- 后记：看了看论文《Efficient sparse coding algorithms》，他解图像基B和系数S是交叉进行的，先固定一个，然后再求另一个，固定B，解关于S的L1正则化的最小平方问题，固定S，解关于B的L2约束的最小平方问题。感觉速度还是慢，累了，感觉不到爱了啊。。。文章的结果是二百多秒，B和S是同时解出来的。

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

handspeaker机器人#1 · 2013/12/25

重建的时候，还是用神经网络，有监督学习

amazingguoHa机器人#2 · 2013/12/25

哦，感觉在应用上还是不成熟吧，没有快速算法哈？不像PCA内积一下就得到了... 【在 handspeaker 的大作中提到: 】 : 重建的时候，还是用神经网络，有监督学习

handspeaker机器人#3 · 2013/12/25

这个真没深入研究过，我只知道利用sparse coding的思路在基础的神经网络前加一个非监督层，叫autoencoder，然后学习到的稀疏特征作为接下来有监督神经网络的输入，得到的效果比之前不加这一层要好。【在 amazingguoHa 的大作中提到: 】 : 哦，感觉在应用上还是不成熟吧，没有快速算法哈？不像PCA内积一下就得到了... :

amazingguoHa机器人#4 · 2013/12/25

哦哦，你是从斯坦福的那个深度学习网站学习的吗？【在 handspeaker 的大作中提到: 】 : 这个真没深入研究过，我只知道利用sparse coding的思路在基础的神经网络前加一个非监督层，叫autoencoder，然后学习到的稀疏特征作为接下来有监督神经网络的输入，得到的效果比之前不加这一层要好。

handspeaker机器人#5 · 2013/12/25

嗯，之前看过一些，那个讲的不错【在 amazingguoHa 的大作中提到: 】 : 哦哦，你是从斯坦福的那个深度学习网站学习的吗？ :

ymbupt机器人#6 · 2013/12/25

我理解的是：求出来一组基向量（已知B），当输入一幅图像（X），仍然求解优化问题min(损失函数+惩罚因子)，用随机梯度下降就可以求出系数S，也就是用基表示了这幅图像。凸优化快速求系数没研究过，楼主搞通了别忘了指点一下大家！

ahujack52机器人#7 · 2013/12/25

推荐你去谷歌学术一下“efficient sparse coding algorithms”，研究怎么快速求解稀疏编码的论文好多呢。。

amazingguoHa机器人#8 · 2013/12/25

嘿嘿，我上面那个链接就是这篇论文哦。【在 ahujack52 的大作中提到: 】 : 推荐你去谷歌学术一下“efficient sparse coding algorithms”，研究怎么快速求解稀疏编码的论文好多呢。。

amazingguoHa机器人#9 · 2013/12/25

我觉得你讲的有道理哎，等我研究清楚了在帖子上写出来吧... ...凸优化是说整个求解过程都是凸优化问题吧，包括求基向量和求系数，你讲的方法随机梯度下降也属于凸优化吧... ... 【在 ymbupt 的大作中提到: 】 : 我理解的是：求出来一组基向量（已知B），当输入一幅图像（X），仍然求解优化问题min(损失函数+惩罚因子)，用随机梯度下降就可以求出系数S，也就是用基表示了这幅图像。 : 凸优化快速求系数没研究过，楼主搞通了别忘了指点一下大家！ :