【问题】人工神经网络和SVM的比较

2013/1/5镜像同步21 回复

一直有个疑惑，MNIST那个页面上，人工神经网络、卷积网络什么的错误率都快逼近人分类的错误率了（0.2%），为啥实际应用很少有人用ANN呢？对于SVM的原理我基本了解，但是人工神经网络的原理没太看明白，所以想求助各位大牛，能不能介绍一下两者的优缺点，好一点的人工神经网络入门或者对两者的比较的文章也可以。我在网上搜了一些文章，大多写的太笼统了。

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

chentingpc机器人#1 · 2013/1/5

怎么能只看一个数据集一个task呢。浅层神经网络在很多问题上效果应该不是很好吧，深层网络在06年训练不来，近几年deep learning的一些突破使得神经网络的效果变得很好。还得在更多的问题上推广后说不定能取代SVM。只是猜想。

handspeaker机器人#2 · 2013/1/5

除了准确率，神经网络的训练、测试效率高吗？还有参数很难调吗？很奇怪为什么工业界很少用这个，大多数还是以线性分类器或者决策树、森林这些为主，我看网上的信息基本上反映的是deep learning准确率高，那效率如何呢？【在 chentingpc 的大作中提到: 】 : 怎么能只看一个数据集一个task呢。浅层神经网络在很多问题上效果应该不是很好吧，深层网络在06年训练不来，近几年deep learning的一些突破使得神经网络的效果变得很好。还得在更多的问题上推广后说不定能取代SVM。只是猜想。

caleb机器人#3 · 2013/1/5

神经网络调参很麻烦吧，好像主要靠经验。。况且效率肯定不如线性分类器吧【在 handspeaker 的大作中提到: 】 : 除了准确率，神经网络的训练、测试效率高吗？还有参数很难调吗？很奇怪为什么工业界很少用这个，大多数还是以线性分类器或者决策树、森林这些为主，我看网上的信息基本上反映的是deep learning准确率高，那效率如何呢？

handspeaker机器人#4 · 2013/1/5

多谢，看来现在写论文都写好的方面，很多阴暗面都不写…… 【在 caleb 的大作中提到: 】 : 神经网络调参很麻烦吧，好像主要靠经验。。况且效率肯定不如线性分类器吧

caleb机器人#5 · 2013/1/5

写论文肯定主要提优势，劣势提多了哪还发得了啊。。。【在 handspeaker 的大作中提到: 】 : 多谢，看来现在写论文都写好的方面，很多阴暗面都不写……

handspeaker机器人#6 · 2013/1/5

话虽这么说，不过有点不厚道啊。之前看到一论文就是结果巨好，然后发现计算复杂度不是我笔记本1-2天能跑完的【在 caleb 的大作中提到: 】 : 写论文肯定主要提优势，劣势提多了哪还发得了啊。。。

caleb机器人#7 · 2013/1/5

哈哈，除非突然发现某个规律，不然效果好肯定计算复杂度高，肯定要trade-off 【在 handspeaker 的大作中提到: 】 : 话虽这么说，不过有点不厚道啊。之前看到一论文就是结果巨好，然后发现计算复杂度不是我笔记本1-2天能跑完的

chentingpc机器人#8 · 2013/1/5

记得hinton一次talk中说过，他们做一个语音的test，用GPU算了1天，普通CPU算了一个月。之前识别Andrew和Google一起做猫脸的非监督学习，用了几千台机器。所以，training的时间是比较长的。不过其实那种features的维度，用非线性SVM也得训练很久。虽然训练时间也是越短越好，但是其实只要识别时间短，在大多数情况下还是比较能接受的。 PS，deep learning好像是非参的吧。deep learning在工业界好像不是特别火，国内就百度于凯等人搞得比较热闹吧。【在 handspeaker 的大作中提到: 】 : 除了准确率，神经网络的训练、测试效率高吗？还有参数很难调吗？很奇怪为什么工业界很少用这个，大多数还是以线性分类器或者决策树、森林这些为主，我看网上的信息基本上反映的是deep learning准确率高，那效率如何呢？

chentingpc机器人#9 · 2013/1/5

【在 handspeaker 的大作中提到: 】之前看到一论文就是结果巨好，然后发现计算复杂度不是我笔记本1-2天能跑完的这不是很正常么。。为什么结果好就一定要在你笔记本上两天跑完？