返回信息流最近在自学神经网络(coursera),有一些疑问,各路大神谢谢啦。
- 激励(activation)方程的选择。coursera那门课一直用的是sigmoid,想问一下在实际工作中有其他的选择吗?以及这个选择是怎么来看的呢?
- 比如说我有三个layers,是不是activation在每一层都需要使用呢?如何从直觉上去分析为什么?我在知乎上看到[一篇文章](https://www.zhihu.com/question/22553761),文中提到每一层可以剥离一些细节,但是这个如果每一层用同样的一个activation function怎么能体现呢?
- 最后一个问题是神经网络是值用作classfication吗?
谢谢解答啦~
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #22982同步于 2017/3/12
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
关于神经网络的几点疑问
alfred1993
2017/3/12镜像同步7 回复
订阅后,新回复会通过你的通知中心匿名送达。
7 条回复
谢谢大神回复 我刚翻文章也看到了现在选择activationo的热门~
【 在 jaegerstar 的大作中提到: 】
: 要学好神经网络还是看CS231n吧,那门是专门讲深度学习在CV的应用的
我也是菜鸟。。你说的权重应该不是神经元的吧,而是连接上的,那些是学习出来的,你看SGD那里应该就明白了
【 在 alfred1993 的大作中提到: 】
: 谢谢大神回复 我刚翻文章也看到了现在选择activationo的热门~我现在最大的困惑在于如何确定每个神经元的权重呢?
sigmoid函数非线性很强,会造成运算量的增大,所以现在DNN里用relu做激活函数的多。至于用哪个激活函数的效果好,我觉得差不多吧...可以针对某一数据集都试试
我现在大致懂了。选择一个合适的激活函数,那怎么确定hidden layer要几个神经元呢?
感觉整个神经网络是一个多层的回归
【 在 swy755565055 的大作中提到: 】
: sigmoid函数非线性很强,会造成运算量的增大,所以现在DNN里用relu做激活函数的多。至于用哪个激活函数的效果好,我觉得差不多吧...可以针对某一数据集都试试
比较成熟的CNN像LeNet都是固定的结构...某一层神经元具体多少为好还是看你想通过这一层做什么,其实这方面目前是是黑匣子,也是深度学习非常大的缺陷,即缺少理论依据