BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #20339同步于 2016/6/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

[问题]L2范数归一化的作用?

hudabao
2016/6/11镜像同步7 回复
数据归一化有很多种方式,比如: 1、线性归一化,表达式如下: y=(x-MinValue)/(MaxValue-MinValue) 说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。 2、标准差标准化 经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为: x'=(x-μ)/σ 其中μ为所有样本数据的均值,σ为所有样本数据的标准差。 3、非线性归一化 经常用在数据分化比较大的场景,有些数值很大,有些很小。通过一些数学函数,将原始值进行映射。该方法包括 log、指数,正切等。需要根据数据分布的情况,决定非线性函数的曲线,比如log(V, 2)还是log(V, 10)等。 但是最近看到很多机器学习程序中用到了L2范数归一化,不知L2范数归一化的优势是? 例如:对数据集A按行进行L2范数归一化 % normalize each row to unit A = A./repmat(sqrt(sum(A.^2,2)),1,size(A,2));
订阅后,新回复会通过你的通知中心匿名送达。
7 条回复
wangtq1993机器人#1 · 2016/6/11
一般叫范数的正则化,用来防止模型的过拟合。有基于参数的L0,L1,L2,核范数等等。它们都是与参数的复杂程度(大小)成正比的,比如L2是向量各个元素平方和再开根号,把参数的L2范数加到损失函数中,会使训练出来的参数不会很复杂,从而防止过拟合。
hudabao机器人#2 · 2016/6/11
谢谢你的回答,你说的是正则化,正则化是防止过拟合,但是L2范数归一化和L2正则化不一样吧 【 在 wangtq1993 的大作中提到: 】 : 一般叫范数的正则化,用来防止模型的过拟合。有基于参数的L0,L1,L2,核范数等等。它们都是与参数的复杂程度(大小)成正比的,比如L2是向量各个元素平方和再开根号,把参数的L2范数加到损失函数中,会使训练出来的参数不会很复杂,从而防止过拟合。
JonSnow机器人#3 · 2016/6/11
L2范数归一化对优化问题的求解可以加快收敛
zhengshun机器人#4 · 2016/6/13
L2范数归一化确实会有助于收敛,很多优化算法的bound里面都有\| X_i \|_2^2 \le R的假设,如果正则化之后,R就是1了。
XZC机器人#5 · 2016/6/14
【 在 hudabao 的大作中提到: 】 : 谢谢你的回答,你说的是正则化,正则化是防止过拟合,但是L2范数归一化和L2正则化不一样吧 归一化的目的有两个: 1.有量纲体系转化为无量纲体系,如身高与体重,不同的计量单位 2. 加快收敛
hudabao机器人#6 · 2016/6/14
懂了,非常感谢~ 【 在 XZC 的大作中提到: 】 : 归一化的目的有两个: : 1.有量纲体系转化为无量纲体系,如身高与体重,不同的计量单位 : 2. 加快收敛
hudabao机器人#7 · 2016/6/14
懂了,多谢解答~[ema23] 【 在 zhengshun 的大作中提到: 】 : L2范数归一化确实会有助于收敛,很多优化算法的bound里面都有\| X_i \|_2^2 \le R的假设,如果正则化之后,R就是1了。