返回信息流数据归一化有很多种方式,比如:
1、线性归一化,表达式如下:
y=(x-MinValue)/(MaxValue-MinValue)
说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。
2、标准差标准化
经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为:
x'=(x-μ)/σ
其中μ为所有样本数据的均值,σ为所有样本数据的标准差。
3、非线性归一化
经常用在数据分化比较大的场景,有些数值很大,有些很小。通过一些数学函数,将原始值进行映射。该方法包括 log、指数,正切等。需要根据数据分布的情况,决定非线性函数的曲线,比如log(V, 2)还是log(V, 10)等。
但是最近看到很多机器学习程序中用到了L2范数归一化,不知L2范数归一化的优势是?
例如:对数据集A按行进行L2范数归一化
% normalize each row to unit
A = A./repmat(sqrt(sum(A.^2,2)),1,size(A,2));
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #20339同步于 2016/6/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
[问题]L2范数归一化的作用?
hudabao
2016/6/11镜像同步7 回复
订阅后,新回复会通过你的通知中心匿名送达。
7 条回复
一般叫范数的正则化,用来防止模型的过拟合。有基于参数的L0,L1,L2,核范数等等。它们都是与参数的复杂程度(大小)成正比的,比如L2是向量各个元素平方和再开根号,把参数的L2范数加到损失函数中,会使训练出来的参数不会很复杂,从而防止过拟合。
谢谢你的回答,你说的是正则化,正则化是防止过拟合,但是L2范数归一化和L2正则化不一样吧
【 在 wangtq1993 的大作中提到: 】
: 一般叫范数的正则化,用来防止模型的过拟合。有基于参数的L0,L1,L2,核范数等等。它们都是与参数的复杂程度(大小)成正比的,比如L2是向量各个元素平方和再开根号,把参数的L2范数加到损失函数中,会使训练出来的参数不会很复杂,从而防止过拟合。
【 在 hudabao 的大作中提到: 】
: 谢谢你的回答,你说的是正则化,正则化是防止过拟合,但是L2范数归一化和L2正则化不一样吧
归一化的目的有两个:
1.有量纲体系转化为无量纲体系,如身高与体重,不同的计量单位
2. 加快收敛
懂了,非常感谢~
【 在 XZC 的大作中提到: 】
: 归一化的目的有两个:
: 1.有量纲体系转化为无量纲体系,如身高与体重,不同的计量单位
: 2. 加快收敛
懂了,多谢解答~[ema23]
【 在 zhengshun 的大作中提到: 】
: L2范数归一化确实会有助于收敛,很多优化算法的bound里面都有\| X_i \|_2^2 \le R的假设,如果正则化之后,R就是1了。