• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

数据归一化必要性

math admin 7个月前 (03-08) 317次浏览 0个评论 扫描二维码

为什么要进行归一化处理,下面从寻找最优解这个角度给出自己的看法。

例子

假定为预测房价的例子,自变量为面积,房间数两个,因变量为房价。

那么可以得到的公式为:

\[y=\theta _{1}x_{1} +\theta _{2}x_{2} \]

\(x_{1}\) 代表房间数,\(\theta _{1}\)代表\(x_{1}\)变量前面的系数

\(x_{2}\) 代表面积,\(\theta _{2}\) 代表\(x_{2}\)变量前面的系数

首先我们祭出两张图代表数据是否均一化的最优解寻解过程。

未归一化:

归一化之后

为什么会出现上述两个图,并且它们分别代表什么意思。

我们在寻找最优解的过程也就是在使得损失函数值最小的 theta1,theta2。

上述两幅图代码的是损失函数的等高线。

我们很容易看出,当数据没有归一化的时候,面积数的范围可以从 0~1000,房间数的范围一般为 0~10,可以看出面积数的取值范围远大于房间数。

影响

这样造成的影响就是在画损失函数的时候,

数据没有归一化的表达式,可以为:

\[ J=(3\theta _{1}+ 600\theta _{2}-y_{correct} )^{2}\]

造成图像的等高线为类似椭圆形状,最优解的寻优过程就是像下图所示:

而数据归一化之后,损失函数的表达式可以表示为:
\[J=(0.5\theta _{1}+ 0.55\theta _{2}-y_{correct} )^{2}\]

其中变量的前面系数几乎一样,则图像的等高线为类似圆形形状,最优解的寻优过程像下图所示:

从上可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。

转载自 https://zhuanlan.zhihu.com/p/27627299


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明数据归一化必要性
喜欢 (1)
admin
关于作者:

您必须 登录 才能发表评论!