教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> > 数学> 处理过拟合问题 Regularization(转)_言忧_新浪博客

处理过拟合问题 Regularization(转)_言忧_新浪博客

上传者:沈其英
|
上传时间:2015-05-06
|
次下载

处理过拟合问题 Regularization(转)_言忧_新浪博客

处理过拟合问题‐Regularization(转) (2012­07­24 14:03:31)

标签: 杂谈分类: 机器学习转载▼

数学中的Regularization是为了解决overfitting问题而引入的一种方法。所谓overfitting就是在一些数学模型中由于过于复杂,有太多的观测参数,以至于一点点微小的误差都回产生巨大的影响,任何微小的数据扰动都会带来巨大的改变。在一些训练模型中用来fitting的data也会因为结构问题而Overfitting。

 

一般来说有两种克服Overfitting的方法:一是补偿模型的某些部分(如Regularization);二是根据潜在的问题提供而外的数据来训练。

 

下面介绍Tikhonov Regularization作为例子。

 

在如下方程中:

Ax = b

要求解x的标准方法是最小二乘法:

Min || Ax – b ||^2

求解这个方程除了overfitting外,还有overdetermined (underdetermined)的问题。所谓overdetermined

(underdetermined),是指方程组中未知数的个数与方程数不不一致。如果把一个未知数看成一个自由度的话,每个单独的方程可以看成一个对应的constraint,当constraint的数目比未知数还多时,有可能找不到符合方程组的解;当方程的数目少于未知数时,可能有无穷多组解。显然当A不是方阵的时候肯定

overdetermined(underdetermined)的。

A可能是奇异阵,这也是一个问题。

为了获得在某种条件下的解,加入regularization项如下:

|| Ax – b ||^2 + || Rx ||^2

其中,||.||是Euclidean norm,即平方和的根。

在很多情况下,R可以直接取单位阵。加入R之后可解如下:

x = (A^TA + RTR)^(­1)A^Tb

 

一些另外的取法。令R = a*L,L是对称Laplace­Beltrami算子。

L = V^(­1/2) * C * V^(­1/2)

V是一个voronoi area对角阵,C是一个系数对称cotangentweight矩阵。(cot(Betai,j) + cot(Betai,j)^­)/2,Beta是相邻三角形的角度。

 

可以把L作特征值分解,L = QBQ^T,Q为正交矩阵。因为正交矩阵不改变Frobenius norm,所以:

|| RU || = || aLU || = a|| QBQ^TU || = a|| BQ^TU||

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注视频

外研版英语三起5年级下册(14版)Module3 Unit2
冀教版英语五年级下册第二课课程解读
外研版英语七年级下册module3 unit1第二课时
第五单元 民族艺术的瑰宝_15. 多姿多彩的民族服饰_第二课时(市一等奖)(岭南版六年级上册)_T129830
外研版英语三起5年级下册(14版)Module3 Unit1
沪教版牛津小学英语(深圳用) 四年级下册 Unit 4
第4章 幂函数、指数函数和对数函数(下)_六 指数方程和对数方程_4.7 简单的指数方程_第一课时(沪教版高一下册)_T1566237
冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
二年级下册数学第二课
二年级下册数学第一课
河南省名校课堂七年级下册英语第一课(2020年2月10日)
沪教版八年级下册数学练习册21.3(3)分式方程P17
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,辽宁省
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
沪教版八年级下册数学练习册20.4(2)一次函数的应用2P8
沪教版牛津小学英语(深圳用) 四年级下册 Unit 12
第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
沪教版牛津小学英语(深圳用) 五年级下册 Unit 10
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣
北师大版数学 四年级下册 第三单元 第二节 小数点搬家
沪教版牛津小学英语(深圳用) 五年级下册 Unit 7
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T3763925
冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
冀教版小学数学二年级下册第二单元《余数和除数的关系》
沪教版八年级下册数学练习册21.4(1)无理方程P18