教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> > 数学> 处理过拟合问题 Regularization(转)_言忧_新浪博客

处理过拟合问题 Regularization(转)_言忧_新浪博客

上传者:沈其英
|
上传时间:2015-05-06
|
次下载

处理过拟合问题 Regularization(转)_言忧_新浪博客

处理过拟合问题‐Regularization(转) (2012­07­24 14:03:31)

标签: 杂谈分类: 机器学习转载▼

数学中的Regularization是为了解决overfitting问题而引入的一种方法。所谓overfitting就是在一些数学模型中由于过于复杂,有太多的观测参数,以至于一点点微小的误差都回产生巨大的影响,任何微小的数据扰动都会带来巨大的改变。在一些训练模型中用来fitting的data也会因为结构问题而Overfitting。

 

一般来说有两种克服Overfitting的方法:一是补偿模型的某些部分(如Regularization);二是根据潜在的问题提供而外的数据来训练。

 

下面介绍Tikhonov Regularization作为例子。

 

在如下方程中:

Ax = b

要求解x的标准方法是最小二乘法:

Min || Ax – b ||^2

求解这个方程除了overfitting外,还有overdetermined (underdetermined)的问题。所谓overdetermined

(underdetermined),是指方程组中未知数的个数与方程数不不一致。如果把一个未知数看成一个自由度的话,每个单独的方程可以看成一个对应的constraint,当constraint的数目比未知数还多时,有可能找不到符合方程组的解;当方程的数目少于未知数时,可能有无穷多组解。显然当A不是方阵的时候肯定

overdetermined(underdetermined)的。

A可能是奇异阵,这也是一个问题。

为了获得在某种条件下的解,加入regularization项如下:

|| Ax – b ||^2 + || Rx ||^2

其中,||.||是Euclidean norm,即平方和的根。

在很多情况下,R可以直接取单位阵。加入R之后可解如下:

x = (A^TA + RTR)^(­1)A^Tb

 

一些另外的取法。令R = a*L,L是对称Laplace­Beltrami算子。

L = V^(­1/2) * C * V^(­1/2)

V是一个voronoi area对角阵,C是一个系数对称cotangentweight矩阵。(cot(Betai,j) + cot(Betai,j)^­)/2,Beta是相邻三角形的角度。

 

可以把L作特征值分解,L = QBQ^T,Q为正交矩阵。因为正交矩阵不改变Frobenius norm,所以:

|| RU || = || aLU || = a|| QBQ^TU || = a|| BQ^TU||

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

零基础英语学习资料
英语学习资料-GMAT
关于提升农村初中生英语听力水平的分析.doc
商务英语学习网站大全详细
《新编简明英语语言学教程》学习手册
初中英语学习调查问卷
谈英语学习
印尼中级汉语口语学习情况调查——以两所大学非华裔学生为例
机械专业英语词汇
【最新word论文】论英语影视作品在英语听力“零课时”教学中的应用【英语教学专业论文】
英语六级写作考试常用词汇---连词篇
浅析中学英语听力训练
系列讲座——口语交际【精品资料】
通过元认知策略培训提高大学非英语专业学生英语听力能力的研究
克服初中生英语听力障碍
【最新word论文】浅析如何提高中专英语听力教学【英语教学专业论文】
50部适合英语学习的电影
如何有效提高高中学生英语听力
高中学生英语听力能力提升策略分析[文档资料]
中考英语听力突破的5大技巧
ABC英语基础学习
语言焦虑对初中英语听力理解影响研究
职称英语学习的好帮手
运用听力策略,提高高中生英语听力
初中英语听力训练策略
通过Phonics教学增强小学生英语学习自信心的行动研究
美国英语口语教父——新东方王强老师和网友交谈录
一个人练习口语的经典办法(宁波英语口语)
大学英语四级考试分类测试——听力理解 宋健军 东北大学出版社(可编辑)
新视野大学英语3听力原文答案

网友关注视频

外研版英语七年级下册module3 unit2第一课时
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,辽宁省
苏科版数学八年级下册9.2《中心对称和中心对称图形》
沪教版牛津小学英语(深圳用) 四年级下册 Unit 8
外研版英语三起5年级下册(14版)Module3 Unit1
二年级下册数学第二课
沪教版八年级下次数学练习册21.4(2)无理方程P19
苏科版数学 八年级下册 第八章第二节 可能性的大小
苏科版数学七年级下册7.2《探索平行线的性质》
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
冀教版小学数学二年级下册第二单元《租船问题》
【获奖】科粤版初三九年级化学下册第七章7.3浓稀的表示
北师大版数学 四年级下册 第三单元 第二节 小数点搬家
冀教版小学数学二年级下册1
小学英语单词
北师大版数学四年级下册第三单元第四节街心广场
冀教版小学英语四年级下册Lesson2授课视频
《空中课堂》二年级下册 数学第一单元第1课时
沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
六年级英语下册上海牛津版教材讲解 U1单词
北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
沪教版牛津小学英语(深圳用) 五年级下册 Unit 10
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
沪教版牛津小学英语(深圳用) 五年级下册 Unit 12
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
苏教版二年级下册数学《认识东、南、西、北》
二年级下册数学第三课 搭一搭⚖⚖
冀教版英语四年级下册第二课
沪教版八年级下册数学练习册20.4(2)一次函数的应用2P8