处理过拟合问题 Regularization(转)_言忧_新浪博客
上传者：沈其英|上传时间：2015-05-06|密次下载
处理过拟合问题 Regularization(转)_言忧_新浪博客
处理过拟合问题‐Regularization（转） (20120724 14:03:31)
标签： 杂谈分类： 机器学习转载▼
数学中的Regularization是为了解决overfitting问题而引入的一种方法。所谓overfitting就是在一些数学模型中由于过于复杂，有太多的观测参数，以至于一点点微小的误差都回产生巨大的影响，任何微小的数据扰动都会带来巨大的改变。在一些训练模型中用来fitting的data也会因为结构问题而Overfitting。
一般来说有两种克服Overfitting的方法：一是补偿模型的某些部分（如Regularization）；二是根据潜在的问题提供而外的数据来训练。
下面介绍Tikhonov Regularization作为例子。
在如下方程中：
Ax = b
要求解x的标准方法是最小二乘法：
Min || Ax – b ||^2
求解这个方程除了overfitting外，还有overdetermined (underdetermined)的问题。所谓overdetermined
(underdetermined)，是指方程组中未知数的个数与方程数不不一致。如果把一个未知数看成一个自由度的话，每个单独的方程可以看成一个对应的constraint，当constraint的数目比未知数还多时，有可能找不到符合方程组的解；当方程的数目少于未知数时，可能有无穷多组解。显然当A不是方阵的时候肯定
overdetermined(underdetermined)的。
A可能是奇异阵，这也是一个问题。
为了获得在某种条件下的解，加入regularization项如下：
|| Ax – b ||^2 + || Rx ||^2
其中，||.||是Euclidean norm，即平方和的根。
在很多情况下，R可以直接取单位阵。加入R之后可解如下：
x = (A^TA + RTR)^(1)A^Tb
一些另外的取法。令R = a*L,L是对称LaplaceBeltrami算子。
L = V^(1/2) * C * V^(1/2)
V是一个voronoi area对角阵，C是一个系数对称cotangentweight矩阵。（cot(Betai,j） + cot(Betai,j)^）/2,Beta是相邻三角形的角度。
可以把L作特征值分解，L = QBQ^T，Q为正交矩阵。因为正交矩阵不改变Frobenius norm，所以：
|| RU || = || aLU || = a|| QBQ^TU || = a|| BQ^TU||
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题（附答案）
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级（上）数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016－2017学年上期八年级素质测查（二）语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题（无答案）
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷（附答案）
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题（必修一第四、五单元）
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 2018上半年全国教师资格笔试重要分析（高中地理）
- 全国教师资格证考试《历史学科知识与教学能力》（高级中学）
- 中学地理教师资格考试经典题目解析-地球自转和公转的运动规律
- 世界城市化的进程
- 教师资格考试：运用比较法把握重农抑商、闭关锁国政策的异同
- 中学地理教师资格考试经典题目解析-地球公转的地理意义
- 中学地理教师资格考试经典题目解析-太阳活动对地球的影响
- 2018上半年全国教师资格笔试重要分析 （初中地理）
- 中学地理教师资格考试经典题目解析-地球的内部结构
- 2013年教师资格考试中学历史复习知识分类之《中国古代史》
- 地理环境的水平分异规律
- 中学地理教师资格经典题目解析：地球公转的地理意义
- 我国自然灾害特点与分布
- 教师资格历史笔试专业知识——知识点梳理之中国现代史
- 中学地理教师资格证学科专业知识《可持续发展》
- 中学教师资格证地理学科专业知识《农业地域类型》
- 人口数量变化
- 地理教师资格考点讲解——农业区位因素
- 水循环及其主要环节
- 中学地理教师资格考试经典题目解析-地球在宇宙中
- 2017下半年教师资格《地理学科知识与能力（初中）》预测报
- 自然地理环境的垂直分异规律
- 城市内部空间结构的影响因素
- 2017下半年教师资格《地理学科知识与能力（高中）》预测报
- 教师资格考试初中区域地理常见题型解析
- 教师资格考试地理学科备考之南亚
- 教师资格考试：历史影视教学
- 海陆分布对大气环流(气压带和风带)的影响
- 中学地理教师资格经典题目解析：地球的内部结构
- 中学地理教师资格考试经典题目解析-沿地表水平运动物体的偏移
网友关注视频
- 精品·同步课程 历史 八年级 上册 第15集 近代科学技术与思想文化
- 外研版英语七年级下册module3 unit1第二课时
- 沪教版八年级下册数学练习册21.4（1）无理方程P18
- 苏教版二年级下册数学《认识东、南、西、北》
- 【部编】人教版语文七年级下册《过松源晨炊漆公店（其五）》优质课教学视频+PPT课件+教案，江苏省
- 19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
- 沪教版牛津小学英语（深圳用） 六年级下册 Unit 7
- 外研版英语七年级下册module1unit3名词性物主代词讲解
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案，安徽省
- 沪教版八年级下册数学练习册20.4（2）一次函数的应用2P8
- 外研版英语三起5年级下册（14版）Module3 Unit2
- 外研版英语七年级下册module3 unit2第二课时
- 沪教版牛津小学英语（深圳用） 四年级下册 Unit 3
- 冀教版英语三年级下册第二课
- 沪教版牛津小学英语（深圳用） 五年级下册 Unit 7
- 沪教版八年级下册数学练习册21.3（3）分式方程P17
- 人教版二年级下册数学
- 每天日常投篮练习第一天森哥打卡上脚 Nike PG 2 如何调整运球跳投手感？
- 冀教版英语五年级下册第二课课程解读
- 冀教版小学数学二年级下册第二单元《租船问题》
- 第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T3751175
- 二年级下册数学第一课
- 3.2 数学二年级下册第二单元 表内除法（一）整理和复习 李菲菲
- 沪教版牛津小学英语（深圳用） 五年级下册 Unit 10
- 30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
- 人教版历史八年级下册第一课《中华人民共和国成立》
- 苏科版数学八年级下册9.2《中心对称和中心对称图形》
- 化学九年级下册全册同步 人教版 第25集 生活中常见的盐（二）
- 外研版英语三起6年级下册（14版）Module3 Unit1
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题（含答案）
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理