教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> IT计算机> 数据结构与算法> Adaboost算法入门详解_20130309

Adaboost算法入门详解_20130309

上传者:常涛
|
上传时间:2015-05-11
|
次下载

Adaboost算法入门详解_20130309



1?
?
Adaboost 算法入门详解
2013-03-02
zhangjdr@http://wendang.chazidian.com
一 AdaBoosting 算法的起源
boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的,当然
也会探讨针对可学习的问题的具体的学习算法。
PAC 定义了学习算法的强弱。弱学习算法---识别错误率小于1/2(即准确率仅比随机猜测略高的学习算法)。强学习算法---识别准确率很
高并能在多项式时间内完成的学习算法
同时 ,Valiant 和 Kearns 首次提出了 PAC 学习模型中弱学习算法和强学习算法的等价性问题,即任意给定仅比随机猜测略好的弱
学习算法 ,是否可以将其提升为强学习算法 ? 如果二者等价 ,那么只需找到一个比随机猜测略好的弱学习算法就可以将其提升为强学
习算法 ,而不必寻找很难获得的强学习算法。 也就是这种猜测,让无数牛人去设计算法来验证PAC 理论的正确性。
不过很长一段时间都没有一个切实可行的办法来实现这个理想。细节决定成败,再好的理论也需要有效的算法来执行。终于功夫不
负有心人, Schapire 在1996 年提出一个有效的算法真正实现了这个夙愿,它的名字叫AdaBoost。AdaBoost 把多个不同的决策树用一
种非随机的方式组合起来,表现出惊人的性能!第一,把决策树的准确率大大提高,可以与SVM媲美。第二,速度快,且基本不用
调参数。第三,几乎不Overfitting。我估计当时Breiman 和Friedman 肯定高兴坏了,因为眼看着他们提出的CART 正在被SVM比下
去的时候,AdaBoost 让决策树起死回生!Breiman 情不自禁地在他的论文里赞扬AdaBoost 是最好的现货方法(off-the-shelf,即“拿下
了就可以用” 的意思)。

二 AdaBoost 是一种迭代算法
AdaBoost 是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器,即弱分类器,然后把这些弱分类器集合起来,
构造一个更强的最终分类器。(很多博客里说的三个臭皮匠赛过诸葛亮)。算法本身是改变数据分布实现的,它根据每次训练集之中的
每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练,
然后将每次训练得到的分类器融合起来,作为最后的决策分类器。

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

从“控制”走向“治理”——政府职能转变视野中我国教师教育管理模式研究
软考论文案例_软件项目成本管理研究
(工商管理专业论文)利率市场化对商业银行的影响及其应对策略研究
试论中小学信息技术教学(一)
南宁市国有企业经营者薪酬管理的研究
论事业单位薪酬管理体制改革
给自己定位
影响白银走势的12种美国经济数据
基于Web的高职院校薪酬管理系统分析与设计
关于科技特派员制度长效运行机制研究——以江西省为例
提介使用数字化音乐教学手段,培养现代音乐教育人才
教育理论论文-浅谈安康市普通中学体育教学现状和发展对策研究
新疆公务员工资管理问题的研究
废旧衣服回收再利用
路振英论企业的激励机制与薪酬管理
“三制”下上海大学体育课程多元化教学模式的实践研究
国有企业薪酬管理存在的问题及对策探讨
(旅游管理专业论文)酒店公益营销研究
高校微生物学实验教学改革探索
西点军校
民营企业的薪酬管理现状及对策研究
关于现代体育教学组织形式的研究 Research on Organizing Forms in the Modern P.E Teaching
[最新]论文 范文【 精品】浅析PMC管理模式下的组织架构
政治宪法和宪法政治逻辑反思——论政治文明和中国宪政之路
建筑工程造价控制与管理 毕业论文
XBH十九岁的琴声
软件工程项目管理论文
结合传统文化进行文化旅游的发展与管理
计算机信息管理的论文下载_学术论文
同课异构课件2:第9课 记梁任公先生的一次演讲

网友关注视频

第4章 幂函数、指数函数和对数函数(下)_六 指数方程和对数方程_4.7 简单的指数方程_第一课时(沪教版高一下册)_T1566237
第8课 对称剪纸_第一课时(二等奖)(沪书画版二年级上册)_T3784187
冀教版小学数学二年级下册1
冀教版小学英语五年级下册lesson2教学视频(2)
外研版英语七年级下册module3 unit2第二课时
沪教版牛津小学英语(深圳用) 四年级下册 Unit 7
北师大版数学四年级下册3.4包装
沪教版牛津小学英语(深圳用) 六年级下册 Unit 7
苏科版数学 八年级下册 第八章第二节 可能性的大小
外研版八年级英语下学期 Module3
北师大版数学四年级下册第三单元第四节街心广场
外研版英语七年级下册module3 unit1第二课时
二年级下册数学第一课
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
人教版历史八年级下册第一课《中华人民共和国成立》
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
飞翔英语—冀教版(三起)英语三年级下册Lesson 2 Cats and Dogs
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
沪教版八年级下次数学练习册21.4(2)无理方程P19
小学英语单词
第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
【获奖】科粤版初三九年级化学下册第七章7.3浓稀的表示
河南省名校课堂七年级下册英语第一课(2020年2月10日)
苏教版二年级下册数学《认识东、南、西、北》
沪教版八年级下册数学练习册21.4(1)无理方程P18
外研版英语三起5年级下册(14版)Module3 Unit1
冀教版小学数学二年级下册第二单元《余数和除数的关系》
七年级英语下册 上海牛津版 Unit9
沪教版八年级下册数学练习册21.3(2)分式方程P15
七年级英语下册 上海牛津版 Unit5