Adaboost算法入门详解_20130309
上传者：常涛|上传时间：2015-05-11|密次下载
Adaboost算法入门详解_20130309
1?
?
Adaboost 算法入门详解
2013-03-02
zhangjdr@http://wendang.chazidian.com
一 AdaBoosting 算法的起源
boost 算法系列的起源来自于PAC Learnability(PAC 可学习性)。这套理论主要研究的是什么时候一个问题是可被学习的，当然
也会探讨针对可学习的问题的具体的学习算法。
PAC 定义了学习算法的强弱。弱学习算法---识别错误率小于1/2(即准确率仅比随机猜测略高的学习算法)。强学习算法---识别准确率很
高并能在多项式时间内完成的学习算法
同时 ,Valiant 和 Kearns 首次提出了 PAC 学习模型中弱学习算法和强学习算法的等价性问题,即任意给定仅比随机猜测略好的弱
学习算法 ,是否可以将其提升为强学习算法 ? 如果二者等价 ,那么只需找到一个比随机猜测略好的弱学习算法就可以将其提升为强学
习算法 ,而不必寻找很难获得的强学习算法。 也就是这种猜测，让无数牛人去设计算法来验证PAC 理论的正确性。
不过很长一段时间都没有一个切实可行的办法来实现这个理想。细节决定成败，再好的理论也需要有效的算法来执行。终于功夫不
负有心人， Schapire 在1996 年提出一个有效的算法真正实现了这个夙愿，它的名字叫AdaBoost。AdaBoost 把多个不同的决策树用一
种非随机的方式组合起来，表现出惊人的性能！第一，把决策树的准确率大大提高，可以与SVM媲美。第二，速度快，且基本不用
调参数。第三，几乎不Overfitting。我估计当时Breiman 和Friedman 肯定高兴坏了，因为眼看着他们提出的CART 正在被SVM比下
去的时候，AdaBoost 让决策树起死回生！Breiman 情不自禁地在他的论文里赞扬AdaBoost 是最好的现货方法（off-the-shelf，即“拿下
了就可以用”
的意思）。
二 AdaBoost 是一种迭代算法
AdaBoost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，
构造一个更强的最终分类器。(很多博客里说的三个臭皮匠赛过诸葛亮)。算法本身是改变数据分布实现的，它根据每次训练集之中的
每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练，
然后将每次训练得到的分类器融合起来，作为最后的决策分类器。
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题（附答案）
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级（上）数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016－2017学年上期八年级素质测查（二）语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题（无答案）
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷（附答案）
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题（必修一第四、五单元）
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（四十九）
- 2015教资国考：初中英语【连词】专项练习题（四）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（四十八）
- 2015教资国考：高中英语知识点（一）
- 2015教资国考：高中英语知识点（四）
- 2015教资国考：初中英语【介词】专项练习题一
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（四十）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（四十七）
- 2015教资国考：初中英语【介词】专项练习题二
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（四十六）
- 2015教资国考：初中英语【数词】专项练习题一
- 2015教资国考：初中英语【连词】专项练习题（五）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（五十五）
- 2015教资国考：初中英语【形容词副词】专项练习题一
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（三十七）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（五十八）
- 2015教资国考：高中英语知识点（三）
- 2015教资国考：初中英语【连词】专项练习题（三）
- 巧学英语强调句型
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（六十）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（五十二）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（六十一）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（五十七）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（三十九）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（四十一）
- 2015教资国考：初中英语【介词】专项练习题三
- 2015教资国考：初中英语【形容词副词】专项练习题三
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（五十三）
- 2015教资国考：英语词根词缀记忆法——通过词缀认识单词（五十四）
- 2015教资国考：初中英语【形容词副词】专项练习题四
网友关注视频
- 化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应（一）
- 七年级英语下册 上海牛津版 Unit3
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案，安徽省
- 二年级下册数学第二课
- 外研版英语三起5年级下册（14版）Module3 Unit1
- 人教版二年级下册数学
- 8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
- 沪教版牛津小学英语（深圳用） 五年级下册 Unit 7
- 人教版历史八年级下册第一课《中华人民共和国成立》
- 苏科版数学八年级下册9.2《中心对称和中心对称图形》
- 冀教版小学数学二年级下册第二单元《租船问题》
- 苏科版数学 八年级下册 第八章第二节 可能性的大小
- 沪教版八年级下册数学练习册一次函数复习题B组（P11）
- 苏科版数学七年级下册7.2《探索平行线的性质》
- 外研版英语七年级下册module3 unit1第二课时
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣
- 北师大版小学数学四年级下册第15课小数乘小数一
- 【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案，湖北省
- 二年级下册数学第三课 搭一搭⚖⚖
- 沪教版牛津小学英语（深圳用） 四年级下册 Unit 3
- 第19课 我喜欢的鸟_第一课时(二等奖)(人美杨永善版二年级下册)_T644386
- 【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案，安徽省
- 外研版英语三起6年级下册（14版）Module3 Unit1
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
- 沪教版牛津小学英语（深圳用） 四年级下册 Unit 12
- 二年级下册数学第一课
- 外研版英语七年级下册module1unit3名词性物主代词讲解
- 二次函数求实际问题中的最值_第一课时(特等奖)(冀教版九年级下册)_T144339
- 七年级英语下册 上海牛津版 Unit9
- 外研版英语三起6年级下册（14版）Module3 Unit2
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题（含答案）
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理