统计学习理论的本质

当前位置:首页 > 社会科学 > 社会学 > 统计学习理论的本质

出版社:清华大学出版社
出版日期:2000
ISBN:9787302039648
作者:[美] Vladimir N. Vapnik
页数:226页

章节摘录

  0 引论  学习问题研究的四个阶段  学习问题的研究历史可以分为四个阶段,它们分别以下面四个重要事件为标志:  (1)第一个学习机器的创立;  (2)学习理论的基础的创立;  (3)神经网络的创立;  (4)神经网络的替代方法的创立。  在不同历史阶段有不同的研究主题和重点,所有这些研究基同勾画出了人们对学习问题进行探索的一幅复杂的(和充满矛盾的)图画。  0.1 Rosenblatt的感知器(60年代)  在35年多以前F.Rosenblatt提出了第一个学习机器的模型,称作感知器,这标志着人们对学习过程进行数学研究的真正开始①。从概念上讲,感知器的思想并不是新的,它已经在神经生理学领域中被讨论了多年。但是,Rosenblatt做了一件不寻常的事,就是把这个模型表现为一个计算机程序,并且通过简单的实验说明这个模型能够被推广。感知器模型被用来解决模式识别问题,在最简单的情况下就是用给定的例子来构造一个把两类数据分开的规则。

书籍目录

译序
第二版前言
第一版前言
0 引论:学习问题研究的四个阶段
0.1 Rosenblatt的感知器(60年代)
0.1.1 感知器模型
0.1.2 对学习过程分析的开始
0.1.3 对学习过程的应用分析与理论分析
0.2 学习理论基础的创立(60-70年代)
0.2.1 经验风险最小化原则的理论
0.2.2 解决不适定问题的理论
0.2.3 密度估计的非参数方法
0.2.4 算法复杂度的思想
0.3 神经网络(80年代)
0.3.1 神经网络的思想
0.3.2 理论分析目标的简化
0.4 回到起点(90年代)
第一章 学习问题的表示
1.1 函数估计模型
1.2 风险最小化问题
1.3 三种主要的学习问题
1.3.1 模式识别
1.3.2 回归估计
1.3.3 密度估计(Fisher-wald表示)
1.4 学习问题的一般表示
1.5 经验风险最小化归纳原则
1.6 学习理论的四个部分
非正式推导和评述——1
1.7 解决学习问题的传统模式
1.7.1 密度估计问题(最大似然方法)
1.7.2 模式识别(判别分析)问题
1.7.3 回归估计模型
1.7.4 最大似然法的局限
1.8 密度估计的非参数方法
1.9 用有限数量信息解决问题的基本原则
1.10 基于经验数据的风险最小化模型
1.11 随机逼近期间
第二章 学习过程的一致性
2.1 传统性的一致性和非平凡一致性概念
2.2 学习理论的关键定理
2.3 一致双边收敛的充分必要条件
2.4 一致单边收敛的充分必要条件
2.5 不可证伪性理论
2.6 关于不可证伪性的这定理
2.7 学习理论的三个里程碑
非正式指导和评述——2
2.8 概率论和统计学的基本问题
2.9 估计概率测度的两种方式
2.10 概率测度的强方式估计与官度估计问题
2.11 Glivenko-Cantelli及其推广
2.12 归纳的数学理论
第三章 学习过程收敛速度的界
3.1 基本不等式
3.2 对实函数集的推广
……
第四章 控制学习过程的推广能力
第五章 模式识别的方法
第六章 函数估计的方法
第七章 统计学习理论中的直接方法
第八章 邻域风险最小化原则与SVM
第九章 结论:什么是学习理论中重要的?
参考文献及评述
索引

编辑推荐

  《统计学习理论的本质》是在前一版的基础上修订而成的,书中主要介绍了统计学习理论和支持向量机的关键思想、结论和方法,以及该领域的最新进展。全书增加了关于SVM方法的三章新内容,其中包括把SVM方法推广到用于估计实值函数,基于(用SVM方法)求解多维积分方程的直接方法,以及经验风险最小化原则的扩展及其在SVM中的应用。该书可供各大专院校作为教材使用,也可供从事相关工作的人员作为参考用书使用。

作者简介

本书介绍了统计学习理论和支持向量机的关键思想、结论和方法,以及该领域的最新进展。统计学习理论是针对小样本情况研究统计学习规律的理论,是传统统计学的重要发展和补充。其核心思想是通过控制学习机器的容量实现对推广能力的控制。由Springer-Verlag出版社授权出版。

图书封面


 统计学习理论的本质下载 更多精彩书评



发布书评

 
 


精彩书评 (总计1条)

  •     有不对的地方还请大家指正 bow《统计学习理论的本质》 by Vapnik函数估计模型没有什么比用一个概率模型描述或然的现实世界更加保险的了,没有什么比用一个函数来描述一个计算过程更加有效的了.因果永远是理性思维最拿手的.X与Y的发生分别服从各自的分布,但如果(y|x)的分布特殊到某种境界,人们就会有兴趣去想象Y与X的因果关系.我们简化现实模型,将两者的关系夸张到y是x的函数的程度.目的是确定这个函数,根据任意未知的x,给出尽量接近y的预测.候选函数的集合由我们事先给定,计算机需要做的是根据已知的一些(x,y)从函数集合中选择一个尽量使得预测性能最好.风险最小化;经验风险最小化(ERM)最保守的风险最小化评价一定是要在真实(x,y)的概率分布下对差异积分.而真实概率分布是难以获取的,因此根据类似大数定理的思维方式,能大胆地认为在样例足够多的时候,可以用经验风险最小化的评价方法.也就是在评价时以学习样例完全代替(x,y)的真实概率分布.一致性;VC熵问题是这两种评价的结果是否总是在样例无穷多的时候一致地逼近最优值呢.于是有了很多与一致性等价的命题.一个重要的概念是VC熵,反映了函数集在数目为l的样本上期望的多样性.它与l的比当l趋于无穷的时候如果收敛,等价于一个"一致双边收敛"的命题.置信范围;VC维但无情的现实是样例数往往难以达到让我们认为它已经接近无穷多的程度,特别是在比如TC中还会遇到无处不在的Zipf定律.于是我们不得不估计样例数与两种评价结果差距的关系,这种差距叫做置信范围.由此又得到很多不等式.再引入函数集的VC维h.h刻画的是函数集肆意划分样例的能力,它也直接影响了置信范围.这种肆意划分的能力越小,说明置信范围可能越小.结构风险最小化(SRM)于是在l一定的时候,我们需要折中的就是选用的函数集的大小.将原有函数集表示成一个嵌套序列,使得他们的VC维h单调.首先选择风险上限(经验风险+置信范围)最低时对应的h和函数集子集,在从中选择经验风险最小的函数,这样的优化策略称为结构风险最小化.支持向量机(SVM);支持向量支持向量机(SVM)号称可以在保证经验风险固定较小的前提下,尽量最小化置信范围.其方法是在一个特征空间(好像要是Hilbert空间)上,找出划分两个点集的最优超平面,即使得两个点集沿该平面间隙最大.刚好落在这个间隙边上的向量叫做支持向量.这样的最大化据说就可以和置信范围最小化等价.VC维在这样的过程中是如何发生微妙变化的我还不太清楚.在两个点集不能用超平面完全划分的时候也有与此相适应的算法.推导显示求这样一个超平面,等价于求一个约束二次规划问题.核函数还有一个令人庆幸的事实是如果只要求训练这样的超平面并对以后的数据做划分.SVM并不需要知道样例在特征空间中的向量表达或者甚至不需要知道特征空间的维数.它只需要知道任意两个样例映射到此空间后向量的内积.而这样的内积可以在样例(训练集或测试集中的)被映射成某个不可琢磨的特征空间中的向量之前被计算出来,完成这样计算的函数叫核函数.即使样例到特征空间的映射关系都不知道,只要该核函数满足伟大的Mercer定理,这样的特征空间就总能存在,SVM就能工作.

精彩短评 (总计48条)

  •     看不懂。。。
  •     神作!!!涉及数学、统计学、科学哲学、计算机人工智能理论、计量理论。而且作者简直太有见地了!
  •     很有指导意义啊
  •     搞ML的必须要读读
  •     经典的书呀
  •     买了三本书一本C++ Primer中文版(第4版)像盗版,一本visual c++有破损,第三本就是这本还行,就这么个情况,下回去**买书了,不在这了
  •     这书(以及那本SLT)对我影响不小
  •     “Nothing is more practical than a good theory——Vapnik”
  •     替老公买的,老公很喜欢
  •     书自然不错,送货也可以,我很满意
  •     写的很好,但是需要数学基础,看懂需要杀死若干脑细胞。但确实不愧经典之名
  •     图书馆借来翻了翻。。好老的书。提不起兴趣看。(装作我看得懂)。
  •     很好的一本书,理论性很强,主要介绍SVM的基础知识,讨论相关学习算法
  •     强力不推荐任何人。即使是搞理论的
  •     理论绝对优雅,怪不得Vapnik大神看不起搞神经网络的那帮人
  •     这本书跟统计学习理论,差不多同时出的,不同点在于这本书更high level一些,没有纠缠于太细的细节,可以说这是学习vapnik统计学习理论的必读之书。
    同时,这本书,翻译得也不很不错,原书配合这本翻译版,可谓入门的最佳途径。
  •     真后悔接触ML一年后才看这书,真不知道为什么当初老师从没提过这本书。
  •     讲得透彻,有所启发!
  •     书各方面都很不错,满意!
  •     这本书作为了解SVM的本质部分实在太重要了,非常喜欢。
  •     集统计学习理论的大成,一般本领域科研人员使用足以。
  •     理论性非常强的一本书。里面的讲述是学习理论,已经基本上不涉及具体的分类器了。坦白讲自己也暂未吃透此书,所以不给评分了。
  •     经典书籍,很好
  •     太难,看不懂
  •     作者是SVM的发明人之一,数学帝,理论帝应当爱此书,我先闪了,后会有期……
  •     很赞
  •     这个算是科普版
  •     内容很好,绝对是老瓦几十年磨一剑的作品,虽然很难读懂,也要啃下来
  •     只能说适合大牛读吧 不适合初学者 以后有时间再看一遍 第一遍下来基本上没看懂【重读】
  •     总算看完,这一年有些累。。。还剩最后的冲刺
  •     【翻过】非常经典,但是非常的不好懂。只能说翻过,因为没几页看懂了的。也有清华的大牛说这书太老了。不过我相信这是本给机器学习理论奠基的书。
  •     很好,很有深度,正在认真学习
  •     经典之作 统计学习理论与统计学习理论的本质一起读,用了差不多10多天的时间,部分证明很多都跳过,但大概看过并不难理解。 书中的思路很清晰,而且很对称很完美,终于令我对学习理论有了新的理解,廓然一心的感觉,真心不错。
  •     涵盖了好多数学知识。
  •     学习问题看做一个基于经验数据进行函数估计的一般问题。统计学革命 Fisher理论体系被一种新的体系取代了,新的体系对于一个基本问题给出了新的回答 这个基本问题就是 对于一种未知的依赖关系,为了以观测为基础对它进行估计,人们必须对这种依赖关系先验知道些什么。严格的数学推理找到问题的关键是机器学习的关键
  •     统计学好书,强烈推荐!
  •     书边都没切好,很多锯齿,拿着都割手~
    不过书是经典,买了好好学习~~~~~~
  •     这本书很难,水很深。如果你没有基础,最好不要去碰,不然真的很打击人。当初学模式识别的时候看的,只看了其中一小段,就束之高阁了。
  •     通俗易懂的专业书籍。
  •     我记得原来有个翻译家说过,书被翻译过一遍就像死过一遍,不过鉴于此书的作者和译者的优秀发挥,此书还活着。
  •     是学习SVM,必须研究和学习的书籍。
  •     刚开始阅读,感觉还不错,对很多问题的实质讨论的比较好。
  •     : C8/1787
  •     没公式的看着就是舒服
  •     没什么感觉
  •     本书是机器学习领域的权威著作,内容上无可挑剔。

    但书籍装订质量较差,但看封面也非全新,虽能理解可能是由物流造成,但绝难让消费者十分满意。
  •     非常不错的统计学习理论摘要
  •     作为一个领域的经典著作,作为这个领域的一个外行来说,没法做深入的评论,只能说:好书
 

外国儿童文学,篆刻,百科,生物科学,科普,初中通用,育儿亲子,美容护肤PDF图书下载,。 零度图书网 

零度图书网 @ 2024