神经网络与机器学习（原书第3版）

章节摘录

版权页：插图：0.1什么是神经网络自从认识到人脑计算与传统的数字计算机相比是完全不同的方式开始，关于人工神经网络（一般称为“神经网络”（neural network））的研究工作就开始了。人脑是一个高度复杂的、非线性的和并行的计算机器（信息处理系统）。人脑能够组织它的组成成分，即神经元，以比今天已有的最快的计算机还要快许多倍的速度进行特定的计算（如模式识别、感知和发动机控制）。例如，考虑人类视觉，这是一个信息处理任务。视觉系统的功能是为我们提供一个关于周围环境的表示，并且更重要的是提供我们与环境交互（interact）所需的信息。具体来说，完成一个感知识别任务（例如识别一张被嵌入陌生场景的熟悉的脸）人脑大概需要100～200毫秒，而一台高效的计算机却要花费比人脑多很多的时间才能完成一个相对简单的任务。再举一个例子：考虑一只蝙蝠的声呐。声呐就是一个活动回声定位系统。除了提供目标（例如飞行的昆虫）有多远的信息外，蝙蝠的声呐可以搜集目标的相对速度、目标大小、目标不同特征的大小以及它的方位角和仰角的信息。所有这些信息都从目标回声中提取，而所有需要的复杂神经计算只在李子般大小的脑中完成。事实上，一只回声定位的蝙蝠可以灵巧地以很高的成功率追逐和捕捉目标，这一点足以使雷达或声呐工程师们自叹弗如。那么，人脑或蝙蝠的脑是如何做到这一点的呢？脑在出生的时候就有很复杂的构造和具有通过我们通常称为的“经验”来建立它自己规则的能力。确实，经验是经过时间积累的，人脑在出生后头两年内发生了非常大的进化（即硬接线），但是进化将超越这个阶段并继续进行。一个“进化中”的神经系统是与可塑的大脑同义的。可塑性（plasticity）允许进化中的神经系统适应（adapt）其周边环境。可塑性似乎是人类大脑中作为信息处理单元的神经元功能的关键，同样，它在人工神经元组成的神经网络中亦是如此。最普通形式的神经网络，就是对人脑完成特定任务或感兴趣功能所采用的方法进行建模的机器。网络一般用电子元件实现或者用软件在数字计算机上模拟。在本书中，我们集中介绍一类重要的神经网络，这类网络通过学习过程来实现有用的计算。为了获得良好性能，神经网络使用一个很庞大的简单计算单元间的相互连接，这些简单计算单元称为“神经元”或者“处理单元”。据此我们给出将神经网络看作一种自适应机器的定义。

内容概要

Simon Haykin 于1953年获得英国伯明翰大学博士学位，目前为加拿大McMaster大学电子与计算机工程系教授、通信研究实验室主任。他是国际电子电气工程界的著名学者，曾获得IEEE McNaughton金奖。他是加拿大皇家学会院士、IEEE会士，在神经网络、通信、自适应滤波器等领域成果颇丰，著有多部标准教材。

本书是关于神经网络的全面的、彻底的、可读性很强的、最新的论述。全书共15章，主要内容包括Rosenblatt感知器、通过回归建立模型、最小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主分量分析、自组织映射、信息论学习模型、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波等。

本书适合作为高等院校计算机相关专业研究生及本科生的教材，也可供相关领域的工程技术人员参考。

书籍目录

出版者的话

译者序

前言

缩写和符号

术语

第0章  导言1

0.1  什么是神经网络1

0.2  人类大脑4

0.3  神经元模型7

0.4  被看作有向图的神经网络10

0.5  反馈11

0.6  网络结构13

0.7  知识表示14

0.8  学习过程20

0.9  学习任务22

0.10  结束语27

注释和参考文献27

第1章  Rosenblatt感知器28

1.1  引言28

1.2  感知器28

1.3  感知器收敛定理29

1.4  高斯环境下感知器与贝叶斯分类器的关系33

1.5  计算机实验：模式分类36

1.6  批量感知器算法38

1.7  小结和讨论39

注释和参考文献39

习题40

第2章  通过回归建立模型28

2.1  引言41

2.2  线性回归模型：初步考虑41

2.3  参数向量的最大后验估计42

2.4  正则最小二乘估计和MAP估计之间的关系46

2.5  计算机实验：模式分类47

2.6  最小描述长度原则48

2.7  固定样本大小考虑50

2.8  工具变量方法53

2.9  小结和讨论54

注释和参考文献54

习题55

第3章  最小均方算法56

3.1  引言56

3.2  LMS算法的滤波结构56

3.3  无约束最优化：回顾58

3.4  维纳滤波器61

3.5  最小均方算法63

3.6  用马尔可夫模型来描画LMS算法和维纳滤波器的偏差64

3.7  朗之万方程：布朗运动的特点65

3.8  Kushner直接平均法66

3.9  小学习率参数下统计LMS学习理论67

3.10  计算机实验Ⅰ：线性预测68

3.11  计算机实验Ⅱ：模式分类69

3.12  LMS算法的优点和局限71

3.13  学习率退火方案72

3.14  小结和讨论73

注释和参考文献74

习题74

第4章  多层感知器77

4.1  引言77

4.2  一些预备知识78

4.3  批量学习和在线学习79

4.4  反向传播算法81

4.5  异或问题89

4.6  改善反向传播算法性能的试探法90

4.7  计算机实验：模式分类94

4.8  反向传播和微分95

4.9  Hessian矩阵及其在在线学习中的规则96

4.10  学习率的最优退火和自适应控制98

4.11  泛化102

4.12  函数逼近104

4.13  交叉验证107

4.14  复杂度正则化和网络修剪109

4.15  反向传播学习的优点和局限113

4.16  作为最优化问题看待的监督学习117

4.17  卷积网络126

4.18  非线性滤波127

4.19  小规模和大规模学习问题131

4.20  小结和讨论136

注释和参考文献137

习题138

第5章  核方法和径向基函数网络144

5.1  引言144

5.2  模式可分性的Cover定理144

5.3  插值问题148

5.4  径向基函数网络150

5.5  K-均值聚类152

5.6  权向量的递归最小二乘估计153

5.7  RBF网络的混合学习过程156

5.8  计算机实验：模式分类157

5.9  高斯隐藏单元的解释158

5.10  核回归及其与RBF网络的关系160

5.11  小结和讨论162

注释和参考文献164

习题165

第6章  支持向量机168

6.1  引言168

6.2  线性可分模式的最优超平面168

6.3  不可分模式的最优超平面173

6.4  使用核方法的支持向量机176

6.5  支持向量机的设计178

6.6  XOR问题179

6.7  计算机实验:模式分类181

6.8  回归：鲁棒性考虑184

6.9  线性回归问题的最优化解184

6.10  表示定理和相关问题187

6.11  小结和讨论191

注释和参考文献192

习题193

第7章  正则化理论197

7.1  引言197

7.2  良态问题的Hadamard条件198

7.3  Tikhonov正则化理论198

7.4  正则化网络205

7.5  广义径向基函数网络206

7.6  再论正则化最小二乘估计209

7.7  对正则化的附加要点211

7.8  正则化参数估计212

7.9  半监督学习215

7.10  流形正则化：初步的考虑216

7.11  可微流形217

7.12  广义正则化理论220

7.13  光谱图理论221

7.14  广义表示定理222

7.15  拉普拉斯正则化最小二乘算法223

7.16  用半监督学习对模式分类的实验225

7.17  小结和讨论227

注释和参考文献228

习题229

第8章  主分量分析232

8.1  引言232

8.2  自组织原则232

8.3  自组织的特征分析235

8.4  主分量分析：扰动理论235

8.5  基于Hebb的最大特征滤波器241

8.6  基于Hebb的主分量分析247

8.7  计算机实验：图像编码251

8.8  核主分量分析252

8.9  自然图像编码中的基本问题256

8.10  核Hebb算法257

8.11  小结和讨论260

注释和参考文献262

习题264

第9章  自组织映射268

9.1  引言268

9.2  两个基本的特征映射模型269

9.3  自组织映射270

9.4  特征映射的性质275

9.5  计算机实验Ⅰ：利用SOM解网格动力学问题280

9.6  上下文映射281

9.7  分层向量量化283

9.8  核自组织映射285

9.9  计算机实验Ⅱ：利用核SOM解点阵动力学问题290

9.10  核SOM和相对熵之间的关系291

9.11  小结和讨论293

注释和参考文献294

习题295

第10章  信息论学习模型299

10.1  引言299

10.2  熵300

10.3  最大熵原则302

10.4  互信息304

10.5  相对熵306

10.6  系词308

10.7  互信息作为最优化的目标函数310

10.8  最大互信息原则311

10.9  最大互信息和冗余减少314

10.10  空间相干特征316

10.11  空间非相干特征318

10.12  独立分量分析320

10.13  自然图像的稀疏编码以及与ICA编码的比较324

10.14  独立分量分析的自然梯度学习326

10.15  独立分量分析的最大似然估计332

10.16  盲源分离的最大熵学习334

10.17  独立分量分析的负熵最大化337

10.18  相关独立分量分析342

10.19  速率失真理论和信息瓶颈347

10.20  数据的最优流形表达350

10.21  计算机实验：模式分类354

10.22  小结和讨论354

注释和参考文献356

习题361

第11章  植根于统计力学的随机方法366

11.1  引言366

11.2  统计力学367

11.3  马尔可夫链368

11.4  Metropolis算法374

11.5  模拟退火375

11.6  Gibbs抽样377

11.7  Boltzmann机378

11.8  logistic信度网络382

11.9  深度信度网络383

11.10  确定性退火385

11.11  和EM算法的类比389

11.12  小结和讨论390

注释和参考文献390

习题392

第12章  动态规划396

12.1  引言396

12.2  马尔可夫决策过程397

12.3  Bellman最优准则399

12.4  策略迭代401

12.5  值迭代402

12.6  逼近动态规划：直接法406

12.7  时序差分学习406

12.8  Q学习410

12.9  逼近动态规划：非直接法412

12.10  最小二乘策略评估414

12.11  逼近策略迭代417

12.12  小结和讨论419

注释和参考文献421

习题422

第13章  神经动力学425

13.1  引言425

13.2  动态系统426

13.3  平衡状态的稳定性428

13.4  吸引子432

13.5  神经动态模型433

13.6  作为递归网络范例的吸引子操作435

13.7  Hopfield模型435

13.8  Cohen-Grossberg定理443

13.9  盒中脑状态模型445

13.10  奇异吸引子和混沌448

13.11  混沌过程的动态重构452

13.12  小结和讨论455

注释和参考文献457

习题458

第14章  动态系统状态估计的贝叶斯滤波461

14.1  引言461

14.2  状态空间模型462

14.3  卡尔曼滤波器464

14.4  发散现象及平方根滤波469

14.5  扩展的卡尔曼滤波器474

14.6  贝叶斯滤波器477

14.7  数值积分卡尔曼滤波器:基于卡尔曼滤波器480

14.8  粒子滤波器484

14.9  计算机实验：扩展的卡尔曼滤波器和粒子滤波器对比评价490

14.10  大脑功能建模中的

卡尔曼滤波493

14.11  小结和讨论494

注释和参考文献496

习题497

第15章  动态驱动递归网络501

15.1  引言501

15.2  递归网络体系结构502

15.3  通用逼近定理505

15.4  可控性和可观测性507

15.5  递归网络的计算能力510

15.6  学习算法511

15.7  通过时间的反向传播512

15.8  实时递归学习515

15.9  递归网络的消失梯度519

15.10  利用非线性逐次状态估计的递归网络监督学习框架521

15.11  计算机实验：Mackay-Glass吸引子的动态重构526

15.12  自适应考虑527

15.13  实例学习：应用于神经控制的模型参考529

15.14  小结和讨论530

注释和参考文献533

习题534

参考文献538

编辑推荐

《神经网络与机器学习(原书第3版)》：神经网络是计算智能和机器学习的重要分支，在诸多领域都取得了很大的成功。在众多神经网络著作中，影响最为广泛的是Simon Haykin的《神经网络原理》（第3版更名为《神经网络与机器学习》）。在《神经网络与机器学习(原书第3版)》中，作者结合近年来神经网络和机器学习的最新进展，从理论和实际应用出发，全面、系统地介绍了神经网络的基本模型、方法和技术，并将神经网络和机器学习有机地结合在一起。《神经网络与机器学习(原书第3版)》不但注重对数学分析方法和理论的探讨，而且也非常关注神经网络在模式识别、信号处理以及控制系统等实际工程问题中的应用。《神经网络与机器学习(原书第3版)》的可读性非常强，作者举重若轻地对神经网络的基本模型和主要学习理论进行了深入探讨和分析，通过大量的实验报告、例题和习题来帮助读者更好地学习神经网络。本版在前一版的基础上进行了广泛修订，提供了神经网络和机器学习这两个越来越重要的学科的最新分析。《神经网络与机器学习(原书第3版)》特色  ·基于随机梯度下降的在线学习算法；小规模和大规模学习问题。  ·核方法，包括支持向量机和表示定理。  ·信息论学习模型，包括独立分量分析（1CA）、相关独立分量分析和信息瓶颈等。  ·随机动态规划，包括逼近和神经动态规划。  ·逐次状态估计算法，包括卡尔曼和粒子滤波器。  ·利用逐次状态估计算法训练递归神经网络。  ·富有洞察力的面向计算机的实验。

作者简介

神经网络是计算智能和机器学习的重要分支，在诸多领域都取得了很大的成功。在众多神经网络著作中，影响最为广泛的是Simon Haykin的《神经网络原理》（第3版更名为《神经网络与机器学习》）。在本书中，作者结合近年来神经网络和机器学习的最新进展，从理论和实际应用出发，全面、系统地介绍了神经网络的基本模型、方法和技术，并将神经网络和机器学习有机地结合在一起。

本书不但注重对数学分析方法和理论的探讨，而且也非常关注神经网络在模式识别、信号处理以及控制系统等实际工程问题的应用。本书的可读性非常强，作者举重若轻地对神经网络的基本模型和主要学习理论进行了深入探讨和分析，通过大量的试验报告、例题和习题来帮助读者更好地学习神经网络。

本版在前一版的基础上进行了广泛修订，提供了神经网络和机器学习这两个越来越重要的学科的最新分析。

本书特色：

1. 基于随机梯度下降的在线学习算法；小规模和大规模学习问题。

2. 核方法，包括支持向量机和表达定理。

3. 信息论学习模型，包括连接、独立分量分析（ICA）、一致独立分量分析和信息瓶颈。

4. 随机动态规划，包括逼近和神经动态规划。

5. 逐次状态估计算法，包括卡尔曼和粒子滤波器。

6. 利用逐次状态估计算法训练递归神经网络。

7. 富有洞察力的面向计算机的试验。

图书封面

---

 神经网络与机器学习（原书第3版）下载 更多精彩书评

---