模式识别中的核方法及其应用

章节摘录

插图：这些理论也为核方法的飞速发展奠定了基石。但线性方法有其固有的局限性，例如，异或问题虽然简单，但是线性方法却无力解决。2.第二阶段：一般非线性方法可以说非线性方法的模式识别应用主要归功于神经网络研究的发展。美国生物物理学家Hopfield的研究成果以及Rumelhart等人提出的反向传播学习算法纠等都为模式识别与机器学习领域的非线性革命贡献了力量。现实世界存在大量的非线性可分问题，非线性技术能将这些问题变换为线性可分问题，从而使这些问题的分类变得非常容易。在模式识别问题上取得的成功是非线性革命重要性的有力说明。但这时候的非线性算法建立在不完全统计分析的基础上，研究者对此类学习机的理解并不深刻，除了以上启发式非线性方法，另一类非线性技术一般建立在非线性映射的基础之上，而非线性映射的显式求解相对于线性情况要复杂得多，不仅求解的计算效率比较低下，而且某些大规模的学习模型甚至不可解。3.第三阶段：核方法的引入20世纪90年代中期，出现了基于核函数的模式识别方法。这种方法不仅使我们能高效地对数据分量间存在非线性关系的数据进行模式分析，而且方法本身建立在严格的统计分析基础之上，与线性统计分析方法一样有着扎实的理论背景。总的来说，核方法有以下两个优势：一是它在线性与非线性学习机间架起了一座桥梁，可以通过核空间的线性模型来解决非线性问题；二是引入核函数后借助于核技巧，使研究者不必显式地进行复杂的高维非线性映射。目前关于核方法的研究热点有以下几个方面。（1）降低核方法计算复杂度。支持向量机的应用受限制的一个很重要原因是需要求解凸二次优化问题，对于大规模样本的数据集，其计算具有较高的时间和空间复杂度。对于其他核方法来讲，特征抽取效率也具有与训练样本个数相关，且训练样本越多计算代价越大的缺点。因此，如何在不影响分类性能的前提下，降低计算复杂度、建立高效的基于核方法的特征抽取（变换）方法，成了核方法一个很重要的研究方向。（2）核参数优化。

前言

核方法是20世纪90年代模式识别与机器学习领域兴起的一场技术性革命。在继承非线性方法优点的基础上，核方法以清晰、简洁的形式为研究者指出了一条在模式识别与机器学习领域应用非线性技术的道路。其优势在于允许研究者在原始数据对应的高维空间使用线性方法来分析和解决问题，且能有效地规避“维数灾难”。在此之前，尽管研究者们很早就认识到将数据映射到高维空间有助于提高数据的可分性，但由于求解非线性映射的计算代价问题，一直没有找到好的实现途径。在模式识别的特征抽取领域，核方法最具特色之处在于其虽等价于先将原数据通过非线性映射变换到一高维空间后的线性特征抽取手段，但其不需要执行相应的非线性变换，也不需知道究竟选择何种非线性映射关系。与此同时，研究者可通过选择不同的核函数及其参数来调节相应的特征抽取效果。虽然具体的非线性映射关系是未知的，但由于核函数是非线性映射关系的具体反映（核函数指代特征空间中两个样本向量间的内积），通过对核函数及其参数进行选择即可达到对非线性映射关系进行优化的目的。目前，核方法已大量应用到机器学习、模式识别、生物特征识别、生物信息学、数据挖掘、机器视觉、图像去噪、工业自动化以及机械故障诊断等领域中。尽管核方法相对普通的非线性方法具有突出的优势，但在实际应用中仍然面临大训练集下实现效率低甚至不能实时应用的缺点。众所周知，利用线性方法对一个样本抽取特征时，只需将该样本投影到训练阶段得到的一个确定的变换矩阵（一组变换向量）上即可。而核方法对一个样本进行特征抽取时，需计算该样本与所有训练样本之间的核函数。因此，核方法的特征抽取效率会随着训练样本集的增大而下降。

书籍目录

第1章 引论1.1 解决模式识别问题的技术框架1.2 变换技术与特征抽取1.3 非线性变换与特征抽取1.4 核方法的发展及应用1.4.1 核方法的发展1.4.2 核方法的应用1.5 本书所关注的问题第2章 核方法简介2.1 KMSE及其改进2.1.1 MSE：KMSE的起源2.1.2 KMSE的形式化描述2.1.3 KMSE的改进及方程表达2.2 KPCA与特征抽取2.2.1 PCA描述2.2.2 PCA中核函数的引入2.2.3 基于KPCA的特征抽取2.3 核Fisher鉴别分析2.3.1 FDA的思路及描述2.3.2 KFDA的导出2.3.3 KFDA的改进及方程2.3.4 基于KFDA及其改进的特征抽取形式2.4 SVM简介2.5 核回归2.6 本章小结第3章 核方法目标函数及其优化方法3.1 Fisher准则的变形形式3.2 选择显著训练样本的算法3.3 分类实现3.4 针对多类问题的KFDA优化方案3.5 实验3.5.1 基准数据集实验结果3.5.2 Yale人脸数据库实验结果3.5.3 性别分类实验结果3.5.4 结论3.6 本章小结第4章 特征抽取结果的逼近与核方法改造4.1 简单的数值逼近观点及核方法改造4.1.1 KMSE优化方案及算法4.1.2 KMSE及其优化模型在多类问题中的应用4.1.3 实验结果4.1.4 结论4.2 适用于KMSE优化的一个特殊方法4.2.1 节点的选择4.2.2 分析与讨论4.2.3 实验4.2.4 小结4.3 另一种数值分析的观点4.3.1 FKMSE算法4.3.2 时间复杂度分析4.3.3 实验4.4 本章小结第5章 训练集的分析及核方法改造5.1 KMSE改进思路5.1.1 KMSE模型再分析5.1.2 改进KMSE的思路与算法5.2 实验5.3 本章 小结第6章 联合不同核方法的特征抽取方案6.1 利用KPCA确定KMSE的节点6.2 算法的进一步分析6.3 实验分析6.4 本章小结第7章 基于特征相关分析的核方法改进7.1 改进思路及算法7.2 改进KMSE的理论分析7.3 时间复杂度分析7.4 实验分析7.4.1 实验一7.4.2 实验二7.4.3 实验三7.5 本章小结第8章 核函数参数选择8.1 基于最小误差的KMSE核参数选择8.1.1 最优参数选择方案的设计8.1.2 实验8.1.3 结论与讨论8.2 KDA的核函数参数选择问题8.2.1 引言8.2.2 最优参数确定算法8.2.3 实验8.2.4 结论8.3 选择KMSE核参数的解析方法8.4 本章小结第9章 各核方法理论联系及再分析9.1 KPCA与KFDA间联系分析9.2 KMSE与其他核方法间的关联分析9.2.1 KMSE与KFDA间等效性讨论9.2.2 KMSE与LS-SVM等效性分析9.3 核方法改进的再探讨9.4 核方法研究动态9.5 小结第10章 基于产生核的非线性特征抽取框架10.1 引言10.2 从函数到产生核10.2.1 核的基本概念10.2.2 依据函数得出产生核10.3 产生核与GKPCA10.3.1 KPCA的特征方程及其变形10.3.2 GKPCA10.3.3 GKPCA的一个等效实现方案10.4 产生核与KFDA10.4.1 KFDA回顾10.4.2 GKFD10.4.3 FMS-LDA10.4.4 前文三方法的等效关系10.4.5 两类核相关的特征抽取方法10.5 实验10.6 本章小结参考文献

编辑推荐

《模式识别中的核方法及其应用》是由国防工业出版社出版的。

作者简介

《模式识别中的核方法及其应用》内容简介：特征抽取步骤是模式识别系统的核心和关键步骤之一，该步骤直接影响到系统性能的优劣。作为模式识别特征抽取领域的一次技术革命，核方法具有将线性不可分离数据变换为线性可分离数据的优越性能，从而为获得高分类正确率提供保障。核方法在模式识别、机器学习、计算机视觉、工业自动化与图像处理等领域的应用方兴未艾。

作为国内首部专门研究核方法的专著，《模式识别中的核方法及其应用》力图绕开晦涩的理论分析，从应用的角度对核方法及其优化进行形象而直观的阐述，并结合人脸识别、性别分类、字符识别等应用实例以及机器学习领域的基准数据集进行介绍。《模式识别中的核方法及其应用》在核方法的基础上，较为详细地总结了作者近几年的研究成果。全书共10章，主要内容包括：核方法简介，核方法目标函数与核方法改进，特征抽取结果的逼近与核方法改造，训练集的分析与核方法改造，联合不同核方法的特征抽取方案，基于特征相关分析的核方法以及核函数参数选择问题，各核方法间理论联系的分析，以及基于核的非线性特征抽取框架。

《模式识别中的核方法及其应用》既可作为计算机科学与技术、信息技术、自动化、电子工程等专业的科研用书和补充教材，还适合从事模式识别、生物特征识别、机器学习、计算机视觉、工业自动化、图像处理等研究的技术人员参考使用。

图书封面

---

 模式识别中的核方法及其应用下载

---