信息论及其应用

前言

　　信息论是研究信息传输和信息处理过程中一般规律的一门学科，也是现代信息科学和技术的一门基础理论。因此目前各高等院校的电子信息类专业的本科生、研究生都把信息论作为一门重要的专业基础理论课。同时，由于信息论的思想和方法已广泛地渗透到许多其他的学科，信息论的许多结果也有相当的普遍意义，因此信息论在许多其他领域，如在计算机科学、系统科学、统计学、经济学甚至在社会学中都获得了成功的应用。信息论对于从事这些相关领域工作和学习的人员来说也是极有参考价值的。　　本书系作者根据多年教学实践和经验编著而成。教材主要介绍了香农（Shannon）信息论的基本概念、基本分析方法和主要结果；同时介绍了香农理论在密码学、计算理论、系统科学和统计学方面的一些应用。本书避免使用过多的抽象数学理论，用基本概率论工具阐明香农信息论中的精华——典型列理论和随机编码方法。本书吸取了R.G.Gallagef和T.Cover所著的两本信息论经典著作的优点，结合编著者的教学经验，使得本书写得深入浅出，既保持理论的完整性和系统性，又概念清楚，易读好懂。

书籍目录

第一章绪论第二章 熵和互信息§2.1 离散信源的熵和信息量2.1.1 事件的互信息2.1.z条件互信息和联合事件的互信息2.1.3 事件的自信息2.1.4 离散随机变量的平均自信息——熵2.1.5 熵的性质2.1.6 随机变量的相对熵和平均互信息2.1.7 马尔可夫链和数据处理定理§2.2 连续随机变量的互信息和微分熵2.2.1 连续随机变量的互信息2.2.2 连续随机变量的熵——微分熵2.2.3 微分熵的极大化§2.3 凸函数和互信息的凸性2.3.1 凸函数的概念和性质2.3.2 Kuhn-Tucker条件2.3.3 互信息的凸性§2.4 平稳离散信源2.4.1 平稳离散信源一般概念2.4.2 平稳信源的熵2.4.3 马尔可夫信源§2.5 随机过程的信息量和熵习题第三章 离散信源的无错编码§3.1 AEP性质和离散无记忆源（DMS）的等长编码3.1.1 AEP性质3.1.2 离散无记忆源的等长编码§3.2 离散无记忆源（DMS）的不等长编码3.2.1 Kraft不等式3.2.2 不等长编码定理3.2.3 最佳不等长编码（Huffman编码）-."3.2.4 其他不等长编码方法3.2.5 Shannon编码的竞争最佳性（Competitiveoptimality）§3.3 平稳信源和马尔可夫信源的编码定理3.3.1 平稳信源的编码3.3.2 马尔可夫信源的编码习题第四章 离散无记忆信道（DMC）的容量和编码定理§4.1 离散无记忆信道（DMC）及其容量4.1.1 信道容量的定义和例子4.1.2 离散无记忆信道（DMC）的容量定理4.1.3 对称离散无记忆信道容量的计算4.1.4 转移概率矩阵可逆信道的容量计算4.1.5 离散无记忆信道（DMC）容量的迭代计算§4.2 信道的组合4.2.1 积信道（平行组合信道）4.2.2 和信道4.2.3 级联信道§4.3 离散无记忆信道（DMC）的编码定理4.3.1 几个有关定义4.3.2 联合典型列对4.3.3 信道编码定理4.3.4 Fano不等式和逆编码定理4.3.5 具有反馈的离散无记忆信道的容量4.3.6 信源一信道联合编码习题第五章 高斯信道§5.1 高斯信道概念5.1 l高斯信道的容量5.1.2 高斯信道编码定理5.1.3 高斯信道编码定理之逆§5.2 带限信道§5.3 平行高斯信道§5.4 有色高斯噪声信道§5.5 具有无噪反馈的高斯信道5.5.1 无记忆高斯信道上无噪反馈通信5.5.2 一阶自回归高斯信道上无噪反馈通信习题第六章 率失真理论§6.1 率失真函数的定义§6.2 简单信源的率失真函数计算6.2.1 贝努利信源6.2.2 高斯信源6.2.3 高斯矢量信源§6.3 率失真函数的性质6.3.1 R（D）的定义域（O，Dmax）6.3.2 尺（D）的向下凸性6.3.3 R（D）是单调递减的连续函数§6.4 率失真函数R（D）的参数表示式§6.5 率失真函数的迭代计算§6.6 限失真信源编码定理习题第七章 多用户信息论§7.1 多用户信息传输系统模型7.1.1 多元接入信道7.1.2 广播信道7.1.3 串扰信道7.1.4 中继信道7.1.5 相关信源的编码和译码§7.2 推广的联合典型序列及联合AEP性质§7.3 多接入信道§7.4 广播信道7.4.1 广播信道的定义7.4.2 退化的广播信道§7.5 相关信源的源编码习题第八章 密码学理论§8.1 古典密码学8.1.1 古典密码的例子8.1.2 古典密码的破译§8.2 基于信息论的密码学理论8.2.1 密码系统理论安全性测度8.2.2 密码系统的实用安全性§8.3 DES系统8.3.1 DES系统加密、解密运算的基本步骤8.3.2 DES系统中密钥的选取……第九章 最大信息原则和最大熵谱估计第十章 类型理论及其应用第十一章 Kolmogorov复杂性理论参考文献

作者简介

《信息论及其应用》分十一章，前七章是信息论的基础理论，后四章是应用篇。除第一章绪论外，第二章介绍信息量的定义和性质；第三章介绍离散信源的无错压缩编码；第四章介绍信道容量和信道编码定理；第五章介绍常见的连续信道——高斯信道；第六章介绍了失真受到限制的信源压缩编码理论——率失真理论；第七章介绍有多个发射机和多个收信机的信源编码和信道编码理论，也称为多用户信息论；第八章介绍密码学，特别介绍香农信息论对密码学的应用；第九章介绍在系统理论和信号处理中极为有用的最大信息原则和最大熵谱估计；第十章介绍类型理论及其在统计学和通用信源编码方面的应用；第十一章介绍Kolmogorov复杂性理论。

图书封面

---

 信息论及其应用下载

---