信息理论与编码

章节摘录

　　实践是科学的源泉，信息论作为一门科学，其形成、产生和发展也不例外。生产实践是人类物质和精神文明发展的基础，而物质与文明的进步又依赖于人类获取、传递、处理、加工和利用信息的能力。人类在生产过程中建立了人与人之间的关系，而要维护这种关系就必须要有信息，要进行通信。通信是人与人之间交流信息的手段。　　信息论作为真正意义上的一门科学，是从19世纪中叶开始的。19世纪中叶到20世纪40年代可以看做是信息论产生前的准备阶段。公认1948年香农发表的著名论文《通信的数学原理》标志着现代信息论的诞生，解决了通信传输中的一系列问题。现在，人们对信息论进行了更深入和广泛的研究，从原来的语法信息深入到语义信息和语用信息，即所谓广义信息论。　　17世纪到19世纪，由于牛顿力学的巨大影响，机械唯物论在科学领域中占有统治地位，机械唯物论者否认客观世界存在着偶然因素。但是正当绝大多数科学家都用牛顿力学的方式思考时，美国物理学家吉布斯（Gibbs·Josiah Willard）和奥地利物理学家波尔兹曼（Boltzmann·Ludwig）首先把统计学引入物理领域，使物理学对客观世界中存在的不确定性、和偶然性不得不加以考虑。把研究偶然性作为一种科学方法引入物理学，这是吉布斯的一大功绩，也为信息论的诞生作出了贡献。这种探究方法为信息理论的创立提供了方法论的前提。波尔兹曼指出熵是关于一个物理系统分子运动状态的物理量，表示分子运动的混乱程度，并且把熵和信息联系起来，提出“熵是一个系统失去了的‘信息’的度量”。将偶然性、熵函数引入物理学为信息论的产生提供了理论前提。

前言

　　信息是事物运动的状态和方式，是关于事物运动的千差万别的状态和方式的知识。人类社会的生存、发展都离不开信息的获取、传递、处理、控制和利用。　　信息论是整个信息科学发展的起源和基石。21世纪是高度信息化的时代，信息论不仅在通信领域中发挥越来越重要的作用，也是解决通信领域中相关问题的有力工具；而且由于信息理论蕴涵着独特的、有效的、新颖的解决问题的思路和方法，这一学科已渗透到其他相关的自然科学、社会科学领域，与计算机技术、电子技术、控制技术、网络技术、人工智能、生物工程、医学工程、管理科学等学科密切结合，显示了它的勃勃生机。因此，在现代科学技术高速发展的过程中，学习和掌握信息科学显得尤为重要。　　信息论是一门利用概率论、随机过程和数理统计等数学方法来研究信息的存储、度量、编码、传输、处理中一般规律的重要学科，是数学知识与通信技术相结合的边缘学科。自从香农1948年发表奠定信息论基础的“通信的数学理论”一文以来，信息科学有了很大的发展并已经延伸到许多领域中。当今，它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，从而获取最优信息系统。　　本书系统地介绍香农信息论的基本内容及其应用。全书注重基本概念、基本理论和基本分析方法的论述，并结合实例给出详细的数学推演过程和证明，力求概念清晰、结构严密、内容由浅入深、章节循序渐进。　　全书共8章。其中前3章是全书的理论基础，主要介绍信息论的基本理论知识。第1章阐述了信息的概念、信息论的研究内容以及应用范围等，期望为读者展示一个信息论的轮廓；第2章详细地讨论了信息的度量方法，侧重于信息的数学建模；第3章讨论信道，描述和分析了各种不同类型信道的模型和特性；第4章讨论信源无失真编码，目的在于提高信源的信息含量效率；第5章讨论信道编码，借此可解决传送的可靠性问题；第6章介绍信源有失真编码方法，对连续信源只能进行有失真编码；第7章介绍网络信息论的一些基本理论和新成果，论述多用户通信系统的信道容量、信道编码定理、实现编码定理的码的结构问题等理论、技术。第8章简要地探讨了信息安全、密码学，阐述用密码技术如何保证电子信息的有效性、保密性、完整性。

书籍目录

第1章　绪论　　1.1　信息的概念　　　1.1.1　信息概念的复杂性　　　1.1.2　信息的定义　　1.2　信息论的主要研究内容　　1.3　信息论的发展历程　　习题　第2章　信息的度量　　2.1　信源模型　　2.2　(概率)信息的描述　　2.3　不确定性与信息　　　2.3.1　自信息量　　　2.3.2　联合自信息量　　　2.3.3　条件自信息量　　　2.3.4　自信息量的性质和相互关系　　　2.3.5　互信息量及其性质　　2.4　离散随机变量的(统计)平均不确定性——离散熵　　　2.4.1　离散熵　　　2.4.2　离散熵的性质　　2.5　联合熵和条件熵　　　2.5.1　联合熵　　　2.5.2　条件熵　　　2.5.3　各类熵之间的关系　　2.6　平均互信息量及其性质　　2.7　离散无记忆信源的扩展　　2.8　离散平稳信源的熵　　2.9　马尔可夫信源的信息熵　　　2.9.1　马尔可夫链　　　2.9.2　马尔可夫信源　　　2.9.3　马尔可夫信源的信息熵　　2.10　离散信源的信息(速)率和信息含量效率　　2.11　连续随机变量下的熵和平均互信息量　　　2.11.1　连续随机变量的熵　　　2.11.2　连续随机变量下的联合熵、条件　熵以及平均互信息量　　　2.11.3　微分熵的极大化问题　　　2.11.4　连续信源的熵功率　　本章基本概念　　习题　第3章　信道模型和信道容量　　3.1　信道模型与信道分类　3.2　离散无记忆信道的数学模型　　3.3　概率的计算问题　　3.4　信道的疑义度、散布度和平均互信息　　　3.4.1　信道的疑义度　　　3.4.2　信道的散布度　　　3.4.3　信道的平均互信息　　3.5　信道容量C　　　3.5.1　信道容量的定义　　　3.5.2　离散无噪信道的信道容量　　　3.5.3　离散对称信道　　　3.5.4　一般DMC达到信道容量的充要条件　　　3.5.5　信道容量的迭代算法　　3.6　扩展信道及其信道容量　　　3.6.1　扩展信道的数学模型　　　3.6.2　扩展信道的平均互信息量和信道容量　　3.7　信道的组合　　　3.7.1　串联信道　　　3.7.2　独立并联信道　　3.8　信源与信道的匹配　　3.9　连续信道及其信道容量　　　3.9.1　连续信道的数学模型　　　3.9.2　加性高斯噪声信道的信道容量　　　3.9.3　一般加性噪声信道的信道容量的界　3.10　波形信道及其信道容量　　本章基本概念　　习题　第4章　离散无记忆信源无失真编码　　4.1　信源编码概论　　4.2　码的唯一可译性　　　4.2.1　常见码及其唯一可译性　　4.2.2　码树和Kraft不等式　　4.3　定长编码　　　4.3.1　离散无记忆信源的渐近均分性质　　　4.3.2　定长编码定理　　4.4　变长编码定理　　4.5　变长编码方法　　4.5.1　霍夫曼编码　　　4.5.2　费诺编码　　4.5.3　香农编码　　4.6　几种实用的无失真信源编码　　　4.6.1　游程编码　　　4.6.2　算术编码　　　4.6.3　基于字典的编码　　本章基本概念　　习题　第5章　有噪信道编码　　5.1　译码规则与错误概率　　5.2　两种典型的译码规则　　5.3　平均差错率与信道编码　　　5.3.1　“简单重复”编码　　　5.3.2　对符号串编码　　5.4　汉明距离与最小距离译码规则　　5.5　有噪信道编码定理　　　5.5.1　联合典型序列　　　5.5.2　有噪信道编码定理　　5.6　Fano不等式和有噪信道编码逆定理　　5.7　线性分组码　　　5.7.1　线性分组码的生成矩阵和校验矩阵　　　5.7.2　汉明距离和码的纠错、检错能力　　　5.7.3　线性码的伴随式与伴随式译码　　本章基本概念　　习题　第6章　限失真信源编码　　6.1　失真测度　　6.2　信息率失真函数及其性质　　　6.2.1　信息率失真函数的定义　　　6.2.2　信息率失真函数的性质　　6.3　限失真信源编码定理　　6.4　信息率失真函数的计算　　　6.4.1　离散信源信息率失真函数的参量表示计算方法　　　6.4.2　离散信源信息率失真函数的迭代计算方法　　本章基本概念　　习题　第7章　网络信息论基础　　7.1　概论　　7.2　网络信道的分类　　7.3　网络信源编码模型　　7.4　多随机变量联合典型序列　　7.5　相关信源编码定理　7.6　多址接入信道　　7.7　高斯多址接入信道　7.8　广播信道　　7.9　中继信道　　7.10　具有边信息的信源编码定理　　本章基本概念　　习题　第8章　信息安全与密码学基础　　8.1　信息安全概述　　8.2　网络模型与安全服务功能　　　8.2.1　开放系统互连(OSI)参考模型　　　8.2.2　安全分层原则　　　8.2.3　安全服务功能　　8.2.4　网络安全对策　　8.3　密码学基础知识　　　8.3.1　基本术语　　　8.3.2　代替密码　　8.4　密码算法的数学背景　　　8.4.1　信息论　　　8.4.2　复杂性理论　　　8.4.3　数论基础　　8.5　数据加密标准　　　8.5.1　数据加密标准的开发　　　8.5.2　DES算法概要　　　8.5.3　初始置换　　　8.5.4　密码运算函数f(R,K)　　　8.5.5　密钥置换　　　8.5.6　扩展置换　　　8.5.7　S盒替代　　　8.5.8　P盒置换　　　8.5.9　逆初始置换　　　8.5.10　DES的安全性　　8.6　公开密钥算法　　　8.6.1　公开密钥密码体制　　　8.6.2　背包公钥密码　　　8.6.3　RSA公钥加密　　　8.6.4　数字签名　　本章基本概念　　习题　参考文献　

编辑推荐

　　《信息理论与编码（第2版）》系统地论述了信息理论和编码的基本理论、基本技术和基本方法，内容丰富，结构合理，论述准确.语言流畅，逻辑性强。通俗易懂。《信息理论与编码（第2版）》的论述力求理论与实际相结合，理论推导力求概念清晰、简明扼要。适合理工科学生学习。在每章的最后有本章主要概念，对本章主要概念、主要公式进行总结，便于学生复习。每章之后附有习题，以帮助读者掌握相关知识点内容，另配有习题解答供读者参考。《信息理论与编码（第2版）》可作为高等院校通信类、电子信息类、电子工程类等相关专业本科生的专业教材或研究生的教学参考书，也可供从事通信、电子信息、电子工程等方面的工程技术人员参考。

作者简介

《信息理论与编码(第2版)》系统地介绍香农信息论的基本内容及其应用全书共8章前3章是全书的理论基础，主要介绍信息论的基本理论知识；第4章讨论信源无失真编码，目的在于提高信源的信息含量效率；第5章讨论信道编码，借此可解决传送的可靠性问题；第6章介绍信源有失真编码方法；第7章介绍网络信息论的一些基本理论和新成果，论述多用户通信系统的信道容量、信道编码定理、实现编码定理的码的结构问题等理论、技术；第8章简要阐述用密码技术如何保证电子信息的有效性、保密性、完整性。

《信息理论与编码(第2版)》可作为高等院校通信、信息类专业和相关专业本科生教材或教学参考书，也可作为相关领域科研人员、工程技术人员的参考书。

图书封面

---

 信息理论与编码下载

---