信息论基础

章节摘录

插图：

前言

（1）信息论简史信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。信息是系统传输和处理的对象，它载荷于语言、文字、数据、图像、影视、信号等之中，要研究信息处理和传输的规律，首先要对信息进行定量的描述，即信息的度量，这是信息论研究的出发点。但要对通常含义下的信息（如知识、情报、消息等）给出一个统一的度量是困难的，因为它涉及客观和主观两个标准，而迄今为止最成功、应用最广泛的是建立在概率模型基础上的信息度量，进而建立在此种信息量基础上的信息论成功地解决了信息处理和可靠传输中的一系列理论问题。切略（E.c.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙性语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。现代信息论实际是从20世纪20年代奈奎斯特（H.Nyquist，）和哈特莱（L.V.R.Hartley）的工作开始的，他们最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。克劳德·申农（Claude Shannon）于1948年发表的具有里程碑性质的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。申农开创性地定义了“信息”，他所定义的信息与语义无关，而是反映了将“信息”编码成由简单的0和1表示的语言的能力，由此整个通讯过程可表示成以下的过程，从一个信源发出的消息，经过编码后通过一个信道传输给接收者，接收者通过译码器将收到的信号复原成信源发出的原消息。申农证明了任何的信息源——文本、图像、影视、数据——都伴随着一个可定量化的信息内涵，它表示了可以如何有效地表达这类信息的能力，此即信息压缩的基础，比如，申农证明了任何人再聪明也不可能把英文文本压缩到1.5比特／字母。申农还揭示了人们通过一个有噪音的信道传输信息的有效性的极限，称之谓信道容量。申农以上的工作奠定了现在称之谓“信息论”的理论基础，他关于信息处理和可靠通讯的工作是当今无所不在的数据压缩、调制解调器、广播、电视、卫星通信、计算机存储乃至因特网通讯的理论基础。此外申农在第二次世界大战期间在密码方面的工作形成了现代信息安全系统的理论框架。

书籍目录

前言第一章 随机变量的信息度量1.1 自信息1.2 熵、联合熵、条件熵1.3 相对熵和互信息11.4 信息量的一些基本性质1.5 广义熵习题一第二章 随机过程的信息度量和渐近等分性2.1 信源和随机过程的基本概念2.2 随机过程的信息度量2.3 渐近等分性质2.4 渐近等分性在数据压缩中的应用——信源编码定理2.5 Shan：non.McMillan-Breiman定理习题二第三章 数据压缩和信源编码3.1 等长码3.2 变长编码3.3 哈夫曼（Huffman）码3.4 算术码3.4.1 申农一法诺码3.4.2 自适应算术码3.5 通用信源编码3.5.1 Lz算法3.5.2 Lzw（Lempel-ziv-Welch）算法3.5.3 Kieffer.Yang算法（基于语法的普适信源压缩算法）习题三第四章 数据可靠传输和信道编码4.1 离散无记忆信道和信道容量4.2 信道容量的计算4.2.1 拉格朗日乘子法4.2.2 信道容量的迭代算法4.3 信道编码理论4.3.1 一些定义和概念4.3.2 联合典型序列4.3.3 信道编码定理4.4 带反馈的信道模型4.5 联合信源信道编码定理4.6 线性分组码习题四第五章 限失真信源编码和率失真函数5.1 限失真信源编码模型和率失真函数5.1.1 限失真信源编码模型和率失真函数定义5.1.2 率失真函数的性质5.1.3 平稳信源的率失真函数5.2 率失真函数的计算5.2.1 一个简单的例子5.2.2 拉格朗日乘子法5.2.3 迭代算法5.3 限失真信源编码定理习题五第六章 连续信源和信道编码理论6.1 可微熵6.2 相对熵和互信息6.3 连续信源的率失真函数6.3.1 率失真函数和失真率函数6.3.2 高斯信源的率失真函数6.3.3 一般连续信源的率失真函数6.4 高斯信道6.4.1 有加性噪声的信道模型和信道容量6.4.2 复合高斯信道和平稳高斯信道习题六第七章 网络信息理论7.1 网络通信模型7.2 多变量联合典型序列7.3 多址信道7.3.1 二址信道模型和编码定理7.3.2 多址信道容量区域的计算7.3.3 高斯多址信道7.4 相关信源编码7.4.1 S1epian-Wolf模型7.5 相关信源和多址信道复合编码问题习题七参考文献

作者简介

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的的一般规律的学科。全书共分7章，内容包括：随机变量的信息度量；随机过程的信息度量；数据压缩和信源编码；数据可靠传输和信道编码；限失真数据压缩和率失真理论；网络信息理论；信息论应用等。既包括了信息论的基本理论，也设计了一些信息处理的算法及信息论在其他领域的应用。

本书可作为数学类信息与计算科学专业的教材，也可为其他专业同类课程所用。

---

 信息论基础下载

---