信息论与编码

章节摘录

　　第1章　绪论　　信息科学和工程以信息为研究对象，以信息的运动规律和利用信息的原理为主要研究内容，以扩展人类的信息处理能力为主要研究目标，是当代具有强大生命力和推动力的新兴学科。作为半个多世纪科学技术进步的主要标志之一，信息科学和工程广泛地应用于通信理论与技术、计算机科学与技术、电子工程、遥感遥测技术和人工智能等各个领域。信息科学和工程的一个重要的基础理论——信息论，是在长期的信息与通信工程实践中，与概率论、随机过程和数理统计等近代数学学科相结合而建立并发展起来的，它主要研究各类电子信息系统和通信系统中信息的描述、传输和处理的一般规律与基本关系。研究信息系统的有效性和可靠性理论的目的是实现系统的最优化。在今天的“信息化社会”中，信息理论对于各类实用信息系统的研制与应用都具有重要的指导作用。作为信息论的主要分支，信源编码着重研究信源的统计特性和信源的编码理论与数据压缩技术，是提高信息系统有效性的技术手段；信道编码研究如何检测和纠正信息通过有噪信道传输后发生的错误，是提高信息系统可靠性的技术手段。信道编码、信源编码是各类电子信息系统研究和开发中的关键技术课题。　　本章我们首先引出信息理论中最基本、最重要的概念——信息，简述信息理论及其主要应用领域——信源编码的主要研究内容、历史发展及现状。　　……

书籍目录

第1章　绪论1.1　信息的定义与性质1.1.1　信息的定义1.1.2　信息的性质1.2　信息论的主要研究内容1.3　信道编码的研究内容与发展简史1.4　信源编码的研究内容与发展简史1.4.1　数据压缩的必要性1.4.2　数据压缩的可能性和基本方法1.4.3　信源编码研究的发展简史与现状第2章　离散无记忆信源与信息熵2.1　离散无记忆信源2.2　自信息和熵2.2.1　自信息2.2.2　信源的信息熵2.3　熵函数的性质2.4　联合事件的熵及其关系2.4.1　联合事件的概率空间与概率关系2.4.2　联合熵、无条件熵和条件熵.2.4.3　各种熵之间的关系2.5　连续信源的信息测度2.5.1　连续信源的差熵2.5.2　差熵的基本性质习题2第3章　离散无记忆信道与互信息3.1　单符号离散无记忆信道及其转移概率3.2　信道疑义度3.3　范诺不等式3.4　互信息的定义3.4.1　符号间的互信息3.4.2　平均互信息3.5　平均互信息的基本性质3.6　平均互信息的凸性3.7　信息系统的可靠性和有效性问题3.8　连续信道的平均互信息3.8.1　单符号连续信道的平均互信息3.8.2　连续信道平均互信息的性质习题3第4章　信道与信道容量4.1　信道的描述和分类4.1.1　信道的描述4.1.2　信道的分类4.1.3　离散无记忆信道4.1.4　高斯白噪声加性波形信道4.2　信道容量的定义4.2.1　信息传输率4.2.2　信道容量4.3　离散信道的信道容量4.3.1　对称信道的信道容量4.3.2　准对称信道的信道容量4.3.3　可逆矩阵信道的信道容量4.4　离散无记忆信道容量的迭代算法4.5　连续信道的信道容量4.5.1　单符号高斯加性信道4.5.2　高斯白噪声加性信道的信道容量习题4第5章　有噪信道编码5.1　最简单的编码方法5.2　联合e典型序列5.3　有噪信道编码与Shannon第二编码定理5.4　Shannon理论对信道编码的指导意义5.4.1　二进制离散无记忆信道下的极限5.4.2　AWGN信道下的理论极限5.5　线性分组码5.5.1　线性分组码的编码5.5.2　最小距离译码5.5.3　伴随式译码5.5.4　分组码最小距离的边界5.6　卷积码5.7　Turho码习题5第6章　离散信源及其信息冗余6.1　信源的描述与分类……第7章　无失真信源编码第8章　限失真信源编码附录A　凸函数与颜森不等式附录B　线性代数基础部分习题参考答案

作者简介

《信息论与编码》系统地讨论了Shannon信息理论中的基本概念和相关问题，介绍了信道、信源编码的一般原理和基本方法。全书主要内容分为8章，包括绪论、离散无记忆信源与信息熵、离散无记忆信道与互信息、信道与信道容量、有噪信道编码、离散信源及其信息冗余、无失真信源编码和限失真信源编码。

《信息论与编码》可作为信息工程、通信工程、网络工程和计算机应用等相关专业高年级本科生及研究生的教材或教学参考书，也可作为从事信息理论、信息技术和通信系统研究的科研及工程技术人员的参考用书。

图书封面

---

 信息论与编码下载

---