信息论、编码及应用

章节摘录

　　第1章 绪 论　　信息论是人们在长期的通信工程实践中，将通信技术、概率论、随机过程和数理统计相结合而逐步发展起来的一门科学信息息论的奠基人是当代数学家、美国贝尔实验室杰出的科学家香农（C．E．Shannon）．他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，把人类社会推进到了一个信息化时代。随着信息理论的发展和概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学这一更广阔的领域。　　在涉及这门课程的具体内容之前，有必要首先从一般意义上阐述信息的基本含义，然后，再把视野集中到信息论特定的研究范畴中，并指明信息论的假设前提和解决问题的基本思路。这样，才能帮助读者在学习这门课程之前,有一个正确的思路，以便其更好地理解和掌握本书各章中的具体内容。　　1.1 信息的一般含义　　自古以来，人类就生活在信息的海洋之中。当今，人们越来越广泛地采用“信息”这一词语，那么．信息的含义到底是什么呢？从信息论的众多应用中，我们大致可以从以下几个方面来理解信息的含义。　　1．信息是作为通信的消息来理解的　　从这个意义上讲，信息是人们在通信¨寸所要告诉对方的“某种内容”。例如，你给朋友写一封信，你所告诉他的是关于你的学习、工作和生活等方面的信息；医生从听诊器中听到关于心脏病患者的信息；等等。总之，这些通信者要告诉对方的消息，或是想要得到的消息，就是人们常说的所谓信息。　　一般而言，我们可以把任意两点问的通信或信息在其问的流通情况，归纳为图1-1所示的简化模型。发出信息的通信者称为”信源”，接收信息者称为“信宿”，信息流通的通道称为“信道”。只要发生了信息的流通过程，我们就说进行了某种形式的通信；反之．只要进行了通信，就必定有信息的流通与交换。　　通过上述分析可知．信息流通的主要功能是，把本来相互离散的人类个体，连接成为紧密相关的社会整体。因此，信息不但是人与人之间，而且也是整个人类社会，以至于人类社会与自然界之间的“黏合剂”。没有信息的世界，必定是一个沉寂的世界。没有信息的流通与交换，对于人类社会来说，简直是不可思议的事情。　　2．信息是作为运算的内容而明确起来的　　在这种情况下，信息是人们进行运算和处理所需要的条件、内容和结果，常常表现为数字、数据、图表、内容和结果，并以数字、数据、图表和曲线等形式出现。　　例如，商品价格表上的数字是告诉顾客商品价格的信息，出租汽车的计程表上的数字是显示汽车行驶路程的信息，等等。　　信息已广泛应用于计算机科学技术领域中。图1 2是计算机的一般功能示意图。用作计算用的计算机，根据计算的方法和条件（原始输入信息），编制出计算程序，经过运算之后（一般称做处理）得到相应的解答，并以数字或图形的形式送至用户（输出信息）。稍为复杂的计算过程往往不是一次完成的，它需要把中间的运算结果作为补充的输入信息，反馈到适当的环节，再进行演算。作控制用的计算机，首先要将理想的控制目标和被控对象的实际原始状态（输入信息）送给计算机，经过处理得到相应的输出信息，并根据这个信息去控制被控对象，然后将理想控制目标与实际控制的误差作为补充信息反馈回去，修正和调整相应的控制程序，直至控制的误差在允许的范围内，达到控制的。　　无论用于运算或用下控制，计算机的作用都是对输入信息进行某种形式的处理，从而获得所需的输出信息。　　3．信息是作为人类感知的来源而存在的　　信息也是人类自身进化的一个基本条件，人类在与外部世界的联系中产生了感知信息和利用信息的需求，闪而逐渐形成和发展了自己的信息器官，如眼、耳、口、脑等。形成和发展这些器官，正是为了从自然界获取信息和利用信息来强化自己，战胜自然。　　任何一种生物，如果完全不能从外部世界获得必要的信息，它就无法感知外部世界的变化，当然也就不可能实时地调整自己的状态，改善外部环境的关系来适应这种变化。　　这样的生物必然受到自然的淘汰而无法生存，更无从谈到改造外部世界了。　　今天能够存在的一切生物，不论它们多么简单和低级，都必然有它独特的从外界获取信息的本领。在这种意义上，我们可以说，具备从外部世界获取信息和利用信息的能力，是一切生物得以生存的必要条件。生物越高级，它获取和利用信息的本领也就越高强。　　4．国内外字、词典中有关信息的定义　　我们可以在国内外字、词典中找到有关信息的定义。我国的《辞海》中对信息一词的注释是：“信息是指对消息接受者来说预先不知道的报道。”　　……

书籍目录

第1章.绪论
 1.1 信息的一般含义
 1.2 信息论的基本思路
 1.3 信息论研究的对象和内容
 1.4 保密通信的基本理论及其应用
 1.5 信息论的划分范畴
 1.6 信息论的发展简史
 习题1
第2章 离散信源及其信息测度
 2.1 单符号离散信源的数学模型
 2.2 自信息和信息函数
 2.3 信息熵
 2.3.1 信息熵的数学表达式
 2.3.2 信息熵的物理含义
　2.4 信息熵的基本性质
 2.4.1 信息熵及其熵函数表示
 2.4.2 对称性
 2.4.3 非负性
 2.4.4 确定性
 2.4.5 连续性
 2.4.6 扩展性
 2.4.7 归一化联合概率和条件概率及其推广形式
 2.4.8 强可加性
 2.4.9 可加性
　2.5 联合熵和条件熵的分解与计算
　2.6 信息熵的解析性质
 2.6.1　n型凸函数及其不等式
 2.6.2 U型凸函数及其不等式
 2.6.3 熵函数的极值性
 2.6.4 熵函数的上凸性
　2.7 离散信源的最大熵值
　2.8 多符号离散平稳信源
　2.9 多符号离散平稳无记忆信源及其信息熵
 　2.9.1 信源xn的信源空间
 　2.9.2 信源Xn的联合熵
　2.10 多符号离散平稳有记忆信源及其信息熵
 　……
第3章 离散信道及其信道容量
第4章 连续信源与连续信道
第5章 无失真信源编码和有噪信道编码简介
第6章 保密通信的基本概念与方法
第7章　数学图像加密
参考文献

作者简介

《信息论、编码及应用》内容简介：包括绪论、离散信源及其信息测度、离散信道及其信道容量，连续信源与连续信道、无失真信源编码和有噪信道编码简介、保密通信的基本概念与方法、数字图像加密。《信息论、编码及应用》压缩了一部分偏深偏难的内容和一些偏重于理论证明方面的内容，重点突出对信息论、编码理论及保密通信的基本原理和基本概念的分析与叙述，便于教学与自学。

图书封面

---

 信息论、编码及应用下载

---