信息论基础

作者简介

《普通高等教育"十一五"国家级规划教材•信息论基础》是为高等学校信息与计算科学专业本科生编写的教材。内容包括概率论的基础知识，香农提出的有关信息量化的基本概念、方法和定理，以及信源的基本编码理论和信道的基本编码理论。《普通高等教育"十一五"国家级规划教材•信息论基础》可作为高等学校信息与计算科学专业以及信息类专业的教材，也可作为相关课程的教学参考书。

书籍目录

前言 第1章 绪论 第2章 概率统计的基础知识 　2．1 概率空间 　2．2 条件概率 　2．3 独立性 　2．4 随机变量 　　2．4．1 随机变量的基本性质 　　2．4．2 随机变量的独立性 　2．5 随机变量的数字特征 　　2．5．1 离散型 　　2．5．2 连续型 　2．6 大数定律 　习题2 第3章 离散信源的熵和信息量 　3．1 离散信源 　3．2 事件的互信息 　3．3 条件互信息和联合事件的互信息 　3．4 事件的自信息 　3．5 离散随机变量的平均自信息——熵 　3．6 熵的性质 　3．7 香农熵的公理化定义 　3．8 随机变量的鉴别信息和平均互信息 　　3．8．1 随机变量的鉴别信息 　　3．8．2 随机变量的互信息 　3．9 马尔可夫链和数据处理定理 　3．10 连续随机变量的互信息和微分熵 　　3．10．1 连续随机变量的互信息 　　3．10．2 连续随机变量的熵——微分熵 　　3．10．3 微分熵的极大化 　3．11 凸函数和互信息的凸性 　　3．11．1 凸函数的概念和性质 　　3．11．2 Kuhn-Tucker条件 　　3．11．3 互信息的凸性 　3．12 平稳离散信源 　　3．12．1 平稳离散信源的一般概念 　　3．12．2 平稳信源的熵 　　3．12．3 马尔可夫信源的熵 　习题3 第4章 离散信源的无错编码 　4．1 渐近等同分割性和离散无记忆信源的等长编码 　　4．1．1 渐近等同分割性 　　4．1．2 离散无记忆信源的等长编码 　4．2 离散无记忆信源的不等长编码 　　4．2．1 Kraft不等式 　　4．2．2 不等长编码定理 　　4．2．3 最佳不等长编码(Huffman编码) 　　4．2．4 其他不等长编码 　4．3　平稳信源和马尔可夫信源的编码定理 　　4．3．1 平稳信源的编码 　　4．3．2 马尔可夫信源的编码定理 　习题4 第5章 离散无记忆信道的容量和编码定理 　5．1 离散无记忆信道及其容量 　　5．1．1 信道容量的定义和举例 　　5．1．2 对称离散无记忆信道容量的计算 　　5．1．3 转移概率矩阵可逆信道的容量计算 　　5．1．4 离散无记忆信道容量的迭代计算 　5．2 信道的组合 　　5．2．1 积信道(平行组合信道) 　　5．2．2 和信道 　　5．2．3 级联信道 　5．3 离散无记忆信道的编码定理 　　5．3．1 几个有关定义 　　5．3．2 联合典型列对 　　5．3．3 信道编码定理 　习题5 参考文献

前言

　　信息科学是一门涉及面极广的、有着广泛应用的科学。其任务是研究信息的定义、性质、传输、处理、控制的基本原理和方法，也是现代信息科学和技术的一门基础理论。它的理论基础是从通信科学发展起来的信息论。香农提出的信息论是一种统计意义上的信息理论。这一理论对通信技术的发展产生了持久和深刻的影响。因此，目前各高等院校的信息类专业（包括信息与计算科学专业）都把信息论作为本科生的一门重要的专业基础课。同时，由于信息论的思想和方法已广泛地渗透到许多其他的学科，信息论的许多结果也有相当的普遍意义，因此信息论在许多其他领域（如计算机科学、系统科学、统计学、经济学甚至社会学）都获得了成功的应用。　　本书系作者根据多年教学实践经验编著而成。书中主要介绍了香农信息论的基本概念、基本方法和主要结果，并用基本的概率论工具阐述香农信息论的基本思想和基本方法。　　全书共分5章。第1章是绪论。第2章介绍了概率统计的基础知识，即使没有学习过概率统计的同学通过学习该章的内容后，也能够继续学习本书的后续内容。第3章介绍了信息量化的基本理论——熵及其性质。为了强调熵的相对性，我们从事件的互信息入手引入有关信息的量化概念，并由此导出事件自信息的概念，从而给出熵的严格定义。在介绍每一个概念的时候，我们都希望通过分析具体的例子，帮助读者理解相应的概念。在熵的概念基础上，我们着重介绍了平稳离散信源的信源熵的定义和计算理论。第4章介绍了信源的编码理论和方法，香农提出的典型列集合的概念在编码理论中起着至关重要的作用。我们用信息论的理论和方法阐述了离散无记忆信源的等长编码理论和不等长编码理论，特别详细地介绍了最佳不等长编码的理论和方法以及香农编码的基本方法，并从对策论的角度对比了这两种方法的实用有效性；该章还介绍了平稳有记忆信源（马尔可夫信源）的编码定理。第5章介绍了离散无记忆信道的容量和编码定理。我们首先从一般的意义上给出了信道容量的定义，这一概念的提出是信息传输理论中的一个里程碑，它极大地推动了信息理论的发展。然后我们介绍了几种简单易行的信道容量的计算方法。在该章的最后，我们介绍了信道编码理论的一个重要概念——联合典型列对，并简介了信道编码的基本思想。　　感谢吉林大学数学学院信息与计算科学专业的部分同学，他们阅读了本书的初稿，提出了许多有价值的参考意见。

章节摘录

　　信息论是应用近代概率统计方法研究信息传输、交换、储存和处理的一门学科，也是源于通信实践发展起来的一门新兴的应用科学。　　信息是系统传输、交换、储存和处理的对象，信息载荷在语言、文字、数据、图像等消息之中。在信息论中，信息和消息是紧密相关的两个不同概念。同样一个消息，如一张当日报纸，不同的人从中获得的信息是不一样的；同样的天气预报，如“明天有雨”，对于干旱地区和雨量充沛地区来说，其信息含量也不一样；一张纸写上几个字成为一封家书，对于收信者来说是家书抵万金，但对别人而言就可能是废纸一张。　　因此，信息是一种奇妙的东西，它是有别于物质和能量的一种存在。信息的本质和它的定义是当前科学界乃至哲学界热衷讨论的课题。　　信息的度量是信息论研究的基本课题。从目前的研究来看，要对通常意义下的信息给出一个统一的度量是困难的。至今最为成功也是最为普及的信息度量是由信息论创始人香农（Shannon）提出的，是建立在概率模型基础上的信息度量，他把信息定义为“用来消除不确定性的东西”，用概率的某种函数来描述不确定性是自然的，所以香农用来度量事件发生所提供的自信息，这个定义与人们的直觉经验相吻合。当不特别强调对数的底a具体是什么时，本书中将省略a的书写。

图书封面

---

 信息论基础下载

---