信息论与编码理论

作者简介

《信息论与编码理论(第2版)》主要介绍信息论和编码理论的基本内容，其特点是简明扼要，可读性强，既具有较严谨的数学描述与推导，又注意到信息论的实用背景，其中许多典型问题已在通信工程中得到实际应用。

全书共分12章。主要内容包括：信息的度量、信源编码、信道编码定理、编码理论中用到的基本抽象代数知识、编码理论的基本概念和基本问题、线性码、hamming码、循环码、bch码、reed-solomon码、golay码、reed-muller码、平方剩余码、goppa码以及信息论和编码理论的应用。《信息论与编码理论(第2版)》每章末均附有习题，其中部分习题是对正文内容的补充。

《信息论与编码理论(第2版)》可作为高等院校信息科学专业、计算机科学专业、通信专业以及相关专业的本科生教材，也可供相关领域的研究生、教学与科研人员，以及工程技术人员参考。

书籍目录

第1章  引言  1.1  信息论的发展概况    1.1.1  信息论的早期酝酿    1.1.2  Shannon信息论的建立与发展    1.1.3  信息论的近期发展    1.1.4  信息论在信息技术领域中的应用  1.2  信息论与编码理论的主要内容    1.2.1  信息的度量问题    1.2.2  通信系统的基本模型    1.2.3  通信系统中信息的传递过程    1.2.4  通信系统的概率统计模型    1.2.5  通信系统的序列模型  1.3  本书内容简介与文献介绍    1.3.1  内容简介    1.3.2  有关著作和文献介绍    1.3.3  对有关记号的说明  习题1    第一部分  信息论第2章  信息量  2.1  熵    2.1.1  离散随机变量的不肯定性    2.1.2  不肯定性的特征与表示    2.1.3  熵的简单性质与例子  2.2  联合熵和条件熵    2.2.1  联合熵的记号    2.2.2  条件熵的定义与性质  2.3  熵的基本性质    2.3.1  对数函数的基本不等式与熵函数的最大值    2.3.2  熵函数的可加性    2.3.3  Fano不等式  2.4  互熵与互信息    2.4.1  互熵    2.4.2  互信息    2.4.3  条件互信息  2.5  凸函数及其应用    2.5.1  凸函数的定义与它的判别    2.5.2  Jenson不等式与它的应用  2.6  连续型随机变量的信息量    2.6.1  连续型随机变量的Shannon熵    2.6.2  多维连续型随机变量的Shannon熵    2.6.3  其他连续型随机变量的信息量  2.7  最大熵原理    2.7.1  有限区间情形的最大熵    2.7.2  半开区间情形的最大熵    2.7.3  全直线情形的最大熵    2.7.4  多维连续型随机变量的最大熵  习题2第3章  信源编码  3.1  信源编码问题    3.1.1  信源编码    3.1.2  定长编码与变长编码    3.1.3  信源变长码的编码问题    3.1.4  信源序列的定长编码问题  3.2  前缀码和即时码    3.2.1  唯一可译变长码的构造    3.2.2  Kraft不等式  3.3  信源变长码的编码定理    3.3.1  最优变长码平均码长的下界估计    3.3.2  最优变长码平均码长的上界估计    3.3.3  无记忆信源平均码长的上界和下界估计  3.4  Huffman信源编码算法    3.4.1  Huffman编码的实例分析    3.4.2  Huffman编码的一般算法  3.5  Huffman信源编码性能分析    3.5.1  Huffman编码的前缀性    3.5.2  Huffman编码的最优性    3.6  信源定长码的编码定理  习题3第4章  信道编码定理  4.1  信道编码问题    4.1.1  通信系统的编码误差    4.1.2  信道序列的编码问题  4.2  离散无记忆信道    4.2.1  离散无记忆信道的一般定义    4.2.2  几种特殊的离散无记忆信道  4.3  无记忆信道的信道容量    4.3.1  信道容量的一般定义    4.3.2  无记忆信道序列的容量性质  4.4  信道容量的计算    4.4.1  凸函数的极大值性质    4.4.2  信道容量的计算  4.5  信道的编码和译码问题  4.6  信道的正编码定理和反编码定理  4.7  可加高斯(Gaussian)信道  习题4    第二部分  抽象代数第5章  抽象代数的基本知识  5.1  群  5.2  环和域  5.3  理想和商环  5.4  域上的多项式  5.5  有限域  5.6  域上的线性代数  习题5    第三部分  编码理论第6章  编码理论的基本知识  6.1  码的基本概念    6.1.1  码的定义    6.1.2  Hamming距离和Hamming重量    6.1.3  译码策略    6.1.4  系统码  6.2  码的检错和纠错能力  6.3  编码理论的基本问题    6.3.1  码的等价变换    6.3.2  编码理论的一些界  习题6第7章  线性码  7.1  线性码的定义  7.2  线性码的对偶码  7.3  线性码的译码方法  7.4  线性码的重量分布  习题7第8章  Hamming码  8.1  Hamming码的定义  8.2  Hamming码的性质  8.3  Hamming码的译码方法  8.4  二元Hamming码的对偶码  习题8第9章  循环码  9.1  循环码的定义  9.2  循环码的性质  9.3  循环码的校验矩阵及其对偶码  9.4  循环码的编码方法  9.5  循环码的检错性能  习题9第10章  BCH码和Reed-Solomon码  10.1  BCH码及其基本性质  10.2  Reed-Solomon码及其基本性质  10.3  BCH码和Reed-Solomon码的译码方法  10.4  Reed-Solomon码和最大距离可分码的重量分布  习题10第11章  几种重要的线性码  11.1  Golay码  11.2  Reed-Muller码    11.2.1  布尔函数    11.2.2  Reed-Muller码  11.3  平方剩余码  11.4  Goppa码  习题11    第四部分  信息论和编码理论的应用第12章  若干应用问题  12.1  有失真的数据压缩    12.1.1  有失真信源编码问题    12.1.2  有失真信源的率失真函数    12.1.3  有失真信源编码的可达速率    12.1.4  率失真函数的计算    12.1.5  有失真信源编码定理    12.1.6  数据压缩问题概述    12.1.7  数据压缩问题的实例分析    12.1.8  数据压缩技术的主要分析指标  12.2  卷积码理论及其应用    12.2.1  卷积码的构造    12.2.2  卷积码的树结构    12.2.3  卷积码的译码算法    12.2.4  卷积码的应用  12.3  几种实用的编码问题    12.3.1  汉字编码    12.3.2  计算机代码    12.3.3  图形码  习题12主要参考文献

章节摘录

　　第1章 引言 　　信息和信息科学是两个常见的名词，它们的内容十分广泛，尤其是在当今的信息社会中，有着十分重要的意义与丰富的含义。哲学家将信息与物质、能量相并列，作为构成世界的三大要素之一。信息已成为推动当今社会文明与发展的主要因素。信息技术的产业和产品在社会生产和生活中的比重越来越大。　　在本章中，我们将介绍信息论和编码理论的基本情况，其中包括信息论和编码理论的发展过程以及重要的应用领域，同时还将介绍信息度量的基本要求和通信系统的数学模型。通过这些介绍，可使读者对信息论和编码理论的全貌有一个基本的了解。　　1.1 信息论的发展概况　　信息的概念是一个普遍的概念。从细胞分裂到植物、动物的遗传与进化，从语言文字到动作表情都有信息表达与传递。但是信息论的产生和发展与通信、计算机技术的产生和发展密切相关。回顾它的历史，大体可以分为早期酝酿、理论建立、理论发展、理论应用与近代发展等几个阶段。我们对此做一个简单的回顾。　　……

图书封面

---

 信息论与编码理论下载 更多精彩书评

---