☰
信息论基础|第一章 绪论 学习总结
2026/10/12 2:24:35 网站建设 项目流程

前言
信息论是一门以近代数理统计方法为工具,研究信息的传输、存储与处理的交叉学科。第一章绪论作为全书开篇,没有复杂的公式推导,主要介绍信息论的发展历史、信息的本质定义、完整的通信系统模型,区分消息、信息、信号三者概念,理解信息论的研究对象与研究意义,为后续学习自信息、熵、信源编码、信道编码奠定基础。
一.信息论的诞生与发展

1948年,香农在《Bell System Technical Journal》发表划时代论文《通信的数学理论》,宣告信息论正式诞生。1949年,香农又发表《噪声下的通信》。这两篇论文阐明了通信的基本问题,建立通信系统模型,给出信息量的数学表达式,解决信道容量、信源统计特性、信源编码、信道编码等一系列基础问题,成为信息论的奠基著作。
信息论是通信的数学理论,应用近代数理统计方法研究信息的传输、存储与处理,它是随着通信技术的发展而形成和发展起来的一门新兴的交叉学科。《通信的数学理论》第一次提出了信息熵的概念。信息是信息论中最基本和最重要的概念,同时也是一个既复杂又抽象的概念。
在香农建立完整信息论体系之前,不少学者已经为该领域做出重要铺垫:
1.奈奎斯特:1924年,开始研究电报信号传输中脉冲速率与信道带宽之间的关系;1928年发表论文,建立限带信号的采样定理,为信号传输奠定理论基础。
2.哈特莱:首次提出消息是符号,而不是内容,把消息和信息两个概念区分开来。并且率先提出使用对数函数来度量信息的多少,认为消息所含信息量等于消息取值个数的对数。
3.阿姆斯特朗:提出增大宽带可以加强通信系统的抗干扰能力。
香农在前人研究的基础上,创造性引入概率论来分析通信问题。为了解决噪声信道下有效传输信息的难题,香农对信息给出科学的定量描述,第一次提出信息熵的概念。
香农在前人研究的基础上,创造性引入概率论来分析通信问题。为了解决噪声信道下有效传输信息的难题,香农对信息给出科学的定量描述,第一次提出信息熵的概念。
香农信息定义:>信息是对事物运动状态或者存在方式的不确定性的描述。通信的根本目的,就是消除或者部分消除接收端的不确定性。
如果一件事件是确定会发生的,那么它不包含任何信息;事件发生的不确定性越大,该事件所携带的信息量就越大。
举个简单例子:抛掷一枚硬币,正反面结果不确定,我们收到抛掷结果就获得信息;如果是一个必然发生的事件,比如太阳东升,这个事件几乎不存在不确定性,因此几乎不携带信息。
二、信息、消息、信号的联系与区别
在日常生活中,人们经常混淆消息和信息,认为收到消息就等于获得信息。但在信息论中三者是完全不同的概念:

图片知识概括
1.消息信息的载体,是信源输出的具体内容。可以是文字、语音、图画、歌曲、视频等。消息可以被传递、交换,消息本身不等于信息。
2.信息消息中蕴含的抽象内容,作用是消除接收者的不确定性,是通信真正要传递的对象。
3.信号消息的物理表现形式,是在信道当中实际传输的物理波形,比如电信号、光信号。将这三个的联系与区别汇成一个表格或图片,使读者能够很好的了解。
消息、信息与信号的关系:消息是载体,信息是内容,信号是物理表现。
三.通信系统模型⭐⭐⭐⭐⭐

(1.)信源:信息的来源称为信源,可以是人,机器或者其他事物。虽然信源是信息来源,但是信源本身不会直接输出信息,信源输出的是信息的载体 —— 消息。
消息有很多表现形式,比如一段文字、一幅图画、一首歌、一段视频;文字、符号、语言、图片、图像、音频、视频全部都属于消息类型。消息携带信息,消息是信息的载体,信源输出的消息具备随机性、不确定性,但是消息有确定的统计规律,所以一般可以用随机变量、随机矢量去描述信源。

(2.)编译器:编码器将信息变为符号或者对应的符号序列,目的是提高传输有效性。
(3.)调制器:调制器负责将编码器输出的符号转换为适合信道传输的信号,目的是,提高传输效率(使远距离传输成为可能)。
(4.)信道:信道是信息传输的通道,始于调制器,终于解调器,它是包括收发设备在内的物理设施。
信道最明显特点:信道普遍存在噪声与干扰。为简化系统分析,工程上会做等效处理:把系统其他位置产生的干扰全部等效集中放到信道里面,统一称为
高斯白噪声
,只单独分析信道里面噪声,降低模型复杂度。
(5.)解调器:解调器用于信息的接收端,负责将信道输出信号转换为符号,是调制器的逆变换。调制 ↔ 解调是一对互逆操作
(6.)译码器:译码器位于信息的接收端,是编码器的逆变换。编码 ↔ 译码是一对互逆操作
(7.)信宿:信宿是信息的接收者,及接收消息的人或物。
四.📖本章课后习题

  1. 简述信息的概念和特点。
    ​2. 说明信息、消息及信号之间的联系与区别
    五.知识概括

    六.📌第一章绪论小结
    第一章绪论是信息论的入门章节,帮助我们搭建起这门课程的整体框架。信息论是以数理统计为基础,研究信息传输、存储与处理的交叉学科,1948年香农发表《通信的数学理论》,标志着信息论正式诞生,香农也从概率、不确定性角度给出了信息的科学定义。本章需要重点区分信息和消息:信源输出的是消息,消息作为载体,可以是文字、图像、音频、视频等形式;而信息是隐藏在消息之中,用来消除事物不确定性的抽象内容。信源发出的消息具有随机性,但存在统计规律,因此可以利用随机变量、随机矢量对信源进行数学建模,为后续定量计算信息量做好铺垫。 本章核心是香农通信系统七模块模型,香农将各类狭义、广义通信统一抽象为信源、编码器、调制器、信道、解调器、译码器、信宿七个部分。发送端完成消息编码与调制送入信道,信道传输时会叠加噪声;接收端通过解调、译码还原消息交付给信宿,编码与译码、调制与解调分别构成两组互逆操作。不同编码有着不同目标:信源编码追求有效性,信道编码追求可靠性,加密编码追求安全性,其中有效性和可靠性是通信中的一对核心矛盾。 绪论以定性介绍为主,主要建立概念认知,后面章节将会在此基础上引入数学公式,完成从定性理解走向定量分析。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询