如果要问信息是什么?
恐怕很多人第一时间都非常疑惑。
“信息就是信息啊,还能是什么?”
信息是一个非常抽象的概念。
随便写一个字,一句话,或者是一篇文章,其中都包含了信息。
此外,哪怕不用文字也能传递信息。
比如华夏的烽火狼烟,就是靠烟尘传递军事情报,并没有使用任何文字信息。
所以,任何人都能知道信息的含义。
但是,如果要你给出信息的严格定义,并且如何去描述信息,恐怕大部分人就要抓瞎了。
这不仅是普通人的问题,也是科学家的问题。
真实历史上,信息学的诞生和发展与物理学有着紧密的联系。
20世纪初期,随着电子、通信等技术的蓬勃发展,当时的工程师们遇到了一个问题。
“如何表征信息的量呢?”
比如,你想要给远方的亲戚送点礼物。
你可以在信中说,盒子里有五种糕点,六种水果,还有一个小铜镜等。
这些数字都是精确的信息。
亲戚虽然无法亲眼见到你,但是他在看到这些信息后,就能自己核对。
这看起来是一个非常简单的问题。
但是,通信工程师们却为此犯了愁。
他们需要先把这些文字信息编码成电子信息。
然后,再通过翻译、压缩、控制等等手段,使其能够在电线中以光速传播。
在这个过程中,不管是机器的计算要求,还是业务的收费要求,都需要清晰地知道信息的量到底有多少。
那么“五种糕点”和“六种芒果”哪个表述的信息量更大呢?
或者,再来个更极端的例子,一张只有5个字的白纸,和一张只有500字的白纸,哪个的信息量更大?
早期电报刚开始运营时,收费是直接按照所发字的数量来收。
五个字比一个字贵。
这就会引起疑问。
“难道发五个字比一个字就更费电吗?”
这其中就涉及到了信息量的问题。
这个问题在普通人看起来十分简单,但如果想要从科学上进行严格证明那就非常困难了。
后来,随着计算机理论的出现,科学家们对于信息定量的需求越来越迫切。
于是,信息论诞生了。
它是专门研究信息的理论。
真实历史上,1948年,美国数学家、密码学家香农发表了一篇震惊学界的论文:《通信的数学理论》。
在这篇论文里,香农首次提出了“信息熵”的概念。
他借鉴了热力学中关于熵的概念,把信息中排除了冗余信息后的平均信息量称为“信息熵”。
在热力学中,熵表示微观系统可能的状态数量,或者是混乱程度。
而信息熵表示各个可能事件发生的概率。
在论文中,香农给出了信息熵的数学表达公式:H(x)=-∑plogp(p表示事件发生的概率)。
至此,对于信息的量化度量问题得到解决,科学家们以后就可以用定量的方式来研究信息。
这时,可以给信息下一个较为严格的定义:
“信息是用来消除不确定性的东西,不确定性越大,信息量越大。”
但是这里要注意一个问题。
信息熵是建立在计算机通信、01编码等基础上的严格数学概念。
它是专门为了计算机而诞生的一门理论科学。
在具体操作和计算层面上,信息熵可以理解为存储信息所需的最小比特数。
而真实世界的信息熵计算是非常非常复杂的,甚至根本没有办法计算。
一般都是通过信息熵的变化量来解决问题。
此外,同样的一句话,可能不同的人从这句话中得到的信息量都是不一样的。
比如同样一张脸,有人得出“美”的信息,有人却得出“丑”的信息。
这种带有联想和个人经验性质的抽象信息,不是香农提出的信息熵所包含的范围。
总之,香农发表这篇论文,提出信息熵概念,标志着信息论的诞生。
他本人也顺理成章地被称为“信息论之父”。
信息论出现之后,计算机理论和技术得到了飞跃式的发展。
并且催生出后来璀璨至极的信息时代。
这时,可能有人发现问题了。
“咦?那信息和麦克斯韦妖有什么关系?”
“甚至它和物理学又有什么关系吗?”
在信息论发展早期,没有人能说清楚信息和真实物理世界的关系。
信息仿佛是物质、能量之外的第三种存在方式。
比如,一个苹果放在那里,关于它有很多信息,味道、质量、颜色等等。
此刻若苹果消失了,那么物质和能量都消失了,但是关于苹果的信息却没有消失。
我们即便看不见苹果了,也知道它的味道。
但是从另一个角度看,信息又不能脱离物质和能量单独存在。
如果宇宙在下一刻,所有物质和能量突然消失,那么宇宙中还存在信息吗?
或者说,此时的信息还有“意义”吗?
总之,信息和物质、能量的关系非常朦胧不清。
这时,有人突发奇想:
“如果信息和物理世界是统一的,那么信息量也应该视为一种物理量。”
但是这个观点却存在两个问题。
第一,在物理学中,描述一个物理系统的状态,需要用到各种物理量,比如速度、能量等。
这些物理量都有着自己的量纲,说明它们是通过测量得到的。
比如热力学中熵的量纲是J\/K。
但是信息熵却只有单位,并没有量纲。
因为信息熵并不需要测量,而是通过数学计算事件发生的概率。
量纲是表征物理量性质的属性,而单位仅仅表示物理量的大小。
二者在本质上就有区别。
所以,信息量能否当成物理量值得商榷。
当然,这个问题可以通过扩大物理量的定义来解决。
但是第二个问题就不好解决了。
在物理学中,物理系统状态的改变意味着需要对系统做功。
而做功又代表了系统能量的变化。
但是信息状态的改变,或者说信息熵的改变,需要消耗能量吗?
比如,一张写了5个字的纸和一张写了100个字的纸,哪张纸的能量更大呢?
又或者,你在电脑上打字,打完不满意,你又把字全部删除了。
这个过程中,如果不考虑电阻等因素,请问信息的改变是否消耗能量了?
这是一个非常有意思的问题。
问题的本质可以总结为:信息和能量是否有关系?有什么关系?
解决这个问题的关键,其实就是热力学中的“熵”。
还记得克劳修斯提出的那个公式吗?
“dS=dQ\/T。”
在这个公式中,他把熵和热量联系在了一起。
进一步推广,那就是熵的改变对应能量的改变。
这可是了不得的发现。
不过克劳修斯当时并没有把这个公式当成一回事。
他甚至都觉得熵这个概念是可有可无的东西。
就好像是数学中的辅助线,有了它只是为了方便理解问题而已。
把克劳修斯熵公式和玻尔兹曼的微观熵公式结合在一起,我们就能对熵和能量进行精细的处理了。
真实历史上,信息论的另一位大佬,兰道尔,把信息熵和热力熵联系起来。
他提出这样一个观点:“所有的信息都需要物理载体。”
“在处理信息的同时,必然会对这些物理载体进行操作。”
“而物理载体需要受到物理定律的约束。”
比如计算机中的各种信息都是存储在硬盘上。
我们在修改信息的时候,其实在微观层面上,对组成硬盘的物质进行了操作。
如此一来,兰道尔就把信息和物理世界串联起来了。
正是在这一思想的指导下,他于1961年提出了著名的兰道尔原理。
“擦除1比特的信息,至少需要向环境中耗散kTln2的能量”。
其中,k表示玻尔兹曼常数,T表示环境温度。
通过公式转换,该原理可以变成另一种表述方式:
“擦除1比特的信息,会导致环境的熵至少增加kln2。”
兰道尔原理让信息不再游离于物理世界之外,而是和物理实体有了深刻的联系。
后来,更是有大佬豪言道:“宇宙就是一台量子计算机。”
又有大佬说:“万物源于量子比特。”
不过,这些观点目前看都太虚无缥缈了。
但是很快,物理学家就找到一个信息论改变物理学的例子。
那就是在香农和兰道尔的基础上,可以从信息的角度完美地解释麦克斯韦妖猜想!
而现在,不要说兰道尔原理,就连香农都还只是个小屁孩呢。
信息论连影子都没有。
因此,在场众人,包括物理大佬们,对于信息的内涵知之甚少。
当他们听到“信息”这个词后,皆是满脸震撼。
随即又充满了疑惑。
因为“信息”这个词好像已经超脱了物理学的范畴。
“信息是什么角度?”
“麦克斯韦妖怎么和会信息有关呢?”
“物理学中好像没有信息这个物理量吧?”
众人瞬间议论纷纷。
奥本海默、汪德昭等人瞪大了双眼。
布鲁斯教授难道又要提出一个全新的理论?
“从来没有人从信息的角度思考过物理学问题。”
“这个观点太创新了!”
“实在难以想象,信息怎么会和物理学产生联系。”
郎之万、德布罗意等大佬神色激动,眼神锐利。
在他们看来,这个观点非常有意思。
众人虽然对信息不了解,那是因为这门理论还没有出现,根本没有人系统地研究过。
但是这不代表大家不知道信息是什么意思。
一个电子,它的质量、电荷、运动速度等等,都是信息的一种。
物理存在的状态集合,就是信息。
这些都是对信息的简单总结。
但信息又要怎么影响到物理存在本身呢?
大佬们都极度好奇,布鲁斯教授会如何解释信息。
在众人的期待下,李奇维微微一笑,继续说道:
“在座的诸位如果对工业界有所了解,就应该知道,随着二极管、三极管等电子元器件的发明,通信领域迎来了革新。”
“但新的发展往往会带来新的问题。”
“不久前,布鲁斯集团旗下的一位通信工程师,提出了一个非常有意思的问题。”
“那就是:我们要如何度量信息呢?”
“该工程师在研究产品时发现,精确地知道信息的大小和多少是非常重要的事情。”
“但是目前物理学界并没有专门针对信息的理论。”
“所以,他也只能不了了之。”
“不过,当我无意间看到这个问题时,却突然产生了兴趣。”
“我倒是觉得这个问题非常值得深入研究下去。”
哗!
众人皆是一惊!
大家一方面惊讶于布鲁斯集团在产品研发领域的创新性。
另一方面,更是惊讶于布鲁斯教授竟然如此看重一个工程师的问题。
以对方现在的地位,和工程师简直是云泥之别。
但是布鲁斯教授依然对未知事物充满了好奇心。
众人顿时肃然起敬。
不过这依然不能打消大家的疑问:
“信息和麦克斯韦妖有什么关系?”
这时,李奇维继续说道:
“在热力学中,熵是表征系统混乱度的物理量。”
“一个内部原子规则排列的晶体,它的熵肯定小于同样大小的玻璃。”
“那么我们发散思维去想,信息是不是有类似的现象呢?”
“比如,有的人演讲半天,一个重点信息都没有,全是废话。”
“而我布鲁斯演讲,全是干货,每隔几分钟就会赢得大家的喝彩。”
“这说明我演讲的信息量大,而其他人演讲的信息量小。”
众人哈哈大笑,布鲁斯教授还是那么自信且幽默。
“再深入一点考虑,全是废话的演讲,信息混乱,而全是干货的演讲,信息有条理。”
“这和物理系统中的混乱度何其相似?”
“所以,我大胆地提出一个概念:信息熵!”
“它表示一段信息中所含有的有效信息的总量。”
“这是类比热力学熵的概念。”
“我认为信息就是消除不确定性的手段。”
“由于我对通信领域不太了解,所以给不出严格的数学表达式。”
“不过,我们以信息熵为基础,可以通过概念逻辑继续往下推导。”
哗!
全场骇然!