当前位置首页 > 上饶市> 正文

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生(香农展开定理)

如果在世界上再发起一次谁是最伟大科学家的投票,再怎么选,牛顿同志都会在前二以内,另一位大家自行脑补。的确,牛顿的万有引力定律和运动定律,光学上发现,以及数学上的创造太过灿烂,但是历史上有如此成果和创造力也不止牛爵士一人吧,麦克斯韦,庞加莱等等,为啥这些后人们都得给牛爵士让步呢?

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

为什么砸的是我!

上帝曾经曰过:“让牛顿降生吧,于是世界一片光明。”

因为牛顿是第一个开辟科学研究的科学家,在牛顿之前,人们对苹果为什么落地感到理所当然,只有牛顿认为苹果掉落在地上这个现象不简单。牛顿将生活中常见的力学现象归纳,并结合数学和实验,看穿这些司空见惯的运动现象,然后整理成自成体系的牛顿运动定律,后来的人们在这条道路上不断耕耘,并最终诞生了如此灿烂的辉煌成果。可以说,是牛顿一手把当时的世界从未知的蛮荒时代带入了科学研究的范围内。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

贝尔实验室的克劳德 香农

在20世纪,也诞生了一位这样的大师,他第一次把信息作为研究对象,让人们第一次意识到,原来信息也可以被研究的,并一手指导了后来的计算机革命,他就是克劳德·艾尔伍德·香农(Claude Elwood Shannon),我们现在尊称他是信息论之父。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

贝尔实验室总部

话说1916年4月30日,香农出生了美国密歇根州,跟所有的科学大师一样,兴趣都是从小就培养的,在中学时代,香农就可以造出一个可以在半英里内无线通信的电报机。不知道就是因为这个小发明,让他从此对信息这个全新的领域开始痴迷。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

乔治 布尔

1932年,香农进入密歇根大学学习,在大学里接触到了乔治·布尔的理论,这个布尔就是现在计算机数据布尔型的那个布尔,他是著名的数学逻辑学家。大约1938年的时候,香农完成自己的硕士毕业论文《继电器与开关电路的符号分析》,看这个标题平平无奇,但是却被誉为是20世纪最重要的论文之一。这篇文章的惊人想象力在于,他首先把电路中的开关与数字逻辑中的代数思想结合起来。让电路设计可以在数学理论的指导下进行,这是一个划时代的发现。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

电路设计

我们都知道数学中有很多复杂方程或者公式,你必须要化简或者转化成精简的语言才能描述更准确的信息,数学公式越是简化,就越能体现公式的力量。那这个要是在电路设计中呢?作为一个初级电路设计师,你只要能力达到,就一定可以用简单的元器件去实现特定的功能。但是,在实际生产的过程中是必须要考虑成本和故障频率的,别人用3个电容,2个电感,2个电阻就可以实现的功能,你的电路偏要用10个电容,5个电感,5个电阻才能实现。增加成本不说,而且器件增加,故障点也必然增加,最终导致生产效率低下。那么香农的思想是什么呢?

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

电路简化设计


世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

布尔代数 简化

很明显我们发现,这里的A,B是不需要2组触点的,甚至连A这个常闭触点也是不需要的,仅保留B一个常开触点即可控制这个灯。当然这个例子过于简单,当电路庞大时,比如现在动不动几十亿的晶体管的芯片在设计时,这些数学理论就给电路设计提供了数学保障。用这样的流程来设计电路,就将大大简化电路设计难度,提高可拓展性,这对于电路设计成本,故障率,测试等等都是非常有用的。

这一年,香农22岁。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

信息到底是什么?

1948年,香农在贝尔实验室又出了一个爆炸招,他提交了一份论文《通信的数学原理》,这个标题瞬间就比他十年前的那篇神作要高大上的多。貌似还跟牛爵士的大作很像,是不是有点蹭热度的嫌疑啊。但是翻开内容,你就会明白这个标题起的是多么贴切,正是这篇论文将人类带入了信息时代。

信息是什么?每个人好像都有自己的答案,你想研究信息,你就必须在科学上给信息作出一个定义。于是香农大师给出了。

信息的本质是消除不确定性。一条信息究竟有多大的信息量,在于它能消除多少不确定性。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

香农

啊,真是犹如醍醐灌顶,一句话或者一幅画的信息蕴含多少,就是在于它能够消除多少不确定性啊。举个晓然菌工作上的例子,作为一名工控软件工程师,程序写出来在调试过程中,如果功能上有错误,那么在测试过程中是每次都会出现同样的bug。这一点从程序代码上就很好分析出原因,因为每次都会出现,那么不确定性就很小,于是这样的问题修复起来难度不大。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

通讯问题不容易解决

假如现在出现了一个传感器控制器通讯的问题,请注意这个通讯问题并不是每次都有,十次有一两次,你可以认为这是偶尔发生的,但是却必须要找出原因。这种情况下工作就变得困难许多,因为不确定性太多,你必须要从各种可能的方式分析。按照香农的定义,出现通讯问题这个现象蕴含的信息量就比出现功能性bug要多得多。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

程序员日常工作

那么信息的最小单位是什么呢?就是0,1,或者说真,假。每一种状态就是一个bit,类似于量子力学中的普朗克长度。

香农第一个发现了信息不会无中生有,具有和物质一样的本质。既然物质有守恒定律,那么信息也有。只不过,信息要流通才会产生价值,就跟物质要被使用才能发挥作用一样。你准确预测了明天的六合彩中奖号码,但是你却没有去买彩票,那么这个价值巨大的预测信息就只是一串毫无意义的数字。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

信息的最小单位bit

然而信息在传输过程中遇到了诸多挑战,噪声干扰,频率干扰,发射接收难度等等。干扰只要出现,就对信息准确发送率带来挑战,在香农之前,人们普遍认为,以固定速率发送信息,而忽略误差概率的传输系统是不可能做到的。而香农用一个精巧的公式告诉人们,只要通信速率R低于信道容量C,那么总可以找到一种可靠的方式来进行传输,并且可以使得误差概率几乎降到零。这个结论震惊了世界,也为二战之后的计算机信息革命奠定了理论基础。


世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

香农第二定律


这里的P/N也就是我们常说的信号噪声比,W是带宽。C就是信道容量,也就是通讯理论上的最大值,多少年来,人们都是为了尽可能扩大C这个值上限,并先后迎来了1G,2G,3G,4G,5G,并在提高通讯速率的同时也改变了整个世界。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

5G毫无意外地改变了我们的世界

至此香农给信息论这门伟大的学科解决了最重要的问题,世界也迎来信息时代。

香农大师似乎对这个世界上所有关于信息的问题非常敏感。1949年,香农卷土重来,发表了《保密系统的通信理论》,这篇论文在科学界的地位有多高呢?

“这一发现将密码从艺术变成科学,奠定了现代密码理论的基础。”

这是当时波士顿环报给出的评价,香农以一人之力改变了密码学的发展方向。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

人工智能之父 密码学家 图灵

在香农看来,明文就是原始信息,加密手段就相当于信息在传输过程中各种干扰信息,密文就是被干扰之后收到的信息,解密就是需要动用各种方法来去除掉原始信息被人为加入的干扰。这么一看,密码的使用环境简直就是另一种信息传输系统!如果当年香农也能在布莱切利庄园和图灵一起工作破译德军密码,说不定会更快地结束二战的摧残。

世界上第一个研究信息的科学家,看信息论之父香农的伟大人生

香农和他的信息论

现在世界上的科技巨头基本上都是互联网企业,他们的核心价值都是数据信息,我们现在充分享受着来自互联网时代带给我们的信息高速便利,无论如何都不能忘记开创这一时代的伟大科学家——克劳德·香农。