<aside> 💡 写点最近学到的一些关于信息论的东西,想和大家探索一下到底如何得到我们最想要的方案
</aside>
本文主要目的是论证我接下来的一句话:
一个方案的落地并不需要所谓二选一,需要则是我们去用更聪明的方法拿到最到让人感觉最聪明的解。
但我们今天要从一件我们在日常生活中遇见的小事说起:
我们通常都会知道,一句话经过多个人传播,会很容易曲解原意。比如一个很重要信息,经过大家口口相传,就很容易成为所谓谣言。
而大家为了避免这种现象发生,可能就会考虑让信息传播的中转和代理更少一些(减少中间传播的人)。而直接让信息一对多传播(比如在黑板上写清楚今天的课后作业),这种方法往往最为简单。
还有一种则是改变信息载体本身,让信息本身难以被曲解,甚至不可变,而这种方式往往最为麻烦,因为它需要让接收者和传播者都要改变消费和生产信息的方式,毕竟载体改变了,对信息的解码方式和编码方式也会进行改变。
上面的例子比较通俗,但回归到理论上来讲,其实就是在信息在传输过程中,必有损耗和噪音的出现,所以需要一种方案来提高信息的容错率。就像是一个光盘,被刮坏后,还能够被读牒器读取,并且呈现的事物对人来讲是和刮花前是一致的。
而步入了信息时代,我们往往会去思考如何在二进制数据在传输的过程中,数据不会由于在物理信道和各种编码解码器的多重处理下,交给用户时不会有过多的错误,或者完全和数据源一致。这个问题虽说是因为信息传输的基础设施过于初级导致的,但是却是被这些基础设施被设计和创造之前就已经有人去研究了,最终也是得出了很多优秀的方案。最后随着信息论不断被重视(因为互联网的出现让更多人觉得它有用),于是更多人提出了更好的方案,最终人们才将信息传输速率摸到了香农极限。
数据错误或者噪音通常是怎么产生的呢,
一开始,肯定有人会想到,直接把重复发送数据 3 遍,用一个投票系统在数据不一样的时候选择 3 个里面相同的那两个的值。不错,这样是可以的,但是代价就是信息的传输速率是低效的,就像是“不管多么可观的财力和物力,除以 13 亿之后就变得极其稀缺”,无论如何我们都无法避免和优化这个 “除以三或者除以N (N > 2)"。
类似这种低效的使用空间来换容错的方式并不适合传输过程,这也不能保证数据块能以尽量低的错误率传送。
所以我们一定要想出一种最后能逼近香农极限的方案来进行有噪信道中的数据传输。