信息论最初所处理的问题是数据压缩与传输领域中的问题，其处理方法利用了熵和互信息等基本量,它们是通信过程的概率分布的函数。

entropy1.png

entropy2.png