摘要
信息论是通信工程中非常重要的一门课，香农的一篇《通信中的数学之道》彻底结束了通信信息无法度量的问题。这篇笔记以清华大学的《应用信息论基础》和TUD的Infomationtheorie为基础，对信息论中的基础知识和基本思路进行了总结。
2020-08-18： 目前总结到了信道容量，信道编码和率失真编码定理以后有机会会补上，另外会补充关于高斯信道的内容。笔记最开始参考了清华大学的教材，有些证明过程并不严谨，而且很繁琐，但是德工大的教材中，有些证明是非常严谨的，且清晰明了，以后有时间会慢慢修改。