Claude Shannons 1948 veröffentlichte Arbeit „A mathematical theory of communication“ gilt heute als Beginn der Informationstheorie, unter anderem wegen des dort erstmals definierten Begriffs der Entropie. Am Beginn der Arbeit stand die Definition des Bits als Informationseinheit, und die Definition von Kommunikationssystemen entsprechend dem folgenden Schema: Im Weiteren unterscheidet Shannon diskrete, stetige und gemischte Systeme.…