В опубликованной ранее работе2) были введены понятия энтропии и избыточности языка. Энтропия есть статистический параметр, ... - Большая Энциклопедия Нефти и Газа
Выдержка из книги
Шеннон К.N.
Работы по теории информации и кибернетике
В опубликованной ранее работе2) были введены понятия энтропии и избыточности языка. Энтропия есть статистический параметр, который измеряет в известном смысле среднее количество информации, приходящейся на одну букву языкового текста. Если данный язык перевести на язык двоичных знаков ( 0 или 1) наиболее эффективным образом, то энтропия Н равна среднему числу двоичных знаков ( бит), приходящихся на одну букву исходного языка.