Cтраница 3
Я ( р, ) можно трактовать как меру информации, которую получает исследователь при выяснении того, какое именно из возможных событий осуществилось в результате опыта. [31]
С кодированием выхода источника в двоичные данные тесно связана мера информации ( или неопределенности) букв алфавита источника, которая будет описана в гл. [32]
То, что энтропия Шеннона соответствует интуитивному представлению о мере информации, может быть продемонстрировано в опыте по определению среднего времени психических реакций. Опыт заключается в том, что перед испытуемым человеком зажигается одна из N лампочек, которую он должен указать. Проводится большая серия испытаний, в которых каждая лампочка зажигается с определенной вероятностью Pi ( Pi 1), где г - это номер лампочки. [33]
Разность дисперсности исходной и новой функции распределения можно рассматривать как меру информации, которая содержится в выборе данного подансамбля. Если рассматривать молекулу ДНК, ее полидисперсность является мерой сохраняемой генетической информации. [34]
Иными словами, энтропия системы Н ( а) может рассматриваться как мера недостающей информации. [35]
Возрастанию энтропии соответствует возрастание термодинамической вероятности, и в связи с этим меру информации вводят, используя систему постулатов, схожую с системой постулатов, примененной при выводе формулы Больцмана для термодинамической энтропии. [36]
Одной из попыток разрешить эту трудность является последовательное планирование, опирающееся на шенноновскую меру информации. [37]
Из (5.25) следует, что D-критерий сравнения экспериментов и критерий, основанный на шенноновской мере информации, для случая (5.22) эквивалентны. [38]
Винер, Шеннон и Фэно приводят ряд соображений в пользу применения этой функции в качестве меры информации на символ, и их аргументы являются вполне удовлетворительными. Однако, как отметил Шеннон, лучшим обоснованием такого определения является то обстоятельство, что именно энтропия привлекается в соответствующих случаях и используется в качестве меры информации ( [1], стр. [39]
Ясно, что это может быть только в том случае, если энтропия действительно является мерой информации. Информация, содержащаяся в сигналах ошибки, точно равна всей информации, имеющейся в исходном сообщении, так как каждая из этих информации может быть однозначно получена из другой, и передача каждой из них с помощью идеального кода потребует одинаковой емкости канала. [40]
Если множество возможных сообщений конечно, то число сообщений или любую монотонную функцию от этого числа можно рассматривать как меру информации, создаваемой выбором одного сообщения из этого множества, в предположении, что все сообщения равновероятны. Как было указано Хартли, наиболее естественно выбрать логарифмическую функцию. Хотя это определение должно быть значительно обобщено при рассмотрении влияния статистической структуры сообщения и при наличии непрерывного множества сообщений, будем по существу во всех случаях пользоваться логарифмической мерой. [41]
Информация об индивидуальной системе, находящейся в смешанном состоянии, является менее полной, и Tr Q2 можно рассматривать как меру информации. Оператор плотности для смешанного состояния не является проекционным оператором. [42]
Как и должно быть, согласно интуитивному представлению, требуется т бит собственной информации для определения последовательности т двоичных цифр; этот пример делает ясной причину появления логарифма в мерах информации. [43]
Трактовка передачи разнообразия как передачи сложности как бы возвращает нас к пониманию информации как непредсказуемости: От передатчика к приемнику передается только сложность, и сложность в самом деле есть то, чем не располагает приемник, сложность непредсказуема, и мерой информации является скорее не число переданных символов, а эффективность этих символов, оригинальность группировок этих символов, рассматриваемая как противоположность банальности предсказуемого сообщения ( А. [44]
Теории информации, о которых шла речь в предыдущем параграфе - статистическая, комбинаторная, топологическая, алгоритмическая, - характерны тем, что они не пользуются явно ( в самом математическом аппарате) понятием информации - в этом аппарате присутствует лишь мера информации - и тем не менее каждая из них неявно определяет это понятие, точнее, определенную его сторону. [45]