Cтраница 1
Понятие количества информации совершенно естественно связывается с классическим понятием статистической механики - понятием энтропии. [1]
Понятие количества информации тесно связано с понятием энтропии, являющейся мерой неопределенности. [2]
Понятие количества информации эквивалентно энтропии и, следовательно, является усредненной характеристикой статистической, а не динамической, системы. Соответственно теоретико-информационные подходы к трактовке биологических процессов, оперирующие лишь количеством информации, измеряемым в битах или в энтропийных единицах, недостаточно эффективны. [3]
Определим понятие количества информации. [4]
Для применения понятия количества информации к конкретным ситуациям важным является обобщение этого понятия на пары событий. [5]
Введя определение понятия количества информации по Шеннону - Винеру ( ибо оно в равной мере принадлежит нам обоим), мы совершили радикальный переворот в этой области. В течение многих лет предполагалось, что пропускная способность линии связи за единицу времени определяется шириной полосы частот, используемой этой линией. [6]
Другие примеры использования понятия количества информации будут приведены в гл. [7]
Шенноном [44] было введено понятие количества информации как меры неопределенности состояния системы, снимаемой при получении информации. [8]
Приведенный пример наглядно иллюстрирует понятие количества информации. Следует, однако, заметить, что такая простая и наглядная иллюстрация получается только в случае равновероятных значений как случайной величины Х: так и случайной величины Y. В других случаях энтропия случайной величины X и количество информации о величине X, доставляемое наблюдением величины У, не будут выражаться целыми числами, и наглядность примера теряется. Однако эта потеря наглядности не может считаться существенной, если принять во внимание, что энтропия и количество информации как математические ожидания определяют лишь средние количества двоичных знаков, необходимые для регистрации значений случайной величины и результатов опыта. [9]
Большое значение в кибернетике имеет понятие количества информации. [10]
В этой главе обсуждается связь понятий количества информации и физической энтропии. Как известно, последнее понятие позволяет дать количественную формулировку второго закона термодинамики, который запрещает в изолированной системе процессы, сопровождающиеся увеличением энтропии. Следовательно, если имеется приток информации, то можно тепловую энергию системы ( без помощи холодильника) превратить в механическую. Другими словами, возможен вечный двигатель второго рода, питающийся информацией. [11]
До сих пор мы говорили лишь о понятии количества информации, содержащейся в результатах одного испытания относительно результатов другого; в приложениях, однако, чаще приходится иметь дело с понятием количества информации, содержащейся в одном случайном объекте ( например, случайной величине, или случайном векторе, или случайной функции) относительно другого такого объекта. [12]
Понятие энтропии как меры неопределенности тесно связано с понятием количества информации о состоянии стохастической системы в некоторый момент времени. В данном параграфе мы рассмотрим задачу о восстановлении гипотетической плотности вероятности Гслучайной величины по выборочной информации на основе принципа максимума энтропии. Этот пример еще раз иллюстрирует справедливость сформулированного выше принципа и указывает дополнительное направление его использования. [13]
Мы совсем не касаемся также так называемого алгоритмического подхода к понятию количества информации ( о нем см., например, важные работы [15] и [16]) и лишь совсем вкратце упоминаем ( в § 3 гл. [14]
До сих пор мы говорили лишь о понятии количества информации, содержащейся в результатах одного испытания относительно результатов другого; в приложениях, однако, чаще приходится иметь дело с понятием количества информации, содержащейся в одном случайном объекте ( например, случайной величине, или случайном векторе, или случайной функции) относительно другого такого объекта. [15]