Скорость - создание - информация
Cтраница 1
Скорость создания информации, несмотря на разнородность ее качества, допускает разумное количественное измерение. [1]
Скоростью создания информации такими непрерывными источниками называют минимальное количество информации в единицу времени, необходимое для того, чтобы реализация случайного процесса на выходе источника с заданной точностью е воспроизводила реализацию процесса на входе источника. [2]
Использование скорости создания информации А ( Т, 1) дает очень эффективный способ доказательства неизоморфности динамических систем, а в одном очень важном случае - и изо-морфности. Он состоит в вычислении некоторой величины, связанной с системой и не изменяющейся при изоморфизмах. Эта величина называется энтропией системы, или энтропией задающего эту систему преобразования, или инвариантом Колмогорова - Синая. [3]
Это простое определение скорости создания информации как энтропии источника, приходящейся на единицу времени, пригодно лишь для дискретных источников. Действительно, если считать, что источник точно воспроизводит все бесконечное множество мгновенных значений непрерывной реализации процесса, подлежащего передаче по каналу связи, то естественно приписать такому источнику бесконечно большую энтропию и бесконечно большую скорость создания информации. [4]
Таким образом, если скорость создания информации дискретным источником равна Я, то, фиксируя величину вероятности ошибки Ре и скорость кодирования R Н, можно найти такое п и такой код ( R, Тп), вероятность ошибки декодирования которого не больше чем Ре. Из определения 8.3 также следует, что минимальное число двоичных символов, приходящееся на одно сообщение, при котором возможно кодирование с произвольно малой вероятностью ошибки, есть Я - скорость создания информации источником. [5]
Утверждение леммы вытекает теперь из определения скорости создания информации. [6]
Подтвердим теперь нашу интерпретацию величин Н как скорости создания информации доказательством того факта, что Н определяет пропускную способность канала, необходимую при наиболее эффективном кодировании. [7]
В следующих ниже теоремах доказываются основные свойства скорости создания информации. [8]
В том, что неопределенность бернуллиевского разбиения совпадает со скоростью создания информации при его повторениях с помощью преобразования Т, нет ничего удивительного, поскольку в этом случае действие Т отвечает независимым повторениям исходного испытания, и тем самым знание исходов воспроизведений этого испытания в будущем не уменьшает неопределенности относительно его исхода в настоящем. [9]
Для того чтобы установить, что некоторая величина Н является скоростью создания информации данного дискретного источника, необходимо доказать два утверждения. [10]
Если источник сообщения имеет мощность Q, энтропийную мощность Q и ширину полосы Wlt скорость R создания информации ( в дв. [11]
Доказанная прямая теорема кодирования вместе с обратной позволяет сформулировать следующее утверждение: Е - скорость создания информации постоянного источника гауссовских сообщений относительно среднеквадратического критерия качества равна - энтропии гауссовской случайной величины, вычисленной относительно того же критерия качества. [12]
Теорема 4.23. Пусть ( Q, У, Р, Т) - динамическая система Скорость создания информации преобразованием Т равномерно-непрерывна на S. Q) относительно метрики разбиений и псевдометрики Рохлина и непрерывна на X ( Q) относительно псевдометрики Рохлина. [13]
 |
К доказательству теоремы. [14] |
Таким образом, доказаны прямая и обратная теоремы кодирования для дискретных постоянных источников и показано, что скорость создания информации таким источником равна энтропии Н ( X) ансамбля сообщений X. Другими словами, наименьшее количество двоичных символов, затрачиваемых на кодирование каждого сообщения из X, равно Н ( Х) бит. [15]
Страницы: 1 2 3