Cтраница 3
Таким образом, если скорость создания информации дискретным источником равна Я, то, фиксируя величину вероятности ошибки Ре и скорость кодирования R Н, можно найти такое п и такой код ( R, Тп), вероятность ошибки декодирования которого не больше чем Ре. Из определения 8.3 также следует, что минимальное число двоичных символов, приходящееся на одно сообщение, при котором возможно кодирование с произвольно малой вероятностью ошибки, есть Я - скорость создания информации источником. [31]
В настоящем разделе будут рассматриваться так называемые непрерывные источники, точное определение которых будет дано ниже, и их кодирование. Отметим, что задача кодирования непрерывных источников во многом подобна задаче кодирования дискретных. Она состоит в определении важной характеристики источника - скорости создания информации. Эта характеристика представляет собой наименьшее количество двоичных символов, которыми можно в определенном смысле точно описать каждое сообщение источника. [32]
В предыдущем параграфе в примере кодирования двоичного постоянного источника, по сути дела, была доказана прямая теорема кодирования относительно энтропии ансамбля сообщений. Ниже мы покажем, что аналогичное утверждение справедливо для произвольного дискретного постоянного источника. Тем самым будет установлено, что Н ( Х) является скоростью создания информации для дискретного постоянного источника. [33]
Настоящая книга задумана как систематическое изложение некоторых вопросов теории информации, относящихся к проблеме кодирования дискретных и непрерывных источников сообщений. Она рассчитана в первую очередь на студентов технических вузов. Авторы преследовали цель очертить проблематику самой теории информации с наибольшей четкостью и определенностью, показать, что теоремы кодирования выявляют основную техническую характеристику источников - скорость создания информации. [34]
В этой главе даются формальные определения количества информации, заключенной в случайном событии, и энтропии испытания со счетным числом исходов. Мы также покажем, в каком смысле энтропия является мерой неопределенности, и приведем затем основные свойства информации и энтропии. Далее определение энтропии будет расширено, с тем чтобы охватить испытания с произвольным числом исходов, а свойства энтропии будут доказаны и для этого случая. Наконец, мы дадим определения скорости создания информации и энтропии динамической системы и установим их наиболее важные свойства. В заключение будет приведено несколько примеров и кратко обсуждены два полезных обобщения этих определений. [35]
К счастью, нам не нужно передавать непрерывные сообщения в точности. Некоторое расхождение между исходным и восстановленным сообщениями всегда допускается. Если принят известный допуск, то непрерывному источнику может быть приписана определенная конечная скорость в битах / сек. Следует помнить, что эта скорость зависит от природы и величины допускаемой погрешности. Скорость может быть описана как скорость создания информации по отношению к критерию точности. [36]
По счастью, нам не нужно передавать непрерывные сообщения в точности. Некоторое расхождение между исходным и восстановленным сообщениями всегда допускается. Если принят известный допуск, то непрерывному источнику может быть приписана определенная конечная скорость в дв. Следует помнить, что эта скорость зависит от природы и величины допускаемой погрешности. Скорость может быть описана как скорость создания информации по отношению к критерию точности. [37]
Многие современные системы связи в высшей степени неэффективны в отношении использования статистических свойств источника информации. Требования, предъявляемые к качеству репродуцируемой речи, состоят только в возможности уловить ее смысл. Особенности произношения, интонация и другие аналогичные характеристики речи говорящего могут быть потеряны в процессе передачи. При передатчике устанавливается устройство, которое печатает английский текст, соответствующий произносимым словам. Текст может быть закодирован в двоичных единицах, причем в среднем используется не более двух двоичных единиц на букву или девять на слово. Считая 100 слов в минуту приемлемой скоростью, получаем в случае, когда понятность является единственным требованием к точности передачи в качестве оценки скорости создания информации на английском языке, цифру 15 битов в секунду. Согласно рис. 4, эта информация могла бы быть передана по каналу с отношением сигнал / шум в 20 децибелл и с шириной полосы частот только в 2 3 герца. [38]