Теорема - кодирование
Cтраница 2
Можно применить теорему кодирования к этому составному каналу, в котором последовательности пар на входе являются кодовыми словами. [16]
В свете доказательства теоремы кодирования не должно показаться неожиданным, что поведение случайной величины Wn легче исследовать для ансамбля кодов, чем для некоторого частного кода. В каждом из кодов ансамбля, который будет рассматриваться, кодовые последовательности получаются следующим образом: информационная последовательность подается в двоичный несистематический сверточ-ный кодер, выходная последовательность этого кодера суммируется с произвольной двоичной последовательностью, а сумма затем преобразуется во входные символы канала. [17]
Доказательства сильных обращений теорем кодирования для сетей источников и каналов будут основываться на вычислимой характеризации объемов некоторых множеств и их образов относительно двух ДКБП. В действительности эта задача тесно связана с предыдущими, так что мы будем рассматривать их одновременно. [18]
Основой доказательства большей части теорем кодирования, рассматриваемых в этой книге, являются простые комбинаторные леммы, относящиеся к типам последовательностей. В литературе существует несколько концепций типичных последовательностей. Этот последний вариант типичности привлекателен тем, что он легко обобщается на случаи моделей с памятью и с абстрактными алфавитами. Для дискретных систем без памяти, изучаемых в этой книге, использование принятого нами понятия типичности часто приводит к усилению результатов. Однако формализм типичных последовательностей имеет ограниченную область применения, ибо не позволяет оценивать скорости сходимости вероятностей ошибок. [19]
 |
Достижимые скорости для ортогональных каналов. 1 - скорости. [20] |
Однако для этого канала существует теорема кодирования. Пусть ui l 2, u2e l 2 обозначают биты сообщения, которые требуется передать к У. [21]
Заметим, что поразительным в теореме кодирования является слово надежно. То, что информация может быть передана со скоростью, равной пропускной способности, является очевидным, так как для этого нужно лишь просто выбрать соответствующее распределение на входе. Теорема кодирования будет рассмотрена в следующей главе. Здесь мы покажем, что пропускная способность может быть интерпретирована как максимальная средняя взаимная информация на букву, которая может быть передана для последовательности входов и выходов. [22]
Теорема 9.6.1. Теорема 9.2.2 ( обращение теоремы кодирования для источников, связанных с мерой искажения) применима в общем случае ко всем дискретным по времени источникам без памяти с мерой искажения, заданной для отдельных букв. [23]
 |
К доказательству теоремы. [24] |
Таким образом, доказаны прямая и обратная теоремы кодирования для дискретных постоянных источников и показано, что скорость создания информации таким источником равна энтропии Н ( X) ансамбля сообщений X. Другими словами, наименьшее количество двоичных символов, затрачиваемых на кодирование каждого сообщения из X, равно Н ( Х) бит. [25]
Современная теория информации включает в себя как теоремы кодирования ( теоремы существования кодов с оптимальными свойствами), так и собственно теорию кодов, в которой рассматривается построение и вопросы технической реализации различных методов кодирования. Последняя часть теории информации в настоящем пособии почти не рассматривается. [26]
Изучающему теорию информации важно заметить стандартную форму теорем кодирования, которые обычно разбиваются на две: прямую и обратную теоремы. В обратных теоремах утверждается, что при нарушении некоторого условия существующие коды не имеют свойств, указанных в - прямых теоремах. [27]
С помощью этого результата показать, что обращение теоремы кодирования остается в силе для дискретного канала без памяти с обратной связью. Замечание: этот результат несправедлив для каналов с памятью. [28]
Предельные возможности согласования источников с каналами определены в теоремах кодирования Шеннона. Сущность этих теорем в том, что существуют способы оптимального кодирования, при которых вероятности ошибки ( или для непрерывных сообщений среднеквадрэтические отклонения принятых сигналов от передэнных) будут сколь угодно малы, если производительность источника меньше пропускной способности канэла. [29]
Наиболее удивительным и важным среди указанных выше результатов является теорема кодирования для канала с шумами, которую мы обсудим сейчас более детально. Предположим, что требуется передать данные по дискретному каналу и что по каналу передается одна входная буква за каждые тс секунд. Предположим также, что двоичные данные поступают на кодер для канала со скоростью R двоичных символов в секунду. Рассмотрим частный вид кодеров для канала, которые называются блоковыми кодерами; блоковый кодер работает следующим образом. Кодер накапливает двоичные символы на входе кодера в течение некоторого фиксированного интервала Т секунд, где Т является конструктивным параметром кодера. Кодер можно представить себе как устройство, которое имеет список всех 2TR возможных последовательностей TR двоичных символов и сопоставленного каждой из этих последовательностей кодового слова, состоящего из последовательности N 7Утс букв на входе канала. При получении некоторой отдельной последовательности TR двоичных символов кодер отыскивает эту последовательность в списке и передает по каналу соответствующее кодовое слово из списка. Требуется Т секунд, чтобы передать N - буквенное кодовое слово по каналу, и за это время другая последовательность TR двоичных символов поступит на кодер и начнется передача следующего кодового слова. Аналогично 11 является входом кодера на втором интервале времени в Т секунд, и а аз-соответствующим кодовым словом, передаваемым в течение третьего интервала времени. [30]
Страницы: 1 2 3 4