Cтраница 2
Канал без памяти полностью описывается априорными вероятностями P ( XI), характеризующими структуру закодированных сообщений, и условными вероятностями р ( yj xt), определяющимися характеристиками канала. [16]
Здесь Я ( Х) - энтропия сообщения, или число битов в оптимально закодированном сообщении. [17]
Только что было показано, что использовать структуру переходных вероятностей в исходных сообщениях для уменьшения длины закодированных сообщений; код Хаффмена учитывает частоты отдельных входных символов, а марковский процесс позволяет учесть также зависимости между символами. В исходных сообщениях существует много других структур, позволяющих уменьшить длину закодированных сообщений, однако их слишком много для того, чтобы провести подробное исследование в этой книге. Поэтому рассмотрим общий случай, когда предполагается, что имеется либо программа, либо какое-либо устройство, посредством которых можно выявить структуру сообщения и использовать ее для предсказания следующего символа. Предположим для простоты, что источник является двоичным. На втором этапе кодирования, на котором возникает сжатие, посылается последовательность чисел, в которой каждое число указывает длину соответствующей серии нулей. Приемник может восстановить первоначальное сообщение, используя практически такое же оборудование, как при кодировании. [18]
Теорема Шеннона о кодировании без шума показывает, что при использовании достаточно большого расширения источника можно сколь угодно точно приблизить среднюю длину закодированного сообщения к энтропии источника. Это доказано как для простого источника, так и для более сложного марковского источника. Однако это не было доказано для всех возможных типов источников. Теорема кодирования без шума является предвестником основной теоремы Шеннона о том, что даже при наличии шума ( ошибок) можно найти подходящую систему кодирования. Этот результат доказывается в гл. [19]
Если, как выше, логарифм берется по основанию 2, Н ( Х) представляет собой математическое ожидание числа битов в оптимально закодированном сообщении X. [20]
Пусть имеется дискретный стационарный канал связи без памяти ( без последствия) с заданными характеристиками ( рис. 17.1), причем все символы xi закодированного сообщения - и соответствующие им элементарные сигналы yj имеют одинаковую длительность т, где F 1 / т - частота посылки символов. [21]
В системах с шифрованием числовой информации при наличии неограниченных ресурсов вероятность К3 может быть сделана сколь угодно большой, т.е. информацию практически нельзя расшифровать, если только злоумышленнику не удастся получить копии закодированного сообщения. [22]
Кодирование, при котором элементарные символы в закодированном сообщении встречаются в среднем с одинаковой частотой. [23]
С этой целью телеграммы на передающей стороне задерживаются, подвергаясь специальной обработке, обеспечивающей их предельно быстрое прохождение по каналу. На приемной стороне также может быть допущена вторичная переработка полученных закодированных сообщений с целью облегчения прочтения содержащейся в них информации. [24]
Имеется вполне очевидная связь между задачами локализации информации и декодирования в модели алфавитного кодирования. Локализация информации здесь состоит в нахождении скобочной записи некоторого разложения закодированного сообщения в произведение слов из кода V, а декодирование - в нахождении поименной записи этого разложения. Переход от первой формы ко второй легко может быть выполнен конечным автоматом. [25]
Только что было показано, что использовать структуру переходных вероятностей в исходных сообщениях для уменьшения длины закодированных сообщений; код Хаффмена учитывает частоты отдельных входных символов, а марковский процесс позволяет учесть также зависимости между символами. В исходных сообщениях существует много других структур, позволяющих уменьшить длину закодированных сообщений, однако их слишком много для того, чтобы провести подробное исследование в этой книге. Поэтому рассмотрим общий случай, когда предполагается, что имеется либо программа, либо какое-либо устройство, посредством которых можно выявить структуру сообщения и использовать ее для предсказания следующего символа. Предположим для простоты, что источник является двоичным. На втором этапе кодирования, на котором возникает сжатие, посылается последовательность чисел, в которой каждое число указывает длину соответствующей серии нулей. Приемник может восстановить первоначальное сообщение, используя практически такое же оборудование, как при кодировании. [26]
Оператор, как правило, удален от управляемого объекта. Информацию о состоянии объекта он получает по каналам контроля в виде закодированных сообщений, а воздействие на объект осуществляет посредством дистанционного управления. [27]
Команда SVC является естественным способом обращения проблемной программы к супервизору. Восемь битов в команде, помещаемые в старое PSW, представляют собой закодированное сообщение супервизору о виде обслуживания, которое требуется программе. [28]
Это может быть цифровое кодирование аналогового сигнала в случае, если источник информации - измерительное устройство или определенным образом закодированное сообщение в случае, когда речь идет о наблюдателе. [29]
Код однозначно дешифруется ( однозначно декодируется), если по последовательности слов ( без разделителей) однозначно восстанавливается последовательность закодированных сообщений. [30]