Cтраница 2
Теорема справедлива как для дискретных, так и для непрерывных источников информации, если в последнем случае под скоростью создания информации понимать е-энтропию. Приведенная теорема указывает на существование способа кодирования, при котором вероятность ошибки произвольно мала, а скорость передачи информации не уменьшается по сравнению со скоростью создания информации источником, если только Т ( х) С, но она не разъясняет, как найти этот способ кодирования. [16]
А ( Т, ) [ и Л ( Т), поскольку - образующее разбиение ] действительно является скоростью создания информации. [17]
Теорема 9.2. е-энтропия некоторого дискретного ансамбля X, вычисленная относительно ограниченного критерия качества d ( x, у), есть Е - скорость создания информации дискретным постоянным источником, выбирающим сообщения из ансамбля X, относительно того же критерия качества. [18]
Первое обобщение было предложено Кушниренко [73] с использованием принадлежащего Кириллову [67] определения и названо им Л - энтропией) Оно состоит в вычислении скорости создания информации вдоль некоторой подпоследовгР тельности моментов времени. [19]
Целью первой из них ( кодирования источника) является такое преобразование источника, чтобы полученный новый источник был достаточно близок к исходному и обладал скоростью создания информации, не превосходящей пропускную способность канала. [20]
Из рассмотренных примеров видно, что при кодировании источника с заданным критерием качества число двоичных символов, затрачиваемых на ( Кодирование одного сообщения источника, - может быть сделано существенно меньшим, чем скорость создания информации ( энтропия) источника. [21]
Тогда ход рассуждений, связанных с использованием высоковероятных множеств дискретных постоянных источников, можно было бы перенести на другие источники и показать, что энтропия на сообщение Н ( Х / Х) является скоростью создания информации такими источниками. [22]
Выполняются следующие предельные соотношения между пропускной способностью канала и скоростью информации. Если скорость создания информации 1 меньше пропускной способности, то имеется правило кодирования ( возможно, не известное), при котором вероятность ошибок может быть сделана сколь угодно малой. [23]
Скорость кодирования при этом будет равна 1 / 3 бит / сообщ. Напомним, что скорость создания информации источником U х равна энтропии ансамбля А и составляет 1 бит / сообщ. [24]
В случае непрерывных источников множество X сообщений на выходе источника бесконечно, поэтому для точного кодирования потребовалось бы затратить бесконечное количество двоичных символов на сообщение. Следовательно, не существует ни энтропии ла сообщение, ни скорости создания информации при точном или сколь угодно точном кодировании непрерывных источников. Единственным толкованием понятия скорости создания в этом случае является е-скорость при кодировании с заданным критерием качества. [25]
К тогда и только тогда, когда разбиение бернуллиевское, а каждый его элемент имеет вероятность 1 / / С. Степени Т преобразования Т определены для всех п, что позволяет вычислить скорость создания информации при повторениях задающего случайный процесс разбиения. [26]
В промышленности в силу инерционности технологических процессов, большой емкости объектов, очень часто бывает, что подлежащие измерениям физические величины изменяются весьма медленно. Это равносильно наличию сильного последействия в процессе, как известно, уменьшающего скорость создания информации. [27]
Поэтому величина v и скорость кода источника, определенная ранее для случая кодирования равномерными кодами, для эргодических источников имеют один и тот же смысл. В дальнейшем мы убедимся, что для эргодических источников минимально возможная величина для v совпадает со скоростью создания информации источником. [28]
Яо ( -), определенные формулами (2.4) - (2.9), называются относительными энтропиями и имеют много общих свойств с эн-троплями дискретных ансамблей. Заметим, однако, что Н0 ( Х) не есть средняя собственная информация непрерывного ансамбля X и не является скоростью создания информации, как в случае дискретных ансамблей. Например, Н0 ( Х) может быть отрицательной величиной. Таким образом, Я0 ( -) не является энтропией в обычном смысле. [29]
Теорема справедлива как для дискретных, так и для непрерывных источников информации, если в последнем случае под скоростью создания информации понимать е-энтропию. Приведенная теорема указывает на существование способа кодирования, при котором вероятность ошибки произвольно мала, а скорость передачи информации не уменьшается по сравнению со скоростью создания информации источником, если только Т ( х) С, но она не разъясняет, как найти этот способ кодирования. [30]