Cтраница 4
Несмотря на зависимость от системы координат, понятие энтропии является столь же важным в непрерывном случае, как и в дискретном. Это объясняется тем, что скорость создания сообщения и пропускная способность канала определяются разностью двух энтропии, а эта разность не зависит от системы координат, так как каждая из этих двух величин изменяется на одно и то же число. [46]
Лд в битах является числом двоичных символов, вырабатываемых источником за время передачи одного символа по каналу. Кроме того, Ддг совпадает со скоростью создания сообщений Н ( U) источником U с независимыми и равномерно распределенными компонентами. [47]
Тогда упорядоченное среднее дает низшую границу энтропии / /, которая может быть больше Н - истинной энтропии процесса. Все знаки равенства в формуле ( 18) необходимы; при создании сообщения, в котором каждый элемент выбирается независимо из постоянного распределения, все четыре энтропии одинаковы. В одном из них также Н Н и поэтому кодирование с предсказанием становится идеальным. [48]
Ее значение определяется осп. Шенноноеы теоремы): если источник при данной верности воспроизведения е имеет скорость создания сообщений Яе, то можно закодировать сообщения на выходе источника и передавать их по каналу с пропускной способностью С при верности воспроизведения, как угодно близкой к е, если только Яе С. [49]
Ее значение определяется осн. Шенноновы теоремы): если источник при данной верности воспроизведения е имеет скорость создания сообщений Яе, то можно закодировать сообщения на выходе источника и передавать их по каналу с пропускной способностью С при верности воспроизведения, как угодно близкой к е, если только Я6 С. [50]
Положительная сторона заключается в том, что для создания сообщений можно использовать намного более удобные инструменты Word. Другими словами, можно использовать преимущества средств Автотекст и Автозамена, можно создать макросы и шаблоны для автоматизации создания сообщения. [51]