Скорость - создание - сообщение
Cтраница 2
Если функция расстояния Q ( х, у) является средне-квадратичны отклонением х от у и ансамбль сообщений представляет собой белый шум, то скорость создания сообщений может быть определена. [16]
Несмотря на зависимость от системы координат, понятие энтропии является столь же важным в непрерывном случае, как и в дискретном. Это объясняется тем, что скорость создания сообщения и пропускная способность канала определяются разностью двух энтропии, а эта разность не зависит от системы координат, так как каждая из этих двух величин изменяется на одно и то же число. [17]
Лд в битах является числом двоичных символов, вырабатываемых источником за время передачи одного символа по каналу. Кроме того, Ддг совпадает со скоростью создания сообщений Н ( U) источником U с независимыми и равномерно распределенными компонентами. [18]
Ее значение определяется осп. Шенноноеы теоремы): если источник при данной верности воспроизведения е имеет скорость создания сообщений Яе, то можно закодировать сообщения на выходе источника и передавать их по каналу с пропускной способностью С при верности воспроизведения, как угодно близкой к е, если только Яе С. [19]
Ее значение определяется осн. Шенноновы теоремы): если источник при данной верности воспроизведения е имеет скорость создания сообщений Яе, то можно закодировать сообщения на выходе источника и передавать их по каналу с пропускной способностью С при верности воспроизведения, как угодно близкой к е, если только Я6 С. [20]
В собственном смысле слова энтропия объекта е непрерывным распределением всегда бесконечна. Если непрерывные сигналы не могут тем не менее служить для передачи неограниченно большой информации, то только потому, что они всегда наблюдаются с ограниченной точностью. Это и было сделано Шенноном под названием скорости создания сообщений. Хоти выбор для этой величины нового названия и не меняет существа дела, я решаюсь предложить такое переименование, подчеркивающее более широкий интерес понятия и его глубокую аналогию с обыкновенной точной энтропией. [21]
Мы увидим, что рассматриваемый класс каналов с памятью можно разделить на два непересекающихся подкласса, а именно на каналы с конечной и бесконечной памятью. Короче говоря, канал с конечной памятью т, где т - целое положительное число - это канал, в котором шумовые выборки, относящиеся к моментам времени, разность между которыми превосходит т, статистически независимы. Дальше мы увидим, что разница между конечной и бесконечной памятью окажется несущественной, по крайней мере тогда, когда речь идет об определении скорости создания сообщений на входе и о рассеянии информации в каналах с памятью. Однако в интерпретации этих результатов разница между конечной и бесконечной памятью оказывается существенной. Мы увидим, что для канала с конечной памятью положительные утверждения теоремы кодирования полностью остаются в силе, в то время как доказательство отрицательного утверждения теоремы для случая Н ] С до сих пор отсутствует. [22]
Энтропия непрерывного распределения может быть отрицательна. Масштабом измерений устанавливается произвольный нуль, соответствующий равномерному распределению по единичному объему. Распределение, более сосредоточенное чем это, будет иметь меньшую энтропию и, следовательно, будет отрицательно. Однако скорость создания сообщения и пропускная способность канала всегда будут неотрицательны. [23]
Это рассуждение, однако, обходит основной вопрос. Практически при непрерывном источнике нас интересует не точная передача, а передача с определенным допуском. Вопрос заключается в том, можно ли приписать непрерывному источнику определенную скорость создания сообщений в том случае, когда требуется только определенная точность воспроизведения, измеренная подходящим способом. Разумеется, при возрастании требований к точности воспроизведения скорость будет возрастать. Как будет показано ниже, можно в очень общих случаях определить такую скорость создания сообщений. Она будет обладать тем свойством, что при надлежащем кодировании можно передать по каналу информацию, удовлетворив при этом требования к точности воспроизведения, если только пропускная способность канала равна рассматриваемой скорости. Меньшая пропускная способность оказывается для этого недостаточной. [24]
 |
Амплитудно-частотные характеристики систем упранления.| Семейство амплитудно-частотных характеристик, удовлетворяющих заданной. [25] |
Таким образом, если из теоремы Котельнико-ва следует необходимость прямоугольной характеристики фильтра в полосе F, то при воспроизведении с заданной точностью необходима прямоугольность характеристики фильтра лишь а полосе F - / С. Это обстоятельство позволяет использовать указанную выше предельную характеристику в качестве эталонной. Этот вывод можно сделать, учитывая, что при частоте отсчетов, меньшей 2F, воспроизведение оказывается неоднозначным. В случае непрерывных распределений энтропия бесконечна, и для решения задачи интерполяции потребовался бы фильтр с бесконечной полосой пропускания. Последнее было получено К. Шенноном и названо им скоростью создания сообщений. На непрерывной плоскости ( т; t) существует бесконечное число разных сигналов. [26]
Страницы: 1 2