Средняя неопределенность

Cтраница 1

Последовательное соединение каналов. [1]

Средняя неопределенность Н ( X Z) относительно входа канала при заданном выходе называется неопределенностью для канала и, таким образом, неравенства (2.3.20) дают согласующийся с интуицией результат, что эта неопределенность для канала никогда не может уменьшаться при движении от входа по последовательно соединенным каналам. [2]

Она является мерой средней неопределенности принятого сигнала. [3]

Соотношение ( 1) можно интерпретировать как формулу для вычисления средней неопределенности ( условной энтропии) последующей буквы /, когда известны предыдущие N-1 букв. [4]

Заметим, что утверждение теоремы 2.27 можно переформулировать так: если средняя неопределенность относительно исхода испытания конечна, то скорость, с которой создается информация при повторениях g с помощью преобразования Т, совпадает с неопределенностью относительно исхода g при. [5]

Нт ( х) - Щх / у); Щх) - средняя неопределенность передаваемого сообщения ( априорная); Н - ( х / у) - средняя неопределенность принимаемого сообщения ( апостериорная); Т - время передачи информации; tf ( x), ff ( x / y) - априорная и апостериорная энтропии, приходящиеся на единицу времени. [6]

Ят ( х) - Щх / у); Щх) - средняя неопределенность передаваемого сообщения ( априорная); Нг ( х / у) - средняя неопределенность принимаемого сообщения ( апостериорная); Т - время передачи информации; ff ( x), ff ( x / y) - априорная и апостериорная энтропии, приходящиеся на единицу времени. [7]

Это равенство показывает, что / ( X; Y) можно интерпретировать как среднюю неопределенность X, которая снимается после... Y; Н ( X Y) представляет собой среднюю оставшуюся неопределенность Х после наблюдения. [8]

H ( XY) - средняя условная энтропия ансамбля сигналов х при известных принятых сигналах у, характеризующая остаточную среднюю неопределенность передаваемых сигналов, если известны принимаемые. [9]

Напрашивается предположение о том, что информационное содержание последовательности находится в тесной связи с информационной энтропией источника сообщений, определяемой как средняя неопределенность, устраняемая на один символ. Так как информационная энтропия определяется свойствами источника, а с другой стороны информационное содержание возрастает с увеличением длины последовательности, однако эти меры не тождественны. Итак, мы отчетливо видим, что информационное содержание является мерой информации, отличной от информационной энтропии. В то время как информационная емкость книги объемом в 500 страниц, согласно приведенным выше расчетам, составляет около 5 106 битов, реальное информационное содержание такой книги, как правило, существенно меньше. Например, если наша книга состоит только из повторений высказывания Фауста В начале было дело, то ее информационное содержание, несомненно, не идет ни в какое сравнение с информационным содержанием научного труда того же объема. [10]

Я ( S / ljj), это есть среднее количество информации, созданной источником за время от 0 до га-1, минус средняя неопределенность об источнике, оставшаяся после получения выходных сигналов канала за этот промежуток времени. Делением этой величины на п придем к средней скорости, с которой информация об источнике обрабатывается каналом за соответствующий промежуток времени. [11]

Зависимости (6.3) и (6.4) выражают среднее на одно событие ( сообщение) количество информации и энтропии. Термин энтропия заимствован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества. [14]

Зависимости (4.3) и (4.4) выражают среднее на одно событие ( сообщение) количество информации и энтропии. Термин энтропия заимствован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества. [15]

Страницы: 1 2