Cтраница 1
Основная теорема Шеннона показывает, что можно передавать сигналы со скоростью, сколь угодно близкой к максимально возможной, делая при этом сколь угодно малое число ошибок. Доказательство основано на случайном кодировании, использующем очень длинные коды; в очень длинном слове с большой вероятностью произойдет много ошибок, которые должны быть исправлены приемником. [1]
Да, именно это утверждает основная теорема Шеннона, доказательство которой мы, естественно, опустим. [2]
До ору шин Р. Л. Общая формулировка основной теоремы Шеннона в теории информации. [3]
Такое эффективное кодирование базируется на основной теореме Шеннона для каналов без шума. [4]
Исследование условий, при которых верна основная теорема Шеннона о возможности передачи информации. [5]
Содержание этой теоремы вытекает из вывода основной теоремы Шеннона ( [1], стр. Однако теорема может быть сформулирована и доказана, исходя из того, что энтропия есть функционал распределения вероятностей и не зависит от последовательности элементов сообщения. Доказательство настолько удобно и просто, что эту теорему целесообразно выделить. [6]
К сожалению, строгое математическое доказательство основной теоремы Шеннона о кодировании при наличии помех и в этом случае является все же довольно сложным. В работе [1], положившей начало всей теории информации, такое строгое доказательство вообще отсутствует; Шеннон здесь ограничился лишь изложением ряда общих соображений, весьма наглядно объясняющих причины, по которым эта теорема должна иметь место. [7]
Полученный результат позволяет без труда доказать основную теорему Шеннона о кодировании при наличии помех. Воспользуемся для этого тем, что среднее значение любой случайной величины не может ытъ меньше всех ее возможных значений ( см. стр. [8]
Этот случай, вообще говоря, менее интересен, чем случай передачи со скоростью v1 C v, а относящиеся к нему результаты менее неожиданны, чем основная теорема Шеннона; тем не менее он тоже заслуживает рассмотрения. [9]
Для вероятностных источников стоимость кода определяется как среднее число кодовых букв, приходящихся на одну входную. Это составляет содержание основной теоремы Шеннона о кодировании источников. В книге приводятся обычные конструкции кодов, сжимающих порожденные вероятностным источником сообщения: кодов Шеннона, Хаффмена, Гилберта и Мура. С помощью кода для источника равновероятных букв строятся формулы для булевой функции с порогом два. [10]
Это соответствует выводу, следующему из основной теоремы Шеннона о существовании оптимального кодирования для канала с шумом. [11]
Из формулы (6.70) следует, что при т - и, рт - Я) / Ziconst. Это соответствует выводу, следующему из основной теоремы Шеннона о существовании оптимального кодирования для канала с шумом. [12]
Измерительная система может рассматриваться как особого рода канал связи между источником и потребителем измерительной информации. Если мощность помех меньше мощности сигнала, то для - измерительной системы справедлива основная теорема Шеннона для дискретного канала без шума. [13]
Итак, мы можем снизить влияние шума, располагая точки кода возможно дальше друг от друга. Одна из основных теорем Шеннона устанавливает удивительный факт, что можно достичь практически безошибочной передачи по этому каналу, используя сигналы ограниченной мощности, но лишь при условии, что скорость кода не превосходит некоторого порогового значения, называемого пропускной способностью канала. Имеются аналогичные результаты для многих других каналов, в том числе и для двоичного симметричного канала. [14]
Эти методы объясняются по мере их использования, так что не предполагается наличия у читателя предварительных знаний вычислительной техники. Многие другие доказательства были существенно упрощены, и иногда, следуя за развитием технологии, был добавлен новый материал. Предприняты значительные усилия изложить материал ( в особенности доказательство основной теоремы Шеннона) таким образом, чтобы было понятно, почему теоремы справедливы, а не только чтобы привести математически строгое доказательство. [15]