Cтраница 2
Некоторые считают, что теорема доказана, когда приведено логически правильное доказательство; другие считают, что теорема доказана только в том случае, когда студент видит, почему она обязана быть верной. Автор стремится придерживаться второй точки зрения. Поэтому сейчас сделаем отступление и докажем, а не просто сформулируем ряд результатов, необходимых для понимания доказательства основной теоремы Шеннона. Изложение будет достаточно подробным для того, чтобы читатель мог прочно усвоить соответствующие результаты, а не просто ознакомиться с ними. Поэтому в ряде случаев будут приведены сведения, не используемые в дальнейшем. [16]
Коши и выяснили условие, при котором эта помеха оказывает на решение ф ( ж) малое ( в среднем) влияние: необходима малость функции автокорреляции в гильбертовом пространстве с экспоненциальным весом. Этот подход фактически эквивалентен методу поиска квазирешений. В свою очередь, обе постановки [119, 205] тесно примыкают к задаче, о декодировании, возникающей в связи с общей формулировкой основной теоремы Шеннона в теории информации. [17]
Теорема Шеннона о кодировании без шума показывает, что при использовании достаточно большого расширения источника можно сколь угодно точно приблизить среднюю длину закодированного сообщения к энтропии источника. Это доказано как для простого источника, так и для более сложного марковского источника. Однако это не было доказано для всех возможных типов источников. Теорема кодирования без шума является предвестником основной теоремы Шеннона о том, что даже при наличии шума ( ошибок) можно найти подходящую систему кодирования. Этот результат доказывается в гл. [18]