Cтраница 4
В предыдущей главе была рассмотрена задача представления выхода источника информации с помощью букв кодового алфавита. На этом пути были найдены несколько наглядных толкований собственной информации и энтропии, а также был получен ряд простых и ясных результатов, касающихся кодирования для источника. Было установлено, что трудности применения теории обусловлены не ее сложностью, а трудностью представления реальных информационных источников разумными вероятностными моделями. В этой и последующих главах будет рассмотрена передача информации по каналам с шумами. В ходе этого рассмотрения будет получено более ясное понимание природы взаимной информации и найдены некоторые глубокие и имеющие большое значение результаты, касающиеся кодирования для канала с шумами. Будет показано, что эти результаты не так просты, как результаты, относящиеся к кодированию для источников, но они имеют очень большое практическое значение. Это значение проистекает из того, что для многих реальных каналов связи могут быть построены достаточно простые и полезные вероятностные модели и что применение теории к этим моделям приводит к нетривиальному проникновению в задачи построения систем связи. [46]