Cтраница 2
Предложен ряд различных мер связи между строками и столбцами в двумерных таблицах сопряженности. Среди них выделяются информационные меры связи как легко допускающие обобщение на многомерный случай. [16]
Мы будем следовать обозначениям, введенным в § 1, и соглашению о том, что если информационные меры зависят от совокупности СВ, которые рассматриваются как одна СВ, то эта совокупность будет записываться в качестве аргумента без объединяющих ее скобок. Мы будем часто использовать обозначения, явно подчеркивающие, что информационные меры, связанные с СВ, в действительности определяются их ( совместными) распределениями. [17]
Применимость этих функционалов в соответствии с их эвристическим смыслом не ограничивается проблемами связи или хранения информации. Тем не менее существуют другие функционалы, конструктивная значимость которых не связана с кодированием и которые также можно интерпретировать как информационные меры. [18]
Информационные меры, введенные в § 1, являются важным формальным орудием теории информации, часто используемым в довольно сложных вычислениях. Кроме того, этим формальным свойствам информационных мер можно приписать некоторую интуитивную интерпретацию, которая помогает их запоминать и правильно использовать. [19]
Классической мерой информации является энтропия Шеннона. Однако она не отражает пространственной структуры изображений. В этой главе мы представим читателю семейство информационных мер изображений, базирующихся на концепции изменения минимального числа градаций яркости, необходимого для преобразования исходного изображения в изображение с заданной гистограммой яркости. Обобщенная мера информационной емкости изображения теоретически не связана с шенноновской энтропией и одновременно хорошо отражает пространственную статистику изображения. Естественное расширение этой концепции на меру информации Лоренца делает ее интуитивно понятной и содержательной. На основе этих мер информации определены также меры количества информации для логических изображений. Далее они называются мерами структурной информации. [20]
Вопросы применения информационных мер при изучении психических явлений до сих пор окончательно не решены. Одни исследователи пытаются применять эти меры всюду, полагая, что они могут служить в психологии основным средством количественного анализа. Другие относятся к ним более осторожно ( а иногда и просто отрицательно), указывая на ограниченность информационных мер и на необходимость прежде всего качественного анализа психических явлений. Попытки их применения к другим моментам деятельности человека наталкиваются на значительные трудности. [21]
Информация - модное понятие, интересное во многих аспектах, из которых количественный ( предмет нашего изучения) хотя и не самый впечатляющий, зато фундаментальный. На интуитивном уровне достаточно сказать, что - информация - это некие предопределенные сведения, содержащиеся в каких-то данных или схемах, необходимые для определенной цели. На самом деле это понятие не входит явным образом в математическую теорию. Однако в настоящей книге будет удобно интерпретировать некоторые функционалы от случайных величин как меры количества информации, обусловливаемой явлениями, описываемыми этими случайными величинами. Использование таких информационных мер характерно при анализе оптимальных возможностей кодов; кроме того, они оказываются полезными в других областях математики, имеющих дело со случайными явлениями. [22]
Возможен и противоположный путь: начиная с энтропии, которая выражается простой формулой, можно построить более сложные функционалы от распределений вероятностей. На основе эвристи-ческих рассмотрений ( вполне независимых от приведенной выше модели связи) эти функционалы можно интерпретировать как меры информации, соответствующие различным комбинациям случайных величин. Конструктивная применимость этих информационных количеств априори не очевидна. Тем не менее при достаточно общих условиях решение проблемы ПМСП выражается в терминах этих понятий. Точнее, в соответствующих теоремах утверждается, что, как и подсказывает интуиция, конструктивно определенные информационные меры для источника и канала можно выразить через такие функционалы. Эта согласованность различных подходов обосновывает и с формальной, и с эвристической точек зрения фундаментальную важность информационных мер, основанных на понятии энтропии. [23]
Возможен и противоположный путь: начиная с энтропии, которая выражается простой формулой, можно построить более сложные функционалы от распределений вероятностей. На основе эвристи-ческих рассмотрений ( вполне независимых от приведенной выше модели связи) эти функционалы можно интерпретировать как меры информации, соответствующие различным комбинациям случайных величин. Конструктивная применимость этих информационных количеств априори не очевидна. Тем не менее при достаточно общих условиях решение проблемы ПМСП выражается в терминах этих понятий. Точнее, в соответствующих теоремах утверждается, что, как и подсказывает интуиция, конструктивно определенные информационные меры для источника и канала можно выразить через такие функционалы. Эта согласованность различных подходов обосновывает и с формальной, и с эвристической точек зрения фундаментальную важность информационных мер, основанных на понятии энтропии. [24]