Мера - количество - информация
Cтраница 3
Колмогорова состоит в следующем. В качестве меры количества информации, а именно количества информации, содержащейся в одном объекте относительно другого объекта, рассматривается минимальная длина программы, позволяющая однозначно преобразовать один объект в другой объект; программа преобразования служит выражением сложности этого движения от одного объекта к другому. В этой статье в качестве исходного понятия теории информации выдвигается понятие условной энтропии объекта х при заданном объекте г /, истолковываемое как количество информации, требующееся для задания объекта х в обстановке, когда объект у уже задан; затем энтропия истолковывается как наименьшая длина программы ( представленной в виде кортежа из нулей и единиц), которая дает возможность построить объект х, исходя из наличия объекта у. По мнению А. Н. Колмогорова, на этом пути, опираясь на теорию частично-рекурсивных функций ( теорию алгоритмов), возможно развить алгоритмическую теорию информации. [31]
Если же используется мера количества информации в изображении, то можно оговорить, что NPlM ( fjR) не превосходит некоторый порог, где f / R - опорное изображение для R ( см. разд. [32]
Разность энтропии, используемую в последнем доказательстве, можно рассматривать как меру уменьшения неопределенности У вследствие того, что известно X. Другими словами, это есть мера количества информации об У, содержащейся в X. Отметим замечательный факт, заключающийся в том, что эта разность симметрична относительно X и У. [33]
Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. N, причем недопустимые состояния ( состояния с вероятностями, равными нолю) не должны учитываться, так как они не меняют неопределенности. [34]
Многочисленные результаты теории оптимального кодирования информации получены на основе введенной Шенноном меры количества информации, энтропии. [35]
Впоследствии они были положены в основу теории информации, где в качестве меры количества информации К. [36]
Обсудив теоретические аспекты меры PIM, мы можем перейти к ее приложениям. В этом разделе будет показано, что мера NPIM может быть распространена на меру количества информации Лоренца, которая интуитивно понятна, интерпретируема и легко вычислима. [37]
Энтропия Шеннона была придумана в первую очередь для кодирования и передачи информации. Поскольку нас интересует другая задача-извлечение информации из изображения, мы имеем некоторую свободу в выборе свойств, которыми должна обладать мера количества информации ( ММ) изображения. [38]
Потоки информации, необходимые для управления и ириня гня решении, должны быть минимальными. Вместе с тем информация для любого уровня управления должна быть достаточной для принятия правильного управленческого решения. В качестве меры количества информации в теории управления принята мера неопределенности, выраженная через энтропию. [39]
Хартли [4] в работе 1928 г. обобщил теорию применительно к передаче речи и информации вообще и пришел к заключению, что полное количество информации, которое может быть передано. Именно работа Хартли является прямым предшественником данной статьи. В своей работе он ввел понятие функции информации, меру количества информации и общие приемы исследования, используемые в данной статье. [40]
 |
Определение количества информации на каждое из равновероятных событий. [41] |
Таким образом приходим к выводу, что для информации об одном из двух равновероятных событий достаточна одна единица количества информации. Назо: вем ее двоичной единицей и примем за меру количества информации. [42]
 |
К измерению коэффициента детальности. [43] |
Коэффициент детальности является хорошей мерой сложности изображения. Однако он не - является, вообще говоря, мерой количества информации. Примером тому может служить изображение шахматной доски, для которой 61, а количество информации весьма мало в силу огромной корреляции между элементами. [44]
Интересно отметить, что мы полностью игнорировали свойства 4 и 5 ( аддитивность и сильную аддитивность) шенноновской энтропии. Эти свойства относятся к независимым событиям и энтропии, измеряющей вероятности их появления. Хотя для классической энтропии эти свойства представляются важными [4.1], к рассматриваемым нами мерам количества информации в изображениях они не имеют никакого отношения. [45]
Страницы: 1 2 3 4