Cтраница 2
Но из этого ни в коем случае не следует вывод о какой-то ущербности этой формализации феномена информации. Именно понятие количества информации - и вообще формализация картины информационного процесса, впервые в развитой математической форме осуществленная Шенноном - дало толчок всему дальнейшему исследованию понятия информации и информационных взаимодействий. [16]
Количество информации ( или количество сведений), которое передается сигналом. Обсуждению понятия количества информации посвящен третий параграф этой главы. [17]
Работа № 5 содержит некоторые применения математического аппарата теории информации к теории динамических систем. Вводимое в этой работе понятие количества информации не получает какого-либо реального истолкования. [18]
С термодинамикой связана и теория информации. Информационные аспекты биологии весьма поучительны, Выясня-ется, что понятие количества информации совершенно недостаточно для рассмотрения развивающихся биологических систем. Оказывается необходимым рассматривать и рецепцию информации, и создание новой информации. И то, и другое возможно лишь в условиях неравновесия, нестационарности и неустойчивости. [19]
Колмогорова ( см. [15]) эти соображения послужили поводом для широкой постановки вопроса о возможности разных подходов к самому понятию количества информации и для пропаганды чисто комбинаторного подхода к этому понятию, в частности, в применении к изучению энтропии языка и, особенно, литературных текстов. [20]
Книга американского специалиста знакомит читателя с основными принципами построения визуальных информационных систем. Основное внимание в книге уделено нетрадиционным для русскоязычного читателя вопросам, таким, как построение визуальных баз данных, введение понятия количества информации в изображениях, использование семантических сетей, определение пространственных соотношений по предъявляемым изображениям и ико-ническое представление изображений. [21]
Одной из проблем мнемологии [1] является разработка методов размещения записываемой информации в ЗУ и поиска ее при воспроизведении. Разработка новых методов размещения информации в ЗУ предполагает новый подход к проектированию ЗУ, который основан на предложенном академиком А. Н. Колмогоровым: [2] определении понятия количества информации, включающем. [22]
Количественные закономерности, связанные с получением, обработкой и хранением информации, изучает теория информации. В теории информации вводится понятие количества информации, которое несет сообщение За единицу принято максимальную информацию, которую несет сообщение, представленное с помощью лишь одного из двух возможных знаков. Слово информация в теории информации употребляется в ином смысле, чем рассматривалось выше. [23]
Прежде чем мы попытаемся дать ответ на этот вопрос, очертим некоторые сложившиеся в литературе общеметодологические подходы к природе информации - подходы, оказывающие влияние не только на развитие теоретико-информационных исследований, но и на интерпретацию процесса познания вообще. Один из этих подходов основан на обнаружении глубоких связей некоторых теоретико-информационных концепций с определенными понятиями и теориями физики. Последний отправляется от связи между понятиями количества информации ( в статистической теории информации), или энтропией источника сообщений и ( физической) энтропией ( в статистической физике) - связи, хорошо выраженной в следующих словах Дж. [24]
Именно так и надо относиться к информатике в ее сегодняшнем понимании. Ведь ее теоретическим ядром является теория информации. А основным понятием в этой теории является понятие количества информации, которое конструируется, согласно формуле Шеннона, из соответствующих вероятностей. Можно напомнить также, что степень неопределенности того или другого опыта измеряют количеством информации, необходимым для устранения этой неопределенности. Обо всем этом мы уже неоднократно говорили. [25]
Из вышеизложенного отнюдь не следует, однако, что рассмотренное выше определение количества информации является всесторонним и исчерпывающим н может служить орудием для решения любых задач, связанных с потоками информации. Разумеется, среднее значение случайной величины (5.11) не может характеризовать полностью распределение вероятностей, да и само распределение вероятностей еще не характеризует все свойства информации. Здесь можно лишь заметить, что в понятие количества информации не входит промежуток времени между посылкой и получением сигнала. Между тем в автоматических системах важна не просто передача, а своевременная, без запаздываний, передача информации. Ограниченность понятия энтропии ( в случае дискретных сигналов) состоит также в том, что она отнюдь не является, например, характеристикой неопределенности результата измерения. На рис. 5.11 показано распределение вероятностей для дискретных значений случайной величин ]: х, например результата измерения. Возможные значения х: - отложены в виде точек на оси абсцисс, а соответствующие им вероятности изображены дл. [26]
Поскольку судить об эффективности такой системы можно только в терминах количества информации, обрабатываемой системой, принципиальное значение для этой задачи имеет выбор меры количества информации, передаваемой по системе. В определении же количества информации основную роль играет использование понятия энтропии, основанное на приравнивании устраненной неопределенности к приращению количества информации. Поскольку энтропия является численной мерой неопределенности, эта интерпретация понятия количества информации ставит энтропию на центральное место. [27]
В точном понятии информации ( количества информации) это выражается в том, что данное понятие ( в одной из его интерпретаций) представляет собой меру упорядоченности, организованности объектов. С другой стороны, оно характеризует процессы, происходящие в каналах связи самой разнообразной природы, - ив этой интерпретации оказывается близким понятием теории познания. В самом деле, в статистической теории информации ( исторически исходной в отношении всех других теорий информации) понятие количества информации естественно истолковывается как мера неопределенности событий. В соответствии с этим получение информации трактуется как процесс, уменьшающий неопределенность в сведениях, которыми располагает приемник сообщений. [28]
Не следует, впрочем, преувеличивать проникновение теоретико-информационных идей в физику. В общем, такое проникновение происходит не столько в работающую ее часть, сколько в исследования ее логических ( в широком смысле) оснований. В самом деле, если понятия термодинамической энтропии и энтропии информационной столь тесно связаны, то почему не попытаться развить на информационной основе самою термодинамику. Если понятие количества информации столь естественно интерпретируется в вероятностных терминах, то почему бы не попытаться заложить теорию информации в фундамент статистической физики и квантовой механики. [29]
Бурное развитие компьютерной техники во второй половине ХХ-го столетия вывело НТР на новый уровень - привело к развитию космонавтики и кибернетики. И тут вероятность еще раз ( и притом особенно громко) заявила о себе - само понятие количества информации, как выяснилось, выражается через вероятность, а задачи кодирования, передачи и обработки информации являются вероятностными задачами. Как тут не вспомнить пророческие слова Лапласа, сказанные сто лет назад. [30]