Cтраница 4
Если же экспериментатор имеет более общую цель - приобретение максимальной информации о некоторых параметрах, то необходим метод, который приводил бы к наиболее эффективному одновременному уточнению и различению оценок. Прежние методы планирования и сравнения экспериментов, в основе которых лежит матрица ошибок искомых параметров, в данном случае неприменимы. Поэтому естественно обратиться к мере наших знаний более общей, чем матрица ошибок, а именно к мере количества информации, основанной на понятии энтропии. [46]
Общеизвестно и то обстоятельство, что выражение Н () формально тождественно с выражением энтропии в физике. Это совпадение я считаю вполне достаточным для оправдания наименования величины Я () и в теории информации энтропией: такие математические аналогии следует всегда подчеркивать, так как сосредоточение на них внимания содействует прогрессу науки. Но было бы преувеличением считать, что физические теории, связанные с понятием энтропии, уже содержат в себе в готовом виде элементы теории информации: первое использование выражений типа энтропии в качестве меры количества информации, которое мне известно, находится в только что упомянутых работах Фишера. [47]
Сообщения могут поступать и с разной вероятностью: одни - чаще, другие - реже. Кроме того, если сообщений много, то и восприниматься они могут по-разному: одни представят больший интерес, другие - меньший, третьи вообще не представят никакого интереса, так как уже известны. Однако анализ сообщений показывает, что количество информации в сообщении оказывается наибольшим тогда, когда это сообщение будет наиболее неожиданным или наименее вероятным. Случайные события изучает теория вероятностей, базирующаяся на объективном учете статистических факторов. Все это позволяет определить меру количества информации в общем виде, а не только в частных случаях. [48]
Передача информации осуществляется при помощи сигналов - физич. Хотя па передачу сигналов расходуется энергия, количество се в общем случае не связано с количеством, а тем более с содержанием передаваемой информации. В этом состоит одна из принципиальных особенностей процессов управления: управление большими потоками энергии может осуществляться при помощи сигналов, требующих для своей передачи незначит. Главной задачей этой теории является определение меры количества информации в сообщениях в зависимости от вероятности их появления. Редким сообщениям приписывается большее количество информация, а частым - меньшее; количество информации в сообщении измеряется изменением в степени неопределенности ожидания пек-рого события до и после получения сообщения о нем. [49]
Работы Винера и Шеннона были прочтены и подхвачены в первую очередь инженерами связи и устройств автоматического регулирования. Для них понятия информации и управления были профессионально привычными и не требовали разъяснений или определений. Но в дальнейшем, когда кибернетикой начали заниматься лица самых различных специальностей, подчас весьма далекие и от техники, и от математики, основные понятия кибернетики стали получать весьма разнообразные, а подчас и произвольные толкования. Другими авторами управление трактовалось как любое взаимодействие элементов системы, чем вольно или невольно в состав кибернетики включалась вся физика и многие другие естественные науки. Информационную энтропию и негэнтропию ( меру количества информации) некоторые авторы стали смешивать с физической энтропией и негэнтропией и утверждать, что растение получает с солнечным светом будто бы информацию, а не свободную энергию. [50]
Информации теория изучает способы восприятия, преобразования и передачи информации. Информация передается при помощи сигналов - фнзич. Хотя передача любых сигналов требует затраты энергии, количество ее в общем случае не связано с количеством, а тем более со смыслом передаваемой информации. В атом состоит одна из принципиальных особенностей процессов управления: управление большими потоками энергии может осуществляться сигналами, требующими для своей передачи назначит. Центр, понятием теории информации является мера количества информации, определяемая как изменение степени неопределенности в ожидании нек-рого события, о к-ром говорится в сообщении до и поело получения сообщения. Эта мера позволяет измерять количество информации в сообщениях подобно тому, как в физике измеряется количество энергии или количество веществ; смысл и ценность передаваемой информации для получателя при этом не учитываются. К этому направлению относится также4 изучение вопросов автоматич. [51]