Cтраница 4
Мера информации - мера тесноты взаимосвязи между событиями, явлениями, процессами, сходной и в ряде случаев взаимозаменяемой с др. мерами тесноты связи ( коэфф. [46]
Для упрощения дальнейших рассуждений положим, что все значения pi рациональны, a m выбрано так, что все произведения р т - целые числа. Мерой информации, содержащейся в какой-либо величине, является число бит, необходимое для ее кодирования. [47]
Сегодня даже пятиклассник 166 - й школы отлично знает, что для полной определенности или уверенности в наступлении какого-то события требуется получить столько информации, сколько с. Вот почему мерой информации ( Получу я завтра отлично за свой ответ. Выучил или не выучил заданное на дом. Такую неопределенность, неоднородность, напоминающую некий хаос, именуют еще энтропией, а разность между абсолютной энтропией и условной - количеством информации, которое можно вычислить, что и сделали впервые в 1948 году. [48]
Для выбора коэффициента k необходимо выбрать систему единиц. Если считать, что мера информации должна быть положительной, то наиболее разумным является принятие некоторого отрицательного коэффициента. В простейшем случае при k - 1 имеем ср [ p ( x0j) - - пр ( xoj) и за единицу информации принимаем натуральную единицу. [49]