Cтраница 3
Взаимная информация является довольно необычной случайной величиной, так как ее значение зависит от вероятностной меры, однако с ней можно обращаться так же, как с любой другой случайной величиной. В частности, взаимная информация имеет среднее значение, дисперсию, моменты всех порядков и производящую функцию моментов. [31]
Полученные результаты можно обобщить на случай, когда партия бракуется при обнаружении в выборке более с дефектных изделий. Для вывода соответствующих формул необходимо от производящей функции ITx ( s) распределения числа X перейти к производящей функции моментов этого распределения. [32]
![]() |
Модель Оркатта распределения времени контактирования. [33] |
Тогда РВП в плотной фазе Ее ( t), которое было названо распределением времен контакта, можно определить с помощью производящей функции моментов для гомогенных систем. [34]
Теперь рассмотрим ту же самую задачу как вероятностную. Отношение с ( п, k) / nl является вероятностью того, что выбранная наугад подстановка содержит k циклов. Следовательно, производящей функцией для вероятностей служит cn ( t ln, а производящей функцией факториальных моментов или производящей функцией биномиальных моментов, согласно разд. [35]
Следовательно, функция х определенная соотношением (3.22), является преобразованием пары ( N, SN), такой, что SN не зависит от N и имеет характеристическую функцию b / ( b - i. Такое же утверждение справедливо для х - и в силу единственности факторизации P ( s) / b и Q ( s) / a на самом деле являются производящими функциями моментов N и N - перпого вхождения. [36]
Настоящие лекции были прочитаны в 1963 - 1964 гг. в ЦЕРНе, Женева. В первой части лекций собраны некоторые важнейшие результаты теории случайных величин. Большинство доказательств основано на аксиомах теории вероятностей в их классическом виде. Для вычисления новых распределений используется метод производящих функций моментов; этот же метод использован для доказательства центральной предельной теоремы. [37]
Теорема кодирования для канала с шумами принадлежит Шеннону ( 1948) и, несомненно, является самым значительным результатом в теории информации. Впервые Файнстейн ( 1955) показал, что Ре стремится к нулю экспоненциально по N при фиксированной скорости R С. Граница случайного кодирования, граница сферической упаковки и тот факт, что они экспоненциально совпадают при скоростях, близких к пропускной способности, были впервые получены Элайсом ( 1955) в частных случаях двоичного симметричного канала и двоичного канала со стиранием. Фано ( 1961) использовал методы случайного кодирования, развитые Шенноном, и производящих функций моментов, для получения показателя экспоненты случайного кодирования Ет ( R) и для эвристического вывода границы сферической упаковки для общего дискретного канала без памяти. Единственная граница сферической упаковки, которая пока что получена, для каналов с конечным числом состояний, принадлежит Кеннеди ( 1963) и относится к одному классу двоичных каналов. [38]