Cтраница 2
При некотором уменьшении Н ниже одного бита на букву мы перейдем от литературных текстов к текстам специализированным, понятным лишь для соответствующих специалистов. Возрастание степени дифференциации вероятностей букв в этих текстах связано с увеличением частоты применения каких-то определенных слов и словосочетаний, словесных штампов. При этом уменьшается степень вариативности языка за счет снижения степени его образности и эмоциональности. Текст становится более информационным, более строгим, более упорядоченным. И в то же время ( правильнее сказать: по той же причине) он становится более непонятным для непосвященных ( иначе говоря, недостаточно информированных) потребителей этого текста. [16]
При известном k - м столбике строится ( k 1) - й столбик по тому же принципу, что и предыдущий, с той лишь разницей, что буквы, отмеченные в предыдущем столбике двоичными символами, в последующем столбике отсутствуют. В новом столбике их представляет одна составная буква со значением вероятности, равным сумме вероятностей слагаемых букв. [17]
Теперь мы получим для оценки, указанной в теореме 1, другое выражение, которое сравнительно легко может быть вычислено по известным параметрам канала. Предположим сначала, что приписанные словам в теореме 1 вероятности Р ( и) равняются произведению вероятностей букв, составляющих эти слова. [18]
В § 3.4 явно указываем универсальный код для монотонных источников. Они порождают конечное множество букв, вероятности появления которых упорядочены одинаковым для всех источников образом. Если вероятности букв неизвестны, но известно, какая из двух букв более вероятна, то речь идет о монотонном источнике. Именно такова ситуация при построении определителей ( ключей) растений и животных. Вероятности неизвестны, но известно, какой вид более многочисленный. [19]
Сравнивая AfpaBH с Мъ М2, Мъ, М4, мы поневоле приходим к выводу, что неравномерный код более экономный, нежели равномерный. Однако вопрос о степени экономности кода определяется отнюдь не только общим числом М двоичных цифр в кодовой цепочке. Иными словами, надо учитывать, насколько часто используются те или иные буквы. Это, однако, зависит от вероятностей букв. Вполне может оказаться, что более экономен код на рис. 1, в чем мы как раз и убедимся в следующем параграфе. [20]
На все эти вопросы есть фактические ответы, и все же людская интуиция и догадки в общем ведут к ошибкам. Например, большинство людей, когда их спрашивают о появлении буквы К, говорят, что чаще она встречается в начале слова, чем на третьей позиции, что противоречит действительности. Почему люди неверно оценивают эти события. Согласно Тверски и Канеману, люди при ответе на этот вопрос пытаются сначала генерировать слова, начинающиеся с К, а затем слова, где К стоит на третьем месте. Если вы попробуете сделать это сами, вы поймете, почему люди неверно отвечают на этот вопрос. Причина переоценки частотности начальных букв кроется в том, что слова с первой буквой К более доступны, чем слова с К на третьем месте. Оценка вероятности букв основывается на обобщении, сделанном на очень ограниченном наборе слов, доступных в результате генерации. [21]