Cтраница 1
Словарь основ слов состоит из двух частей - основного словаря и дополнительного. Основной словарь составляется до ввода системы в эксплуатацию и предназначен для точного морфологического анализа. Дополнительный словарь формируется в процессе эксплуатации системы и пополняется за счет новых слов. При этом используется процедура приближенного морфологического анализа. Основы новых слов записываются в словарь в порядке их поступления, а в качестве номеров смысловых эквивалентов используются их позиционные номера. Поиск в дополнительном словаре производится цепным способом. [1]
Словарь основ слов записывается в памяти ЭВМ. Массив кодов морфологических классов слов записывается отдельно от массива буквенных кодов основ и, в свою очередь, разделяется на два массива: массив кодов основоизменительных классов и массив кодов флективных классов слов. Массив кодов флективных классов представляет собой перечень их номеров ( согласно табл. 7.1), поставленных в соответствие кодам основ слов. Различные сочетания номеров флективных классов, соответствующие омонимичным основам, перенумерованы, и эти ( последние) номера включены в состав массива флективных классов. [2]
При составлении словаря основ слов используются алгоритмы точного и приближенного морфологического анализа ( см. гл. Если словарь составляется заново, с нуля, то выделение основ слов и назначение им грамматической информации осуществляется с помощью процедуры приближенного морфологического анализа. Если он составляется - на базе ранее составленного словаря, то поиск в исходном словаре производится с помощью процедуры точного морфологического анализа, а поиск в дополнительной части словаря - с помощью процедуры приближенного анализа. Обращение к дополнительной части словаря происходит после того, как очередное слово не было найдено в исходном словаре. [3]
Таким образом, словарь основ слов и словарь словоформ могут быть использованы в качестве средства для определения грамматических признаков новых слов. При этом отпадает необходимость в специальных списках конечных буквосочетаний слов. [4]
В случае необходимости словарь основ слов и словарь понятий дополняются. Новые буквенные коды наименований понятий записываются в конец этого массива. [5]
Процедуры автоматического составления словарей словоформ и словарей основ слов имеют много общих черт. [6]
Сначала слова, входящие в наименование понятия, отождествляют с элементами словаря основ слов и получают грамматич. Слова заменяются номерами их основ по словарю и сопровождаются грамматич. При этом разрешается омонимия основ слов путем последовательной проверки на совместность каждого грамматич. На 2 - м этапе кодирования выявляется грамматич. Наконец, полученный в результате первых двух этапов код отождествляется с одним из элементов словаря понятий и заменяется па порядковый номер этого элемента ( ссмантич. Порядковый помер понятия далее используется в качестве его кода. [7]
Сначала слова, входящие в наименование понятия, отождествляют с элементами словаря основ слов и получают грамматич. Слова заменяются номерами их основ по словарю и сопровождаются грамматич. При этом разрешается омонимия основ слов путем последовательной проверки на совместность каждого грамматич. На 2 - м этапе кодирования выявляется грамматич. Наконец, полученный в результате первых двух этапов код отождествляется с одним из элементов словаря понятий и заменяется па порядковый номер этого элемента ( семантич. Порядковый номер понятия далее используется в качестве его кода. [8]
В ИПС словари слов могут быть в виде словаря словоформ и в виде словаря основ слов. В первом случае основным элементом словаря является буквенный код словоформы, во втором - буквенный код основы слова. В процессе перевода сообщений с русского языка на информационный поиск в словаре осуществляется по буквенному коду словоформы или основы слова, а из словаря выбирается порядковый номер словоформы ( основы слова) и сопровождающая его грамматическая информация. Первый вид поиска в словаре называется прямы м, а второй - обратным. В ИПС словарь должен быть построен так, чтобы он был удобен и для прямого и для обратного поиска. [9]
Для автоматического индексирования с контролем по тезаурусу необходимо иметь систему из трех словарей: 1) словарь основ слов; 2) словарь наименований понятий; 3) словарь родо-видовых связей слов. Словарь основ слов представляется в побуквенном коде и каждой основе ставится в соответствие номер ее смыслового эквивалента. В словаре наименований понятий большая часть понятий выражена именными словосочетаниями и значительно меньшая - отдельными словами. В качестве однословных терминов используются наиболее информативные слова из числа представленных в словаре основ. Словосочетания и однословные термины кодируются номерами смысловых эквивалентов слов. Каждому наименованию понятия ставится в соответствие его номер. [10]
Полнота установления смысловых связей между понятиями при индексировании может быть существенно увеличена, если наряду со словарем основ слов и словарем наименований понятий использовать словарь родовидовых связей слов. При этом понятие А тезауруса может быть использовано для замены исходного понятия В, если для каждого слова наименования понятия А в наименовании понятия В находится либо эквивалентное ему по смыслу слово, либо слово, выражающее более узкое по объему понятие. В обоих наименованиях понятий схемы связей соответствующих слов должны совпадать. [11]
Таким образом, наиболее существенное сокращение необходимого объема памяти ( в 2 - 3 раза) достигается при переходе от словаря словоформ к словарю основ слов в том виде, каким он принят в настоящей главе. Дальнейшие шаги в этом направлении малоэффективны и связаны с существенным усложнением алгоритмов морфологического анализа и синтеза. [12]
Для автоматического индексирования с контролем по тезаурусу необходимо иметь систему из трех словарей: 1) словарь основ слов; 2) словарь наименований понятий; 3) словарь родо-видовых связей слов. Словарь основ слов представляется в побуквенном коде и каждой основе ставится в соответствие номер ее смыслового эквивалента. В словаре наименований понятий большая часть понятий выражена именными словосочетаниями и значительно меньшая - отдельными словами. В качестве однословных терминов используются наиболее информативные слова из числа представленных в словаре основ. Словосочетания и однословные термины кодируются номерами смысловых эквивалентов слов. Каждому наименованию понятия ставится в соответствие его номер. [13]
Таким образом, чтобы перевести тексты рефератов и запросов в машинную форму представления и обеспечить высокий уровень полноты выдачи информации при поиске, необходим автоматический тезаурус. В состав тезауруса должны входить словарь основ слов, словарь смысловых связей слов, словарь наименований понятий и классификационный словарь понятий. [14]
Различают точные и приближенные методы морфологического анализа. Точных методы базируются на использовании словаря основ слов или словоформ, приближенные - на экспериментально установленной связи между конечными буквосочетаниями словоформ и их грамматической информацией. [15]