Cтраница 4
Пусть обучающие примеры порождаются некоторой функцией, которую нам и хотелось бы воспроизвести. В теории обучения такую функцию называют учителем. При конечном числе обучающих примеров всегда возможно построить нейросеть с нулевой ошибкой обучения, т.е. ошибкой, определенной на множестве обучающих примеров. Для этого нужно взять сеть с числом весов большим, чем число примеров. Действительно, чтобы воспроизвести каждый пример у нас имеется Р уравнений для W неизвестных. И если число неизвестных меньше числа уравнений, такая система является недоопределенной и допускает бесконечно много решений. В этом-то и состоит основная проблема: у нас не хватает информации, чтобы выбрать единственное правильное решение - функцию-учителя. В итоге выбранная случайным образом функция дает плохие предсказания на новых примерах, отсутствовавших в обучающей выборке, хотя последнюю сеть воспроизвела без ошибок. [46]
Эксперты-химики часто испытывают затруднения при конструировании ЭП, поскольку многое в знаниях специалистов подразумевается или рассматриваемая ПО не совсем совпадает с областью их деятельности. С целью устранения таких затруднений была предпринята разработка ЭС META-DENDRAL. ЭС META-DENDRAL помогает определять зависимость масс-спектрометри-ческой фрагментации от структурных особенностей молекул благодаря наличию ПП фрагментации для данного класса молекул. ЭС выводит эти ПП из обучающих примеров, содержащих наборы молекул с известными трехмерными структурами и масс-спектрами. Вначале META-DENDRAL порождает совокупность весьма специальных ПП, описывающих одиночный процесс фрагментации для конкретной молекулы. Затем она использует обучающие примеры для обобщения таких ПП. [47]
Процесс обучения сети случаен. Даже при абсолютно одинаковых начальных условиях инициализация весов сети перед обучением носит случайный характер. Сильно влияет на процесс обучения порядок предъявления сети обучающих примеров. [48]
Обучение CPN-сети складывается из двух процессов адаптации. На первом этапе весовые векторы слоя Кохонена настраиваются так, чтобы моделировать распределение входных векторов. Очевидно, что этот процесс является процессом самостоятельной адаптации. При этом точность аппроксимации будет гарантирована только тогда, когда набор обучающих примеров будет статистически представительным ( репрезентативным) для области, на которой действует отображение. Второй адаптационный процесс является несамостоятельным. Он начинается после того, как произошло обучение слоя Кохонена. Происходит настройка весов выходного слоя Гроссберга на примерах с заданным выходом. [49]
Необходимость многократных экспериментов приводит к тому, что контрольное множество начинает играть ключевую роль в выборе модели и становится частью процесса обучения. Тем самым ослабляется его роль как независимого критерия качества модели. Однако для того чтобы придать окончательной модели должную надежность, часто ( когда объем обучающих примеров это позволяет) поступают следующим образом: резервируют тестовое множество примеров. Итоговая модель тестируется на данных из этого множества, чтобы убедиться, что результаты, достигнутые на обучающем и контрольном множествах примеров, реальны, а не являются артефактами процесса обучения. Разумеется, для того чтобы хорошо играть свою роль, тестовое множество должно быть использовано только один раз: если его использовать повторно для корректировки процесса обучения, то оно фактически превратится в контрольное множество. [50]
Следует также проверить, скоррелированны ли действия скрытых элементов. В многомерном регрессионном анализе при росте муль-тиколлинеарности значения коэффициентов регрессии становятся все менее надежными. Так же и здесь предпочтительно, чтобы выходы скрытых элементов одного слоя были некоррелированны. Нужно найти собственные значения корреляционной матрицы для выходов скрытых узлов по данным обработки всех обучающих примеров. При полной некоррелированности все собственные значения будут равны единице, а отличия от единицы говорят об избыточном числе скрытых элементов. [51]
Пусть обучающие примеры порождаются некоторой функцией, которую нам и хотелось бы воспроизвести. В теории обучения такую функцию называют учителем. При конечном числе обучающих примеров всегда возможно построить нейросеть с нулевой ошибкой обучения, т.е. ошибкой, определенной на множестве обучающих примеров. Для этого нужно взять сеть с числом весов большим, чем число примеров. Действительно, чтобы воспроизвести каждый пример у нас имеется Р уравнений для W неизвестных. И если число неизвестных меньше числа уравнений, такая система является недоопределенной и допускает бесконечно много решений. В этом-то и состоит основная проблема: у нас не хватает информации, чтобы выбрать единственное правильное решение - функцию-учителя. В итоге выбранная случайным образом функция дает плохие предсказания на новых примерах, отсутствовавших в обучающей выборке, хотя последнюю сеть воспроизвела без ошибок. [52]
Такие свойства нейронных сетей как параллельная обработка, высокая отказоустойчивость, обучение на примерах, способность к обобщению и классификации данных позволяют их успешно применять в задачах создания нейросетевых регуляторов. При разработке нейросетевого регулятора в качестве ключевых критериев функционирования системы управления выбираются оптимальный по быстродействию принцип управления и инвариантность системы к внешним воздействиям. В этом случае конструируемый нейросетевой регулятор характеризуется простотой структуры и, как следствие, несложностью технической реализации, отсутствием внутренних обратных связей. Настройка нейросетевого регулятора осуществляется с использованием алгоритмов обучения с учителем, заключающихся в изменении параметров многослойной нейронной сети прямого распространения на основании функции оценки по обучающим примерам. Для формирования обучающей выборки разработаны алгоритмы ее формирования по линейной и нелинейной моделям объекта управления, основанные на введении обратного времени в модель объекта управления. Такой подход к задаче настройки параметров нейросетевого регулятора по обучающей выборке основан на использовании методов нелинейного программирования в совокупности с методом обратного распространения ошибки, что позволяет существенно ускорить процедуру обучения. К настоящему времени опубликованы данные по успешному промышленному применения систем управления химическими реакторами, ректификационными колоннами на базе нейросетевых регуляторов. [53]