Обучающий пример

Cтраница 2

Алгоритм EG2 позволяет использовать дополнительные знания о предметной области, представленные в виде ISA-иерархии на значениях атрибутов обучающих примеров. Методы обобщения, заложенные в алгоритме, - подъем по дереву обобщения и объединение значений операцией или - позволяют получать более компактные решающие деревья, с большей вероятностью отражающие реальные взаимосвязи в представленных данных. [16]

На этом рисунке показан вектор весов нейрона скрытого слоя на некотором шаге обучения и векторы изменения весов, соответствующие отдельным обучающим примерам. Векторы изменений имеют два преимущественных направления и образуют в пространстве область, существенно отличающуюся от сферической. Суть алгоритма заключается в выявлении и расщеплении таких нейронов. В результате расщепления вместо одного исходного в сети оказывается два нейрона. [17]

Таким образом, в качестве критерия выбора нейрона для расщепления используется отношение суммы длин векторов изменений синаптических весов нейрона, соответствующих различным обучающим примерам, к длине суммы этих векторов. [18]

Окно конструирования нейронной сети. [19]

Во-первых, для хорошей ( гладкой) аппроксимации данных общее число связей сети должно быть в несколько раз ( лучше на порядок) меньше числа обучающих примеров. [20]

Если в необученную сеть ввести входной сигнал одного из примеров обучающей выборки, то выходы НС будут отличаться от требуемых выходов, которые определены в обучающем примере. [21]

Следует иметь в виду, что для успешного решения реальных задач необходимо определить ряд характеристик, включая модель сети, ее размер, функцию активации, параметры обучения и набор обучающих примеров. [22]

После сжатия этого дерева, сворачивая, где возможно, поддеревья в один лист, мы получим дерево, изображенное на рис. 13.8. Такое же дерево будет построено алгоритмом ID3 на этих восьми обучающих примерах. [23]

При использовании пространства вариантов наиболее конкретные и наиболее общие понятия определяют верхнюю и нижнюю границы частично упорядоченного пространства поиска. Обучающие примеры заставляют обобщать конкретные описатели и делать более специальными общие описатели. В этом процессе полезные описатели сохраняют в основном свой первоначальный характер. Конечно, наиболее исчерпывающее описание с большой вероятностью содержит части описаний, которые существовали с самого начала, а указанные влиятельные описатели обеспечивают такому подходу наличие характеристик влияния. В системе BACON признаки с некоторыми изменениями распространяются по пространству признаков. Когда некоторое множество признаков сходится к константному значению, то система заключает, что была открыта некоторая концепция. Манипулирующие признаками операторы оказывают влияние на систему и в конечном счете приводят к тому, что одна из характеристик пространства признаков становится доминирующей. [24]

Пусть обучающие примеры порождаются некоторой функцией, которую нам и хотелось бы воспроизвести. В теории обучения такую функцию называют учителем. При конечном числе обучающих примеров всегда возможно построить нейросеть с нулевой ошибкой обучения, т.е. ошибкой, определенной на множестве обучающих примеров. Для этого нужно взять сеть с числом весов большим, чем число примеров. Действительно, чтобы воспроизвести каждый пример у нас имеется Р уравнений для W неизвестных. И если число неизвестных меньше числа уравнений, такая система является недоопределенной и допускает бесконечно много решений. В этом-то и состоит основная проблема: у нас не хватает информации, чтобы выбрать единственное правильное решение - функцию-учителя. В итоге выбранная случайным образом функция дает плохие предсказания на новых примерах, отсутствовавших в обучающей выборке, хотя последнюю сеть воспроизвела без ошибок. [25]

Будем называть структурированными атрибутами те из них, которые имеют ассоциированную ISA-иерархию. В обучающих примерах могут встречаться только значения, расположенные на нижнем уровне иерархии, будем называть эти значения наблюдаемыми. [26]

Совокупность всех обучающих примеров носит название обучающей выборки. [27]

Алгоритм ID5R строит решающее дерево инкрементно, модифицируя решающее дерево таким образом, чтобы наиболее информативный атрибут всегда проверялся первым. Хотя алгоритм сохраняет обучающие примеры в решающем дереве, они используются только в процессе изменения структуры дерева, а не обрабатываются каждый раз при добавлении нового примера. [28]

В простейшем случае формирование пары обучающих примеров для НС осуществляется по принципу движущегося окна: то есть берется некоторый отрезок временного ряда и из него выделяется несколько наблюдений, например 10; эти наблюдения и будут представлять собой входной вектор. Значением желаемого выхода в обучающем примере будет следующее по порядку наблюдение, то есть одиннадцатое. Затем движущееся окно сдвигается на одну позицию в направлении возрастания времени, и процесс формирования следующей пары обучающей выборки повторяется. Таким образом, в приведенном примере сеть, работающая в режиме прогноза, должна иметь десять входов и один выход. [29]

Как видно, разметка решающего дерева отличается от разметки, используемой в алгоритме / D3, поэтому его интерпретация также несколько отличается. Когда дерево используется для классификации обучающего примера, от корня дерева проходится путь в соответствии со значениями атрибутов в узлах проверки до тех пор, пока не будет достигнут лист, в котором все примеры принадлежат одному классу. Если достигнутый лист содержит примеры разных классов, то алгоритм развертывает его в поддерево и продолжает работу. [30]

Страницы: 1 2 3 4