Тестовая выборка

Cтраница 1

Объем тестовой выборки оказывает большое влияние на другую область, крайне важную для правильного тестирования. Объем выборки должен быть достаточно большим, позволяющим системе генерировать статистически значимую выборку сделок. Выборка из одной сделки определенно не является значимой, в то время как выборка из 50 или более сделок будет, как правило, адекватной. Тем не менее, ограничения, накладываемые торговой системой, или ограничения на доступ к данным могут иногда вынуждать принимать решения на основе выборки менее чем из 30 сделок. В таком случае аналитик должен оценивать каждую из остальных категорий с повышенной осторожностью. [1]

Равномерность распределения прибылей и убытков в тестовой выборке - важный показатель стабильности. Одна лишь чистая прибыль ничего не говорит о ее распределении; распределение прибылей и убытков - более важный показатель. Хорошее распределение свидетельствует об устойчивой и стабильной модели, в то время как плохое распределение ставит под вопрос валид-ность модели. [2]

Для получения ошибки обобщения необходима проверка НС по тестовой выборке, тогда вычисляемая ошибка Е - внешний критерий. Основная цель обучения НС - создание модели объекта, обладающей свойством непротиворечивости, т.е. такой, в которой ошибка обобщения сохраняется на приемлемом уровне при исследовании всего поискового пространства и даже за его пределами. [3]

Средние значения и гистограммы количества правильно ( Л. [4]

Далее полученные выше предсказания использовались для игры на тестовой выборке. [5]

В результате коррекции после размещения данных в базе производится тестовая выборка вновь введенных данных по материалам в различных разрезах. Программа пользователя сводит стоимостные или количественные балансы. Обнаруженные расхождения: свидетельствуют о неверных значениях ряда информационных полей и полей связи в модифицированной части базы. Коды и наименования документов, содержащих сомнительные данные, выпечаты-ваются, документы проверяются и вводятся повторно. [6]

Способы решения основных проблем обучения многослойной НС. [7]

Высокая точность, получаемая на обучающей выборке, может привести к неустойчивости результатов на тестовой выборке. Чем лучше сеть адаптирована к конкретным условиям ( к обучающей выборке), тем меньше она способна к обобщению и экстраполяции. Это явление называется переобучением [16]: в этом случае сеть моделирует не функцию, а шум, присутствующий в обучающей выборке. Один из способов решения этой проблемы - использование подтверждающей выборки [12], т.е. части примеров базы данных, которые не входят в обучающую и тестовую выборки. Ухудшение характеристик НС при работе с этой выборкой указывает на возможное переобучение. Недостатком этого приема является уменьшение числа примеров, которое можно было бы взять в качестве обучающего множества, что снижает качество работы НС. Кроме того, возникает проблема оптимального разбиения исходных данных на обучающую, тестовую и подтверждающую выборку. [8]

Необходимо отметить, что высокая точность, получаемая на обучающей выборке, может привести к неустойчивости результатов на тестовой выборке. Чем лучше сеть адаптирована к конкретным условиям ( к обучающей выборке), тем меньше она способна к обобщению и экстраполяции. [9]

Следует иметь в виду, что излишне высокая точность, полученная на обучающей выборке, может обернуться неустойчивостью результатов на тестовой выборке. Здесь действует общий закон: чем лучше система адаптирована к данным конкретным условиям, тем меньше она способна к обобщению и экстраполяции, тем скорее она может оказаться неработоспособной при изменении этих условий. А такие изменения от выборки к выборке неизбежны, особенно если выборки имеют небольшие размеры. Расширение объема обучающей выборки позволяет добиться большей устойчивости, но за счет увеличения времени обучения. [10]

Имейте в виду, что удовлетворение минимальных требований не так действенно, как применение меньшего числа правил и большего количества данных, что дает большую тестовую выборку, более точные результаты и более устойчивую систему. [11]

Таким образом, если ставится задача оптимизации НС, то для получения объективного результата производится разделение базы исходных данных на две части, называемые обучающей и тестовой выборкой. Критерием выбора решающего правила, синтезируемого по примерам из обучающей выборки, является среднеквадратичная ошибка обобщения, вычисленная по тестовой выборке. Так создается первое внешнее дополнение. [12]

Обычно, обучающая и тестовая выборки не пересекаются. Тестовая выборка строится индивидуально для каждой решаемой задачи. [13]

Проверочная выборка используется для определения переобучения сети, при котором ошибка для обучающей последовательности стремится к нулю, а для проверочной - возрастает. Тестовая выборка применяется для проверки качества функционирования обученной сети. [14]

В идеале, когда имеется достаточно большая выборка, часть наблюдений ( например, половину или две трети) можно использовать для обучающей выборки, а оставшиеся наблюдения - для тестовой. Если на тестовой выборке модель дает результаты того же качества, что и на обучающей выборке, то говорят, что модель хорошо прошла кросс-проверку. [15]

Страницы: 1 2