Лабораторный практикум по интеллектуальным информационным системам

Под внешней валидностью понимается способность модели верно идентифицировать объекты, не входящие в обучающую выборку, но относящиеся к генеральной совокупности, по отношению к которой она репрезентативна.

Для измерения внешней валидности необходимо выполнить следующие действия:
1. В режиме измерения адекватности модели запустить режим измерения внешней валидности (нажав F8 Измерение внешней валидности) (рисунок 74).
2. Выбрать один из режимов удаления объектов обучающей выборки, приведенный на экранной форме (рисунок 75).

Рисунок 74. Режим переноса анкет обучающей выборки
в распознаваемую для измерения внешней валидности

Результат выполнения всех указанных на рисунке 74 действий приведен на рисунке 75.

Рисунок 75. Выходная форма с результатами измерения
внешней валидности методом бутстрепной статистики

При этом исходная выборка была разделена на две:
– в обучающей выборке остались только нечетные анкеты;
– в распознаваемую выборку были включены только четные анкеты;
– при распознавании был использован 2-й интегральный критерий: сумма количества информации.
Анализ отчета по внешней валидности, приведенного на рисунке 75, позволяет сделать вывод о высокой степени адекватности семантической информационной модели. Это значит, что взаимосвязи между словами, использованными в текстах, и принадлежностью этих текстов различным авторам, выявленные по примерам обучающей выборки, оказались имеющими силу и для других фрагментов текстов, приведенных в распознаваемой выборке. Это означает, что они относятся к генеральной совокупности, по отношению к которой обучающая выборка репрезентативна.
7. Выполнить адаптацию модели и измерить, как изменилась ее адекватность
Под адаптацией модели понимается ее количественная модификация, осуществляемая путем включения в обучающую выборку дополнительных примеров реализации объектов, относящихся к тем же самым классам и описанным в той же системе признаков.
На первом этапе, для изучения адаптивности модели осуществим ее синтез на основе обучающей выборки, состоящей из нечетных анкет, которая использовалась в примере для измерения внешней валидности. Но в отличие от этого примера эту же выборку используем и как распознаваемую.
На втором этапе осуществим синтез модели на основе полной обучающей выборки, включающей как четные, так и нечетные анкеты.
Адаптация модели повышает точность идентификации объектов той же самой генеральной совокупности.
8. Осуществить пересинтез модели и измерить, как изменилась ее адекватность
Под повторным синтезом (пересинтезом) модели понимается ее качественная модификация, осуществляемая путем включения в модель новых дополнительных классификационных и описательных шкал и градаций, представленных примерами в обучающей выборке.
Пересинтез модели обеспечивает возможность ее применения для идентификации объектов расширенной или новой генеральной совокупности.
Приведем пример синтеза новой модели, обобщающей предыдущую.