Подзаголовок: Loss упал — это хорошо. Но как проверить, что модель выучила логику, а не просто запомнила ответы? Системный подход к валидации.
Обучение модели завершено, метрики на обучающих данных выглядят отлично. Однако критически важный вопрос остаётся: действительно ли модель усвоила заложенную онтологию и умеет ею оперировать, или она лишь научилась угадывать ответы на знакомые шаблоны? Для ответа требуется многоуровневая стратегия тестирования, которая оценивает не только память, но и понимание.
Уровень 1: Фактологическая точность (Проверка памяти)
Цель: Убедиться, что модель корректно запомнила ключевые факты из онтологии: сущности, их свойства, допустимые значения и связи.
Метод: Создание отдельного тестового набора из прямых вопросов, которые не использовались при обучении. Примеры вопросов:
Оценка: Ответы модели сравниваются с эталонными, указанными в онтологии. Подсчитывается процент правильных ответов.
Критерий успеха: Точность должна превышать 90%. Это базовый, обязательный уровень качества.
Уровень 2: Логическая непротиворечивость (Проверка понимания)
Цель: Проверить, что модель не противоречит себе и правильно понимает иерархию и отношения между понятиями.
Метод: Модели задаются серии логически связанных вопросов в разной формулировке. Например:
«Является ли Лицензионный договор разновидностью Договора?»
«Все ли Договоры являются Лицензионными?»
«Если документ — Лицензионный договор, является ли он Договором?»
Оценка: Ответы должны быть последовательными и логически вытекать друг из друга («Да», «Нет», «Да»). Модель, которая просто запомнила фразы, может дать противоречивые ответы.
Уровень 3: Способность к логическому выводу (Проверка интеллекта)
Цель: Оценить, может ли модель применять знания для решения новых, ранее не встречавшихся задач, используя цепочку рассуждений.
Метод: Модели предлагаются сложные сценарии, требующие многошаговых умозаключений. Пример:
Оценка: Анализируется не только итоговый ответ («Нет»), но и ход рассуждений модели. Идеальный ответ должен включать шаги: 1) Расторгнутый договор изменять нельзя (правило онтологии), 2) Приложение является частью договора, 3) Следовательно, приложение также изменить нельзя.
Уровень 4: Устойчивость к аномалиям и сложным случаям
Цель: Проверить, как модель ведёт себя на граничных (edge cases) и намеренно запутанных запросах.
Метод: Включает:
Вопросы с использованием синонимов или жаргона, которых нет в онтологии.
Попытки «обмануть» модель противоречивыми условиями.
Запросы, на которые в онтологии явно не указан ответ, чтобы увидеть, признает ли модель ограниченность своих знаний.
Оценка: Модель должна либо давать корректный ответ, основанный на общих принципах онтологии, либо чётко указывать, что не может ответить, а не «галлюцинировать».
Уровень 5: Производительность и стабильность в работе
Цель: Убедиться, что модель не только умна, но и эффективна для промышленной эксплуатации.
Метрики:
Задержка (Latency): Время от отправки запроса до получения ответа. Для маленькой модели (3B) на CPU должно быть менее 500 мс.
Пропускная способность (Throughput): Сколько запросов модель может обработать в секунду.
Потребление памяти: Контроль за использованием оперативной и видеопамяти.
Стабильность вывода: Для моделей, генерирующих JSON или XML, — процент валидных, правильно сформированных ответов.
Автоматизированный пайплайн тестирования
Ключ к качеству — автоматизация. Вся батарея тестов должна объединяться в единый пайплайн, который:
Запускается автоматически после каждого этапа обучения или обновления модели.
Генерирует детальный отчет с оценками по каждому уровню и общим вердиктом (PASS/FAIL).
Интегрируется в процесс CI/CD, не позволяя попасть в продакшен модели с низкими баллами.
Включает мониторинг дрейфа: Периодически прогоняет регрессионные тесты, чтобы убедиться, что качество модели не деградирует со временем.
Вывод
Тестирование онтологической модели — это не проставление «галочки». Это глубокий аудит её «понимания». Инвестируйте время в создание комплексной тестовой батареи, покрывающей все пять уровней. Только так вы сможете с уверенностью сказать, что создали не просто «стенографиста», запомнившего шаблоны, а настоящего цифрового эксперта, способного к осмысленной работе в вашей предметной области. Качественная валидация — это страховка от сбоев и фундамент доверия к вашей AI-системе.
