Маленькая языковая модель (3-7 млрд параметров) подобна талантливому, но очень узко специализированному стажёру. Её сила — не в обширных знаниях, а в фокусе. Дать ей плохие данные — всё равно что отправить этого стажёра на задачу с кривой и непонятной инструкцией. Результат будет предсказуемо плохим. Поэтому 80% успеха fine-tuning'а маленькой модели — это не магия алгоритмов, а кропотливая работа по подготовке данных.  

Формат данных: общий принцип «Вопрос — Контекст — Ответ»  

Представьте, что вы учите человека новой сложной теме. Вы бы не стали сыпать фактами без контекста. Вы дали бы инструкцию (контекст), задали вопрос и показали идеальный ответ. Именно так «думает» маленькая модель во время обучения.  

Каждый пример данных должен быть упакован в трёхсоставной шаблон:  

1. Системный промпт (Контекст/Роль): Кто ты? «Ты — аналитик службы поддержки, который классифицирует запросы».  

2. Пользовательский ввод (Задача): Что нужно сделать? «Пользователь пишет: "Не могу зайти в аккаунт"».  

3. Ответ модели (Эталон): Как должен выглядеть идеальный ответ? «Интент: проблема_с_доступом. Сущности: тип_проблемы — вход_в_аккаунт».  

Четыре практических шаблона для разных задач  

В зависимости от цели, ваши «сырые» данные нужно преобразовать по одному из четырёх паттернов.  

Шаблон 1: Для классификации и извлечения сущностей  

• Исходные данные: Размеченные исторические запросы (например, из чата поддержки), где для каждого сообщения эксперт указал его категорию (интент) и выделил ключевые данные (даты, номера, имена).  

• Преобразование: Вы превращаете эту структурированную разметку в связный текст-инструкцию. В итоге модель видит не просто метку «order_status», а законченную мысль: «Пользователь спрашивает о заказе №12345. Это запрос о статусе заказа, где нужно извлечь номер 12345 и дату 15.05.2024».  

Шаблон 2: Для вопросно-ответных систем на основе онтологии  

• Исходные данные: Ваша формальная онтология или база знаний — графы, таблицы, документы с правилами (например, «Договор → имеет статус → Активен»).  

• Преобразование: Вы автоматически генерируете тысячи пар «вопрос-ответ», «вытягивая» знания из онтологии. Используя шаблоны («Что такое X?», «Какие свойства у Y?»), вы создаёте синтетический датасет, который учит модель не только фактам, но и языку вашей предметной области.  

Шаблон 3: Для диалоговых сценариев  

• Исходные данные: Деревья диалогов или ветвящиеся сценарии общения (как в техподдержке).  

• Преобразование: Вы «разворачиваете» эти деревья в линейные цепочки вопросов и ответов, сохраняя контекст всего предыдущего разговора. Это учит модель поддерживать многошаговый диалог, а не отвечать на каждый запрос с нуля.  

Шаблон 4: Для обучения структурированному выводу (JSON, XML)  

• Цель: Научить модель отвечать не текстом, а строго заданной структурой данных.  

• Преобразование: Каждый пример включает в себя явное описание схемы (например, «ответь строго в JSON с полями intent и entities») и эталонный ответ в этом формате. Это критично для интеграции модели с другими IT-системами.  

Три кита автоматизации: как не делать всё вручную  

1. Программная аугментация (умное клонирование данных): Используя библиотеки NLP, вы автоматически создаёте variations существующих примеров: заменяете слова синонимами, слегка меняют формулировки. Это увеличивает объём датасета и учит модель устойчивости к разному стилю изложения.  

2. Использование большой LLM как помощника для разметки: Когда ручная разметка тысяч примеров нецелесообразна, вы можете использовать мощную модель (например, GPT-4) в качестве «умного ассистента». Вы даёте ей сырой текст и термины вашей онтологии, а она предлагает предварительную разметку (интент, сущности). Важный момент: Её вывод всегда проверяет и корректирует человек-эксперт. Это ускоряет работу, но не заменяет её.  

3. Конвейер обработки сырых логов: Реальные данные (логи чатов, тикеты, письма) — это хаос. Вы строите пайплайн, который их очищает: удаляет персональные данные, стандартизирует формат, фильтрует пустые и некорректные сообщения, группирует диалоги в сессии. Только после этого они попадают на этап разметки.  

Практический кейс: создание датасета для IT-поддержки  

Давайте пройдём весь путь от хаоса до структуры на примере:  

1. Сбор: Агрегируем данные из всех источников: Zendesk, Jira, корпоративный Slack, архив email.  

2. Очистка: Автоматически удаляем служебную информацию, шаблонные ответы, маскируем имена и номера.  

3. Предразметка: С помощью простого правила по ключевым словам («забыл пароль» → сброс_пароля) наносим первую, грубую разметку.  

4. Экспертная валидация и доразметка: Самый важный этап. Специалисты поддержки проверяют и исправляют автоматическую разметку, добавляют нюансы.  

5. Форматирование и упаковка: Преобразуем проверенные данные в итоговый формат «система — пользователь — ассистент», готовый к загрузке в фреймворк для обучения (например, Hugging Face).  

6. Контроль качества: Проверяем баланс классов (чтобы не было перекоса в одну тему), ищем дубликаты, оцениваем разнообразие формулировок.  

Контрольный список качества данных    
Прежде чем отправлять датасет на обучение, сверьтесь с чек-листом:    
✅ Нет персональных и конфиденциальных данных (соответствие GDPR/152-ФЗ).    
✅ Сбалансированные классы (нет ситуации, когда 90% примеров — об одной теме).    
✅ Минимум дубликатов (или они добавлены осознанно для аугментации).    
✅ Единый стиль и тональность (не смешиваем официальные ответы и разговорный сленг без необходимости).    
✅ Валидация экспертом (хотя бы 10% данных проверены человеком, который понимает предметную область).    
✅ Полнота (в примерах нет пропущенных обязательных полей).    
✅ Соответствие онтологии (все используемые термины и связи — из вашего глоссария).    
✅ Разнообразие (пользовательские запросы сформулированы по-разному, а не скопированы из одного шаблона).  

Сколько данных нужно? Практические ориентиры  

• Классификация: Минимум 500 примеров, хорошо — 2 000, отлично — 10 000+.  

• Извлечение сущностей (NER): Минимум 1 000 примеров, хорошо — 5 000, отлично — 20 000+.  

• Вопросно-ответная система: Минимум 1 000 пар «вопрос-ответ», хорошо — 5 000.  

• Диалоговый бот: Минимум 500 цельных диалогов, хорошо — 2 000.  

Философский итог    
Данные — это не просто «топливо» для обучения модели. Данные — это и есть знания вашей будущей AI-системы, переведённые на язык, понятный машине. Инвестируя время в их структурирование, очистку и обогащение, вы не готовите датасет. Вы проектируете мышление своего цифрового эксперта. Маленькая, но обученная на безупречных данных модель, всегда побьёт гигантскую, но запутавшуюся в хаосе информации. Ваша задача — дать ей этот кристально чистый, структурированный мир для изучения.