Fine-tuning: как модель учат вашей работе

01 Что такое дообучение

Выпускник вуза против сотрудника после онбординга

Базовая модель прошла «университет» — прочитала весь интернет и умеет почти всё, но в среднем. Дообучение — это онбординг: несколько сотен или тысяч ваших примеров, после которых те же общие способности начинают работать по-вашему. Задайте один и тот же вопрос обеим версиям.

Сценарий

Базовая модель

обучена на всём интернете · про вашу компанию не знает ничего

…

Дообученная модель

та же модель + 2 000 ваших примеров «вопрос → эталонный ответ»

…

Базовая модель не «глупее» — она отвечает правильно, но обобщённо. Дообучение не добавляет ума, оно меняет поведение по умолчанию: тон, структуру, терминологию, правила. Что раньше требовало страницы инструкций в каждом запросе теперь встроено в её логику.

02 Откуда берётся собеседник

Base, Instruct, RLHF — три ступени одной модели

Модель, с которой вы общаетесь в чате, — сама уже результат дообучения. Сырая base-модель умеет лишь продолжать текст. Потом её учат выполнять инструкции (instruct) — и она учится чату, а затем проходит RLHF — люди отбирают самые удачные ответы. Задайте всем ступеням один вопрос.

Запрос

Base

только претрейн · умеет лишь продолжать текст

…

Instruct (SFT)

+ дообучение на парах «инструкция → ответ»

…

+ RLHF

+ люди выбирали лучшие из её ответов

…

RLHF (Reinforcement Learning from Human Feedback) — обучение на человеческих предпочтениях: модель даёт несколько вариантов ответа, люди выбирают лучший, и модель учат чаще отвечать именно так. После этого шага она и становится вежливым и осторожным помощником, каким вы её знаете. Важная деталь: всё это — тоже дообучение, просто его уже провёл разработчик модели. «Базовая модель» в остальных демо этой страницы — как раз такая готовая instruct-модель, а ваше дообучение — ещё одна ступень поверх.

03 Как это работает

Показываем примеры — модель подстраивается

Никакого программирования правил. Вы собираете пары «вход → идеальный выход», модель пробует ответить сама, её ответ сравнивают с эталоном — и чуть-чуть подкручивают внутренние настройки (веса), чтобы в следующий раз вышло ближе. И так тысячи раз. Запустите обучение и следите, как меняется ответ на проверочный вопрос.

5 проходов по примерам · после каждого — проверка на вопросе, которого в примерах нет.

Обучающие примеры (у вас их тысячи — здесь три)

Клиент: «Где мой заказ? Неделю жду!»

Понимаю ваше беспокойство! Проверила: заказ №… → статус, срок, промокод SORRY10.

Клиент: «Пришёл не тот цвет»

Обмен бесплатно за 2 дня: курьер заберёт и привезёт нужный. Оформляю?

Клиент: «Как вернуть деньги?»

Возврат за 3 шага: … Деньги придут за 1–3 дня. Промокод на следующую покупку прилагаю 💜

Проверка после каждого прохода

проход 0/5

ошибка 100%

Проверочный вопрос (в примерах его не было): «Кофеварка сломалась через месяц, что делать?»

ответ модели появится здесь…

Под капотом — то же предсказание токенов: модель учат чуть чаще выбирать те слова, которые выбрал бы ваш сотрудник. Ключевой тест — вопрос, которого не было в примерах: модель должна усвоить стиль и правила, а не вызубрить ответы.

04 Выбор подхода

Промпт, RAG или дообучение — что когда

Дообучение — не первый и не единственный способ «настроить» модель, а самый тяжёлый из трёх. Практическое правило: факты — в RAG, поведение — в дообучение, быстрые эксперименты — в промпт. Выберите бизнес-задачу и посмотрите, какой подход ей подходит.

Задача

📝 Промпт

инструкция прямо в запросе

готово за минуты, ничего не обучаем
легко менять хоть каждый день
но: инструкции занимают контекст и оплачиваются в каждом запросе
сложные правила модель соблюдает нестабильно

📚 RAG

поиск по вашей базе + подстановка в контекст

модель отвечает по вашим документам
данные обновили — ответы обновились сразу
виден источник каждого факта
но: стиль и поведение модели не меняются

🎓 Дообучение

меняем сами веса модели

тон, формат, правила — «в крови», без инструкций
короче промпты (но сам токен часто дороже — см. чеклист)
но: недели работы и сотни-тысячи примеров
факты «вшиваются» и устаревают вместе с моделью

Выберите задачу выше — подсветится подходящий инструмент и объяснение.

Системы могут совмещать всё три. Например, возьмем колл-центр: дообученная модель (тон и правила) + RAG (актуальные тарифы) + короткий промпт (контекст конкретного клиента). Начинайте всегда с промпта: если он решает задачу — чаще всего можно не тратить время на дообучение.

05 Как именно дообучают

Переучить всю модель или подключить адаптер

Дообучение можно провести двумя способами. Можно менять все веса модели — это дорого и тяжело. А можно заморозить базовую модель и обучить крошечный адаптер поверх неё — это и есть LoRA (Low-Rank Adaptation). Переключите режим и посмотрите, что меняется.

Способ

Веса базовой модели

❄ заморожены

LoRA-адаптер

маленький · обучаемый

Что обучаем

Железо и время

Файл результата

Сменить задачу

Почему LoRA — выбор по умолчанию: вместо миллиардов весов обучают крохотную часть, поэтому нужно в разы меньше видеопамяти и времени, а качество на типовых задачах близко к полному (обычно 90–95%). Причем под одну базовую модель можно держать десятки адаптеров (для поддержки, для юротдела, для маркетинга) и переключать их на лету. Полное обучение приберегают для редких случаев, когда нужно перестроить модель очень глубоко.
Подробнее: оригинальная статья и практическое сравнение.

06 Данные

Качество примеров важнее их количества

Модель станет усреднённой копией ваших примеров — со всеми их достоинствами и ошибками. Противоречивые, устаревшие или небрежные примеры она усвоит так же прилежно, как и образцовые. Поиграйте с количеством и качеством — и посмотрите на результат.

Примеров 500 Качество

Итоговое качество модели (условная оценка)

бесполезноуровень лучшего сотрудника

—

Главной статьей затрат могут стать сбор и очистка примеров. Их должны писать (или хотя бы проверять) ваши лучшие сотрудники: модель будет ориентироваться именно на их уровень. «Выгрузить историю переписок как есть» — самый частый способ получить дорогую модель, которая выдает посредственные ответы. Лучше меньше, но чище. В примере модель, дообученная всего на 1 000 тщательно качественных данных, сравнялась с моделями, обученными на в разы больших датасетах.

07 Риски обучения

Недоучить, выучить, зазубрить

Учить можно слишком мало — и слишком много. Если перестараться, то модель зазубривает примеры: на знакомые вопросы отвечает идеально, а на новые — цитирует заученное невпопад и теряет общие способности (это называют «катастрофическим забыванием»). Подвигайте ползунок длительности обучения.

Длительность обучения 4 прохода

недоучена в самый раз зазубрила

Вопрос из обучающих примеров

«Как вернуть деньги?»

Новый вопрос (в примерах не было)

«Можно продлить пробный период?»

Как от этого страхуются: часть вопросов откладывают и не показывают модели при обучении — это экзамен. Пока оценки на «экзамене» растут — учим дальше; начали падать — модель зазубривает, пора остановиться.

08 Итоги

Чеклист: стоит ли дообучать

Дообучение — это дорогой процесс. Кликайте по карточкам, чтобы узнать подробности.

50 – 5 000

примеров: заметный сдвиг — уже от 50–100 образцовых; главное — вычистить, а не нарастить

недели

типичный срок проекта: 80% времени — данные, не обучение

до ×2

за токен hosted-дообученная модель обычно дороже базовой — экономят на коротких промптах и переходе на модель поменьше

заново

при переходе на новую базовую модель дообучение повторяют

✦ Что даёт

Стабильный тон и формат ▸

Правила соблюдаются «по привычке», а не по инструкции, которую модель может проигнорировать. Особенно ценно там, где формат жёсткий: юридические формулировки, мед. документация, регламенты.

Экономия — но не автоматическая ▸

Страница инструкций из каждого промпта переезжает в веса: меньше входных токенов, ниже задержка. Но учтите: у провайдеров дообученная модель обычно стоит дороже за токен (у OpenAI — примерно вдвое). Реальная экономика складывается из коротких промптов и перехода на модель поменьше — считайте на своих объёмах.

Знание жаргона и специфики ▸

Отраслевые сокращения, внутренние термины, типовые ситуации — модель перестаёт переспрашивать и «переводить с вашего».

Можно взять модель поменьше ▸

Дообученная небольшая модель на узкой задаче часто обгоняет большую универсальную — и стоит в разы дешевле в эксплуатации.

✧ Что берёте на себя

Проект, а не кнопка ▸

Сбор и чистка примеров, отложенный «экзамен», итерации. Бюджетируйте недели работы предметных экспертов — это дороже машинного времени.

Факты в весах устаревают ▸

Вшитые в модель цены и правила не обновить без переобучения. Всё, что меняется чаще раза в квартал, — в RAG, а не в веса.

Риск зазубривания и забывания ▸

Перестарались — модель цитирует примеры невпопад и теряет общие способности (раздел 05). Нужен независимый контроль качества.

Привязка к базовой модели ▸

Вышла новая, более сильная базовая модель — ваша надстройка на неё не переносится, дообучение повторяют на новых весах. Иногда новый «голый» флагман просто обгоняет вашу старую дообученную модель.

Дообучение оправдано, когда…

промпт уже пробовали — стиль/формат всё равно «плывёт»
большой поток однотипных запросов — экономия на токенах ощутима
есть сотни хороших примеров или ресурс их создать
узкая специализация: жаргон, жёсткие шаблоны, отраслевые правила

Не начинайте с дообучения, когда…

задача решается хорошим промптом (проверьте честно!)
нужны быстро меняющиеся факты — это RAG
примеров мало или они разнородны и неразмечены
запросов немного — экономика не сойдётся

→ Подбор под вашу задачу

Дообучение или работа с контекстом?

Ответьте про вашу задачу и получите оценку, что дешевле и быстрее решит именно ваш случай.

1 Шаг 1

Что в первую очередь нужно изменить в ответах модели?

2 Шаг 2

Как часто меняется то, что модель должна знать или соблюдать?

3 Шаг 3

Есть ли у вас примеры «вопрос → идеальный ответ»?

4 Шаг 4

Насколько велик поток таких запросов?

Ответьте на 4 вопроса — покажем рекомендацию. Осталось: 4.

Как модель учат вашей задаче