Fine-tuning (Дообучение)
Определение
Fine-tuning — дополнительное обучение предобученной модели на специализированных примерах. Оно может менять поведение, формат ответов, стиль и способность выполнять конкретную задачу.
Основные варианты
- SFT (Supervised Fine-Tuning): обучение на парах «вход → желаемый ответ».
- Preference tuning: обучение на предпочтениях между ответами, например DPO.
- PEFT: обновление небольшой части параметров или адаптеров.
- LoRA/QLoRA: распространённые способы параметро-эффективного обучения.
SFT — вид fine-tuning, а не его синоним. LoRA описывает способ обновления параметров, а не назначение обучения.
Fine-tuning и RAG
| Вопрос | Fine-tuning | RAG | | :--- | :--- | :--- | | Главная цель | Изменить поведение или навык | Подставить найденные знания в запрос | | Обновление фактов | Требует новых данных и обучения | Достаточно обновить источник и индекс | | Цитирование | Само по себе не даёт источник | Может вернуть использованный фрагмент | | Стоимость | Подготовка датасета, обучение, evals | Индексация, retrieval и дополнительный контекст |
Это не взаимоисключающие подходы: модель можно дообучить для правильного использования retrieval и нужного формата ответа.
Когда это оправдано
- много повторяющихся примеров и стабильный формат;
- промпт и few-shot стали слишком длинными или нестабильными;
- нужна специализированная классификация, извлечение или стиль;
- есть train/validation/test и возможность сравнить с базовой моделью.
Риски
- запоминание чувствительных данных;
- переобучение и ухудшение общих способностей;
- изменение поведения вне целевого сценария;
- лицензия исходной модели и права на датасет;
- ложное ощущение, что модель стала надёжной базой фактов.
Локальное обучение уменьшает передачу данных внешнему API, но приватность зависит от датасета, логов, инструментов и места хранения артефактов.
Связанные заметки
- Direct Preference Optimization (DPO)
- RAG (Retrieval-Augmented Generation)
- Weights
- Persona Prompting
- Knowledge Distillation — перенос поведения teacher-модели в student.
- Evals — проверка результата обучения на отдельном наборе.