Обучение и настройка моделей
Abstract
Эти методы меняют веса или обучаемые компоненты модели. Они находятся до inference и отличаются от prompting, RAG, tools и agent harness.
Карта
pretraining
↓
continued pretraining / domain adaptation
↓
SFT
↓
preference optimization: RLHF, DPO и другие методы
↓
evals → deployment → monitoringРеальные конвейеры не обязаны следовать одной последовательности. Названия методов не раскрывают весь training recipe конкретной модели.
Материалы
- Fine-tuning — общее определение дополнительного обучения.
- Reinforcement Learning from Human Feedback (RLHF) — preference signal через human feedback и RL.
- Direct Preference Optimization (DPO) — оптимизация по выбранным и отклонённым ответам без отдельного явного reward model.
- Knowledge Distillation — перенос поведения teacher к student.
Не путать
| Подход | Меняет веса | Добавляет знания во время запроса |
|---|---|---|
| Prompting | нет | только переданный context |
| RAG | нет | да, через retrieval |
| Skill | нет | даёт процедуру и ресурсы |
| SFT / RLHF / DPO | да | нет автоматически |
Практическое правило
Сначала определи измеримый провал. Prompt, retrieval или tool часто дешевле обновлять и проще откатывать. Обучение оправдано, когда нужно устойчиво изменить поведение на большом классе запросов и есть качественные данные, eval set, вычислительный бюджет и план deployment.