RLHF
Abstract
Reinforcement Learning from Human Feedback — семейство post-training методов, где человеческая обратная связь формирует reward signal, а политика модели оптимизируется с помощью reinforcement learning.
Классический конвейер
- SFT: модель обучается на примерах желаемого поведения.
- Preference data: люди сравнивают ответы или оценивают результаты.
- Reward model: модель учится предсказывать эти предпочтения.
- RL optimization: политика оптимизируется по reward с ограничением отклонения от reference model, например через PPO.
- Evals: измеряются полезность, безопасность и регрессии способностей.
SFT подготавливает instruct-модель, но не является RLHF сам по себе. Не вся современная preference optimization использует отдельный reward model или PPO.
Что может улучшать
- следование инструкциям;
- стиль и предпочтительный формат;
- выбор между несколькими допустимыми стратегиями ответа;
- часть safety-поведения;
- использование tools или рассуждений, если это отражено в feedback и training setup.
Ограничения
- предпочтение оценщика не равно объективной истине;
- reward model наследует ошибки и состав данных;
- оптимизация может эксплуатировать несовершенный reward;
- возможны sycophancy, многословие и потеря разнообразия;
- улучшение одной метрики может ухудшить другие способности;
- само название RLHF ничего не гарантирует о качестве конкретной модели.
RLHF, RLAIF и DPO
- RLHF: feedback исходит от людей и используется в RL-контуре.
- RLAIF: часть feedback генерируется AI по заданным принципам или rubric.
- DPO: напрямую оптимизирует предпочтение chosen ответа rejected ответу относительно reference policy.
Это связанные семейства post-training, но не синонимы.