Mixture of Experts (MoE)
Определение
Mixture of Experts — архитектура условных вычислений, где router выбирает для каждого токена или примера только часть специализированных блоков-«экспертов».
Total и active parameters
У MoE-модели важно различать:
- total parameters — все параметры модели, включая неактивные эксперты;
- active parameters — приблизительное число параметров, участвующих в обработке конкретного токена.
Например, запись «400B total / 20B active» не означает, что модель занимает память как плотная 20B. Для хранения весов обычно важен общий размер, а active parameters лучше описывают часть вычислений одного прохода.
Зачем используют
- увеличить ёмкость модели без пропорционального роста вычислений на токен;
- позволить разным экспертам специализироваться;
- масштабировать модель при ограниченном compute на один запрос.
Ограничения
- веса всех нужных экспертов всё равно требуется разместить в памяти или загружать;
- routing и балансировка нагрузки усложняют обучение и serving;
- active parameter count нельзя напрямую превращать в оценку качества;
- название «эксперт» не означает понятную человеку предметную специализацию.