Inference (Инференс)
Определение
Инференс — применение обученной модели к новым входным данным для получения предсказания, embedding, сгенерированного ответа или действия.
В LLM
Модель получает токены контекста, выполняет вычисления с весами и последовательно выбирает следующие токены. Обычно выделяют:
- prefill — обработку входного контекста;
- decode — последовательную генерацию новых токенов.
Отличие от обучения
Обучение изменяет параметры модели на данных. Инференс обычно использует зафиксированные веса; системный промпт, RAG и инструменты меняют вход и окружение, но не обучают модель сами по себе.
Метрики
- time to first token;
- tokens per second;
- полная задержка;
- пропускная способность;
- использование памяти и стоимость;
- качество на evals.