Weights (Веса модели)
Определение
Веса, или обучаемые параметры — числовые значения внутри нейронной сети, которые изменяются во время обучения и определяют преобразование входа в выход.
Что означает число параметров
7B означает примерно семь миллиардов параметров, но не является прямой мерой интеллекта. Качество также зависит от архитектуры, данных, обучения, длины контекста, инференса и задачи.
Для MoE отдельно указывают total и active parameters. Сравнивать active-параметры MoE с общим размером плотной модели без пояснения некорректно.
Память
Грубая нижняя оценка памяти весов зависит от битности: параметр FP16 занимает около двух байт, INT8 — около одного, 4-bit — около половины байта. Реальный запуск требует дополнительной памяти для runtime, контекста, KV-кэша и служебных структур.
Open weights и open source
Open weights означает доступность файлов весов на условиях лицензии. Это не обязательно open source: обучающие данные, код и рецепт обучения могут оставаться закрытыми. Возможность локального запуска тоже не отменяет проверку лицензии.