Weights (Веса модели)
Определение
Веса (или параметры) — это числовые коэффициенты внутри нейронной сети, которые определяют силу связи между виртуальными нейронами. В процессе обучения именно эти значения корректируются, чтобы модель могла корректно предсказывать следующий токен.
🧠 Как это работает
Представь веса как «настройки громкости» на огромном микшерном пульте.
- Если связь между понятиями «Небо» и «Синее» сильная, соответствующий вес будет иметь высокое значение.
- Знания модели — это не текст, а гигантский массив чисел (матрица), который определяет, как входные сигналы преобразуются в ответ.
📏 Масштаб (Параметры)
Когда ты видишь в названии модели буквы B или M (например, Llama-3-70B или Gemma-2B), это указывает на количество весов:
| Обозначение | Количество весов | Особенности |
|---|---|---|
| 7B (7 Миллиардов) | Относительно малая | Быстрая, можно запустить на домашнем ПК или мощном телефоне. |
| 70B (70 Миллиардов) | Средняя / Большая | Требует профессионального оборудования, обладает глубокой логикой. |
| 405B+ | Сверхбольшая | Уровень интеллекта GPT-4o, требует серверных кластеров. |
🔐 Open Weights (Открытые веса)
Это критическое понятие для приватности твоей базы знаний:
- Закрытые модели (Closed Source): Веса хранятся на серверах компании (OpenAI, Google). Ты отправляешь им свои данные из базы знаний, чтобы получить ответ.
- Открытые веса (Open Weights): Разработчики (Meta, Mistral) публикуют файл с весами. Ты можешь скачать его и запустить ИИ полностью локально, не отправляя свои заметки в интернет.
🛠 Применение на практике
Понимание весов помогает выбрать правильную модель для работы:
- Если тебе нужно просто расставить теги — хватит модели на 7B-8B параметров.
- Если ты хочешь, чтобы ИИ проанализировал философский трактат в твоей вики — лучше использовать 70B или облачные модели.
Связанные концепции
- Fine-tuning — процесс изменения весов под твои задачи.
- Token — единица, на которой «тренируются» веса.
- Local LLM — использование открытых весов на своем оборудовании.