Multimodality (Мультимодальность)
Определение
Мультимодальная модель принимает или генерирует более одного типа данных: текст, изображения, аудио, видео или другие представления.
Input и output — разные свойства
Модель может понимать изображение, но отвечать только текстом; принимать аудио, но не генерировать речь; создавать изображения через отдельный инструмент, а не собственный выход. Поэтому фраза «мультимодальная» без списка поддерживаемых входов и выходов недостаточна.
Практические особенности
- изображения и аудио тоже расходуют токены или отдельные единицы тарификации;
- качество зависит от разрешения, длительности, языка и расположения объектов;
- OCR, диаграммы и пространственные отношения требуют отдельных evals;
- метаданные и альтернативное текстовое описание улучшают проверяемость;
- голос и изображения могут содержать персональные и биометрические данные.
Не путать
- Multimodal model — работает с несколькими модальностями.
- Tool use — текстовая модель вызывает отдельный сервис распознавания или генерации.
- Omnimodal — маркетинговый или исследовательский термин; его точный смысл нужно смотреть у конкретного производителя.