Мультимодальные модели Китая принимают не только текст. В один запрос можно положить картинку или видео, задать вопрос словами и получить разбор содержимого. Для бизнеса это означает простую вещь: одна интеграция закрывает задачи, под которые раньше нанимали отдельного подрядчика — от проверки фото товара до разбора записи со склада.
Ниже разберём, что такие модели умеют на практике, как это выглядит в коде через привычный OpenAI-совместимый интерфейс и где начинаются ловушки. Мы сами прошли этот путь при сборке своего шлюза к китайским моделям, поэтому речь пойдёт о рабочем опыте, а не о маркетинге.
Почему текстового запроса уже мало
Классический сценарий выглядит так: сотрудник получает фото на телефон, глазами находит проблему, вручную переписывает её в чат с моделью. На каждом шаге человек остаётся узким горлышком. Если фото 200 в день, это часы ручной работы и очередь из необработанных заявок.
Мультимодальная модель убирает этот перевод. Она смотрит на изображение сама и отвечает текстом: что видит и что с этим делать. Запрос при этом остаётся одним — вы не строите длинную цепочку из отдельных сервисов распознавания и генерации. Такую же логику мы описывали в гайде по видео и изображениям: одна модель, один вызов, готовый результат.
Что именно умеют мультимодальные модели Китая
У крупных китайских лабораторий есть отдельные линейки с поддержкой зрения. Qwen выпускает серию VL, у Zhipu есть GLM-V, у Moonshot — версии Kimi с картинками, у DeepSeek — собственные VL-модели. Все они решают тип задач:
- Разбор изображения — что на фото, какие объекты, есть ли дефект, читается ли текст на этикетке.
- Сверка с правилом — сравнить фото с инструкцией: цвет, комплектация, маркировка, поза, наличие лишних предметов.
- Извлечение данных — вытащить из картинки таблицу, счёт, накладную или показания прибора в структурированный вид.
- Работа с видео — часть моделей принимает ролик целиком или набор кадров и описывает, что происходит по ходу записи.
Важно понимать: название линейки не гарантирует, что конкретная модель понимает видео. У одной и той же лаборатории версии отличаются набором входов и длиной контекста. Проверять надо ту версию, которую вы реально вызываете, а не общее имя семейства.
Как это выглядит в коде
Хорошая новость в том, что для китайских моделей чаще всего работает тот же интерфейс, что и у OpenAI. Меняется только адрес и название модели, а формат сообщения с картинкой остаётся стандартным.
Схема запроса с изображением:
messages: [
{ "role": "user", "content": [
{ "type": "text", "text": "Что не так на этом фото склада?" },
{ "type": "image_url", "image_url": { "url": "https://..." } }
] }
]
Ответ приходит обычным текстом. Если вы уже вызывали текстовую модель через OpenAI SDK, менять логику не придётся — добавляется только поле с картинкой. Подробнее про перенос кода — в статье про OpenAI SDK и китайские модели.
Три задачи, где это окупается сразу
Карточки товаров. Модель смотрит на фото и предлагает описание, характеристики и теги. Менеджер проверяет и правит, а не пишет с нуля. На больших каталогах экономия идёт на часах рутинного набора.
Приём заявок. Клиент присылает фото поломки или документа. Модель описывает проблему и подсказывает, что уточнить. Оператор видит готовую заготовку вместо пустого поля.
Контроль качества. Сравнение фото с эталоном: пришли ли нужные пломбы, тот ли цвет, нет ли следов вскрытия. Это снимает часть ручной приёмки, а спорные случаи уходят человеку.
Ловушка: картинка стоит токенов
Изображение для модели — не одна единица, а набор фрагментов. Чем выше разрешение, тем больше фрагментов, тем длиннее запрос и тем дороже вызов. Поэтому первое, что ломается на реальной нагрузке, — не качество ответа, а бюджет.
Приёмы, которые помогают без потери смысла: уменьшать картинку до нужного модели размера, обрезать лишний фон, отправлять одну картинку вместо серии, кэшировать повторяющиеся запросы. Как считать это на практике, разобрано в материале про стоимость токенов, а как не улететь в минус — в статье про лимиты расходов.
Видео — отдельная история
С видео всё строже. Ролик длиннее и тяжелее картинки, поэтому большинство рабочих сценариев строится не на полном видео, а на кадрах. Вы сами берёте несколько отобранных кадров и отправляете их вместе с вопросом. Так дешевле и точнее — модели проще описать пять стоп-кадров, чем двадцать минут записи.
Если задача разовая, начните с кадров. Если поток постоянный, считайте число кадров на минуту и держите его фиксированным — иначе расход будет плавать вместе с длиной роликов.
Что можно применить уже сегодня
Мультимодальность не требует немедленной покупки. Возьмите одну узкую задачу, где сейчас есть ручной перевод картинки в текст, и прогоните её руками: соберите десять типовых фото и заведите один тестовый запрос. Так вы увидите, тянет ли модель ваш случай, ещё до интеграции.
Второй шаг — оценить поток. Сколько таких картинок или видео в день, сколько токенов уйдёт, насколько это дороже обычного текстового запроса. Ответ на эти два вопроса показывает, стоит ли вообще двигать проект в разработку.
Как забрать доступ раньше
Мы делаем российский шлюз к китайским моделям: один ключ и оплата в рублях. Интерфейс совместим с OpenAI SDK. Мультимодальные модели входят в тот же контур, что и текстовые, — отдельная интеграция не нужна. Сервис ещё в подготовке, поэтому самое полезное сейчас — оставить заявку на ранний доступ. Мы вернёмся с ключом, когда всё будет готово.