Анонс новой модели приходит с графиками, где всё растёт, и с фразой о том, что прежние решения устарели. Через неделю выясняется, что часть возможностей доступна по другой цене, часть только по заявке, а ваши сценарии работают примерно так же, как месяц назад. Мы проходили этот цикл несколько раз и научились смотреть на новости спокойно.
Ниже разбор: что в анонсе важно для продукта, как проверить модель на своих данных за один вечер и в каких случаях переход не нужен вовсе.
Анонс и рабочий доступ — разные события
Модель показывают на конференции. Дальше начинается путь, который занимает недели: доступ по API, квоты, ограничения по странам, стабильность под нагрузкой, документация, SDK. Для продукта имеет значение не дата анонса, а дата, когда модель отвечает предсказуемо и по понятным правилам.
Поэтому первое, что стоит прочитать в новости, это формулировка доступа. Написано «доступна в API» или «будет доступна»? Есть ли ограничения для юридических лиц и для России? Скучные вопросы, которые экономят месяц работы.
Второй сигнал — кто именно выпустил модель. Крупная лаборатория обычно доводит инфраструктуру до рабочего состояния, но и у неё случаются недели с ошибками 429. Небольшая команда может показать сильный результат и не выдержать наплыва желающих.
Что реально меняется, когда выходит новая модель
Список небольшой и почти всегда один и тот же.
- Качество на ваших задачах. Не в среднем по тестам, а на промптах вашего продукта.
- Цена за токен. Как она меняет экономику одного запроса и всего сценария за месяц.
- Длина контекста. От неё зависит, режете ли вы документы на части и сколько запросов делает одна задача.
- Формат ответа. Отдаёт ли модель JSON без лишних вступлений. Для автоматизации это важнее красноречия.
- Скорость. Сколько секунд ждёт пользователь и укладывается ли это в ваш интерфейс.
Обычно новая модель выигрывает в двух пунктах из пяти и проигрывает в третьем. Редко бывает так, что выигрыш идёт по всем сразу. Если в анонсе обещают рывок везде, это повод проверить особенно внимательно.
Три вопроса до того, как открывать редактор
- Какую задачу текущая модель решает плохо? Если ответа нет, переходить некуда.
- Что сломается при замене? Промпты, парсеры ответов, тесты, ожидания пользователей.
- Какая цифра должна измениться, чтобы работа считалась успешной?
Третий вопрос важнее первых двух. Мы формулируем его числом: доля ответов, прошедших проверку, среднее время ответа, стоимость сотни запросов. Без такого числа сравнение двух моделей заканчивается спором о вкусах, а решение принимает тот, кто громче говорит.
Проверка на своих данных за один вечер
Нужен набор реальных запросов из продукта. Двадцать-тридцать штук достаточно, чтобы увидеть разницу. Брать стоит именно то, что присылают пользователи, а не придуманные примеры: на придуманных все модели выглядят прилично.
Дальше один и тот же набор прогоняется через старую и новую модель, ответы сравниваются. Сравнивать вручную долго, поэтому проще задать критерий, который проверяется кодом или отдельным дешёвым запросом.
Шаблон для проверки: «Ниже запрос клиента и ответ модели. Ответь одним словом: подходит или нет. Подходит, если факты не выдуманы, формат соблюдён, лишних вступлений нет. Запрос: {{query}}. Ответ: {{answer}}». Проверяющая модель может быть слабее основной, задача у неё простая и с бинарным ответом.
Прогон стоит денег, но немного: несколько десятков запросов. Это дешевле недели работы разработчика над переходом, который потом откатят. И дешевле инцидента, когда новая модель начнёт выдумывать артикулы в ответах клиентам.
Результат стоит записать в таблицу: номер запроса, вердикт по старой модели, вердикт по новой. Через месяц, когда выйдет следующая версия, у вас будет с чем сравнивать, и второй прогон займёт полчаса.
Что смотреть в документации до первого запроса
Совместимость с OpenAI SDK это хорошая новость, но не гарантия. Проверьте, какие параметры поддерживаются: температура, максимальная длина ответа, режим JSON, вызов инструментов. Часть полей может молча игнорироваться, и вы узнаете об этом по странным ответам в продакшене, а не по ошибке в логах.
Отдельно посмотрите на лимиты частоты и на текст ошибок. Понятная ошибка с кодом экономит часы отладки. Ответ вида «invalid request» без деталей означает, что интеграция будет болезненной.
Ещё один пункт — версионирование. У части провайдеров имя модели указывает на конкретную версию и не меняется. У других под привычным именем может обновиться содержимое. Для продукта это разница между предсказуемым поведением и сюрпризами после чужого релиза.
Цена перехода: код, промпты, тесты
Код переносится быстро, если вы работали через OpenAI SDK. Адрес, ключ, имя модели — три правки. Основная работа лежит в другом месте.
- Промпты. Инструкции, написанные под одну модель, на другой ведут себя иначе. Иногда хуже, чаще просто иначе.
- Парсеры. Если ответ разбирался регулярным выражением, новая формулировка его сломает. Переходите на режим JSON, если он есть.
- Тесты. Нужен набор эталонных ответов, иначе регресс заметят пользователи, а не вы.
Мы держим слой доступа отдельно от логики продукта. Одна функция принимает запрос и возвращает текст, поэтому замена модели превращается в правку одного файла. Как это устроено на практике, разбирали в статье про OpenAI SDK и китайские модели.
Когда переходить не надо
Если текущая модель закрывает задачу и стоимость устраивает, выход новой — повод поставить её в список на потом. Переход ради перехода съедает время команды и добавляет риск без понятной выгоды. Мы сами держим несколько моделей в резерве и достаём их, когда появляется конкретная причина.
Причины, при которых ждать бессмысленно, тоже есть. Модель перестала справляться с нагрузкой, цена выросла, доступ закрылся, провайдер объявил о прекращении поддержки. Здесь выбор уже другой, и откладывать нельзя.
Как мы смотрим на новые модели
Китай-API даёт доступ к семействам DeepSeek, Qwen, GLM и Kimi через российский шлюз. Ключ совместим с OpenAI SDK, оплата в рублях, для юрлица счёт и закрывающие документы. Когда у провайдера появляется новая версия, мы сначала прогоняем её на своих сценариях и только потом описываем в блоге. Про сравнение семейств есть отдельные разборы: DeepSeek или Qwen и как выбрать китайскую модель под задачу.
Польза без покупки: соберите тридцать своих запросов и таблицу с результатами. С таким набором любой новый анонс разбирается за час, а не за неделю, и решение опирается на ваши данные, а не на графики из презентации.
Продукт в подготовке: запуск скоро, идёт приём заявок на ранний доступ. Если хотите проверить новую модель на своём сценарии, оставьте заявку на ранний доступ — напишем, когда откроем кабинет.