Как снизить стоимость ИИ в продукте: 6 приёмов

Счёт за API почти никогда не растёт скачком. Сначала это несколько рублей в день, потом десятки, потом сумма, которую хочется объяснить. Причина обычно не в подорожании модели, а в том, как устроены запросы. Разберём, из чего складывается стоимость и что можно изменить.

Из чего складывается счёт

Входные токены. Всё, что вы отправляете: инструкция, история диалога, документы, примеры.
Выходные токены. Ответ модели. Обычно дороже входа.
Модель. Flash и Pro одной линейки могут отличаться по цене в разы.
Повторы. Один и тот же документ, отправленный пять раз, оплачивается пять раз.
Картинки и видео. Отдельные модели с отдельным счётом.

Первое, что стоит сделать, — посмотреть на реальные запросы. Не на среднюю цену в документации, а на свои логи: какая модель, сколько токенов на входе, что занимает большую часть контекста.

Приём 1: модель под задачу

Самая частая ошибка — держать всё на старшей модели. Разбор короткого вопроса и генерация большого текста требуют разного. Там, где нужна скорость и цена, обычно достаточно Flash-версии. Pro стоит подключать для сложных рассуждений, кода и длинных документов.

Проверять просто: взять сто реальных запросов и прогнать на двух моделях. Если разница в качестве не влияет на результат, переплата не нужна.

Приём 2: короткий контекст

Модель оплачивает всё, что вы ей отправили. Если в каждом запросе лежит полная инструкция на десять страниц и история за месяц, счёт растёт вместе с ними.

Уберите из инструкции то, что не влияет на ответ.
Передавайте только нужный фрагмент документа, а не весь файл.
Храните итог диалога, а не всю переписку.

Приём 3: кэш

Если один и тот же документ разбирается несколько раз, результат можно сохранить. Это касается распознавания сканов, извлечения полей и типовых ответов. Повторный запрос не тратит токены и работает быстрее.

Кэш особенно полезен в документообороте: счёт или акт читается один раз, дальше используется готовый текст.

Приём 4: батчи и дешёвые окна

Не всё нужно делать мгновенно. Ночная обработка, пакетная генерация описаний и разбор архива документов могут идти в фоне. Некоторые провайдеры дают более низкую цену в определённые часы — это стоит проверять в тарифах конкретной модели.

Правило простое: если ответ нужен не через секунду, не платите за срочность.

Приём 5: маршрутизация

Когда моделей несколько, запросы можно распределять: простые — на дешёвую, сложные — на старшую, при сбое — на резервную. Это делает шлюз. В Китай-АПИ такой маршрутизатор работает на уровне API: один ключ, один формат, разные модели.

Дополнительный плюс — не нужно держать пять интеграций. Но сама по себе маршрутизация не экономит: экономию даёт правило, по которому вы выбираете модель.

Приём 6: лимиты и алерты

Стоимость растёт незаметно, пока нет ограничений. Поставьте лимит на пользователя, на проект или на день. Настройте уведомление, когда расход превышает обычный. Это не про жадность, а про предсказуемость: счёт не должен становиться сюрпризом в конце месяца.

Как посчитать экономию на своём продукте

Возьмите неделю логов. Не средние цифры из документации, а свои запросы: модель, вход, выход.
Разделите на сценарии. Ответ клиенту, разбор документа, генерация текста — у них разная цена и разная чувствительность к качеству.
Прогоните по одной задаче на двух моделях. Сравните не только цену, но и число повторных запросов. Дешёвая модель, которая ошибается и просит переделку, может оказаться дороже.
Посчитайте долю повторов. Если один и тот же документ разбирается несколько раз, кэш даст экономию больше, чем смена модели.

Такой расчёт занимает вечер, но даёт понятную картину: где расход оправдан, а где его можно убрать без потери качества.

Что не работает

Экономия на качестве до бессмысленности. Если модель перестала справляться, вы платите дважды: за запрос и за переделку.
Обрезка контекста без проверки. Убрали важную инструкцию — получили неверный ответ и повторный запрос.
Одна модель на всё. Иногда это проще, но чаще дороже, чем кажется.

Стоимость ИИ — это не цена токена. Это цена запросов, которые можно было не отправлять.

Если хотите посчитать на своих задачах, начните с одного сценария и его логов. А посмотреть модели и цены можно в кабинете Китай-АПИ.