Глоссарий

Термины ИИ и API простыми словами

Что такое токен, контекстное окно и температура — без учебника. Слова, которые встречаются в документации, кабинете и разговорах с разработчиками.

Быстрый переход: API и подключение · Запросы и параметры · Модели и данные · Деньги и лимиты

API и подключение

Как программа разговаривает с моделью

API: Программный интерфейс: набор адресов и правил, по которым одна программа обращается к другой. Здесь — способ отправить текст модели и получить ответ, не заходя в чат руками.
API-ключ: Строка вида sk-kitai-…, которая подтверждает, что запрос отправлен из вашего аккаунта. Это пароль для программы: храните на сервере, не вставляйте в код сайта или приложения и отзывайте, если он попал в чужие руки.
Base URL: Базовый адрес API. У Китай-API это https://api.kitai-api.ru/v1. К нему добавляется путь метода, например /chat/completions.
Endpoint: Конкретный адрес операции. Основной у нас — POST /v1/chat/completions: отправляет сообщения модели и возвращает ответ.
OpenAI-совместимый API: Формат запросов и ответов, такой же, как у OpenAI. Благодаря этому работают готовые библиотеки и SDK: достаточно поменять адрес, ключ и название модели.
Шлюз (роутер): Слой между вашим кодом и поставщиками моделей. Принимает запрос, передаёт его нужной модели, считает токены и стоимость, возвращает ответ в едином формате. Позволяет держать один ключ и один баланс на десятки моделей.

Запросы и параметры

Что можно указать в запросе

Промпт: Текст, который вы отправляете модели: инструкция, вопрос, данные для разбора. В широком смысле — весь диалог вместе с системными указаниями.
Системный промпт: Первое сообщение с ролью system: правила поведения модели — тон, формат ответа, запреты. Обычно не показывается пользователю и задаёт рамку для всего диалога.
Токен: Единица, которой модель измеряет текст. Слово или его часть; в русском тексте токенов обычно больше, чем слов. Токенами считаются и запрос, и ответ, поэтому цена зависит от длины обоих.
Контекстное окно: Сколько токенов модель может принять и выдать за один запрос — с учётом всей истории сообщений. Если диалог длиннее окна, старые части приходится сокращать или разбивать задачу на шаги.
Температура: Параметр разброса ответов. При низкой температуре модель выбирает более вероятные слова и отвечает стабильнее; при высокой — разнообразнее, но менее предсказуемо. Для извлечения данных и кода обычно ставят низкую.
Top-p: Другой способ управлять случайностью: модель выбирает из слов, которые вместе покрывают заданную долю вероятности. Обычно настраивают что-то одно — температуру или top-p, а не оба сразу.
Стриминг: Выдача ответа по частям, по мере генерации. В API включается параметром stream: true; клиент получает поток событий и может показывать текст сразу, как в чатах.
Function calling (инструменты): Режим, в котором модель вместо готового текста возвращает структурированный запрос на вызов вашей функции: поиск в базе, расчёт, запрос к CRM. Функцию выполняет ваш код, модели возвращается результат. Поддержка зависит от конкретной модели.

Модели и данные

Что умеют модели и где их границы

Инференс: Работа обученной модели: она получает запрос и генерирует ответ. В отличие от обучения, веса модели при инференсе не меняются.
Мультимодальность: Способность модели работать не только с текстом: принимать изображения, документы, аудио или видео и отвечать в другом формате. Набор входных и выходных форматов у каждой модели свой.
Эмбеддинги: Числовое представление текста в виде вектора. По близости векторов ищут похожие фрагменты — так работает семантический поиск и подготовка данных для RAG.
RAG: Retrieval-Augmented Generation: модель отвечает не только по своим знаниям, но и по найденным фрагментам вашей базы. Схема снижает число выдумок, если поиск настроен и источники актуальны.
Fine-tuning: Дообучение модели на ваших примерах под узкую задачу или стиль. Дороже и дольше обычного промптинга; начинать почти всегда стоит с хорошего промпта и проверки на реальных данных.
Галлюцинация: Уверенный, но неверный ответ: модель придумывает факт, ссылку или число. Лечится не «уговариванием», а проверкой источников, узкими инструкциями и тестами на реальных примерах.
Кэш промптов: Механизм, при котором провайдер запоминает повторяющуюся часть запроса и не обрабатывает её заново. Может ускорять ответ и снижать цену; доступность и условия зависят от модели и провайдера.

Деньги и лимиты

Как считается стоимость

Входные и выходные токены: Входные — то, что вы отправили модели (промпт и история). Выходные — то, что она сгенерировала. Тарифы на них разные, выходные обычно дороже.
Прайс: Цены за 1 млн токенов в рублях с НДС. Пересчитываются по курсу ЦБ; актуальные значения — в кабинете и каталоге. У некоторых моделей есть пиковое и ночное окно.
Баланс: Аванс на аккаунте, из которого списывается стоимость запросов. Общий для всех ключей. При нулевом или отрицательном балансе услуги приостанавливаются.
Лимит расходов: Потолок трат, заданный на конкретный API-ключ в кабинете. Когда лимит достигнут, запросы по этому ключу останавливаются, а остальные ключи продолжают работать.
Биллинг: Учёт потребления: модель, число входных и выходных токенов, стоимость, дата и время каждого запроса. По этим данным формируются счета, УПД и отчётность в кабинете.

Термин остался непонятным?

Напишите в Telegram — объясним на вашем примере и подскажем, какую модель взять под задачу.

Спросить в Telegram Открыть документацию