Kimi: длинный контекст и аудит больших документов

Что такое Kimi и что такое контекст

Kimi — линейка моделей китайской компании Moonshot AI (月之暗面, «Луна-тёмная-сторона»). Компания сделала ставку на работу с очень длинными текстами и стала одним из первых проектов, где длина контекста перестала быть узким местом.

Контекст — это всё, что модель видит в момент ответа: ваша инструкция, присланные документы и предыдущие сообщения. Когда контекст заканчивается, модель начинает «забывать» начало разговора. Именно поэтому на больших документах обычные модели теряют детали, которые вы в них заложили.

Почему нарезка на части портит результат

Популярный обходной путь — резать документ на куски и прогонять по частям. Он работает для поиска факта, но ломается там, где нужен смысл целого: противоречия, сквозные условия, зависимости между разделами.

Сценарии: бизнес и быт

В бизнесе

• Аудит договора перед подписанием. Найти расхождения между основным текстом и приложениями, выделить штрафы, автопролонгацию и условия расторжения.
• Анализ переписки по сделке. Собрать историю договорённостей из сотен сообщений: что обещали, когда, кому.
• Разбор технической документации. Найти нужный параметр в мануале на 300 страниц и объяснить, как он связан с остальными.
• Аудит регламентов компании. Найти противоречия между внутренними документами до того, как их найдёт проверяющий.
• Разбор логов и отчётов. Свести длинный технический отчёт в список значимых событий.

В обычной жизни

• Прочитать большую инструкцию или книгу и получить выжимку по вашим вопросам.
• Сравнить несколько редакций одного документа: что изменилось между версиями.
• Разобрать историю переписки с управляющей компанией и собрать хронологию для обращения.
• Подготовиться к экзамену: получить разбор темы по длинному конспекту целиком.

Как работать с большим документом

1. Сначала перечислите, что ищете. «Найди все условия, которые могут привести к дополнительным расходам» работает лучше, чем «проанализируй договор».
2. Требуйте ссылки на пункты. «Укажи номер пункта для каждого вывода» — так вы проверите ответ за секунды.
3. Разделяйте факты и выводы. Просите выводить таблицу «пункт — цитата — что это значит».
4. Задавайте уточняющие вопросы в том же контексте. Второй запрос по тому же документу дешевле и точнее, чем новый прогон с нуля.

Подводные камни длинного контекста

• Середина контекста. Модели в среднем хуже удерживают информацию из середины длинного текста, чем из начала и конца. Значимые вопросы задавайте адресно: «проверь раздел 4».
• Цена растёт вместе с объёмом. Отправлять 200 страниц на каждый мелкий вопрос дорого. Держите документ целиком для аудита, а для рутинных вопросов — дешёвую модель по короткой выжимке.
• Скан не равен тексту. Если документ — плохое фото, качество распознавания важнее выбора модели.
• Это не заменяет юриста. Модель находит формулировки и противоречия, но правовую оценку даёт специалист.