Перейти к содержимому

НейросетиРазбор

Токены и контекстное окно: как посчитать размер и цену запроса

Показываем бюджет контекста и расчёт тарифа на условных числах. Сохраняем калькулятор, но отделяем его результат от реального счёта.

Иллюстрация: Токены и контекстное окно: как посчитать размер и цену запроса
Содержание4 разделов

Токен представляет единицу данных для модели. В тексте он может соответствовать слову, части слова или знаку. Разные модели делят один документ по-разному, поэтому универсальный перевод страниц в токены неточен.

Считайте своим счётчиком, а не по числу страниц

Для точного бюджета используйте инструмент подсчёта разработчика выбранной модели. Например, Anthropic предоставляет отдельный метод подсчёта входа. Не загружайте в публичный счётчик закрытый документ без разрешения.

Изображения, результаты инструментов и системные инструкции тоже могут участвовать в учёте. Правила для них нужно смотреть в документации конкретного API. Одинаковый текстовый файл не означает одинаковую стоимость у разных поставщиков.

Как составить бюджет контекста

Учебный пример: допустимое окно составляет 32 000 токенов. Инструкции занимают 2000, документы 20 000, история и вопрос 3000. Остаётся 7000, но если для ответа нужно зарезервировать 4000, запас входа всего 3000. Эти числа условные; фактические правила и отдельный предел выхода зависят от модели.

В длинном диалоге сервис может сокращать историю или отклонять запрос. Нельзя автоматически считать, что модель видит каждое старое сообщение. Если она пропустила условие, проверьте фактический состав входа и повторите важные исходники.

Цена одного запроса

Условный тариф: $2 за миллион входных и $10 за миллион выходных токенов. Вход 50 000 и выход 2000 дадут 0,05 × 2 + 0,002 × 10 = $0,12. Это пример без кеша, инструментов, дополнительных режимов и налогов.

В калькулятор подставляйте актуальные ставки своей модели. Итог соответствует введённым условиям; он не предсказывает длину будущего ответа и число повторных попыток.

Посчитайте свой случай

Ориентир: около 3 знаков русского текста на токен. Точное число зависит от модели, цены за 1 млн токенов указаны в скобках.

Для реального бюджета сохраняйте данные использования из ответа API. Кеширование имеет отдельные тарифы и условия. Расход API нельзя напрямую переводить в число сообщений подписки: продукт может применять свои лимиты.

Что делать с большой базой файлов

Разделите задачи или извлекайте только относящиеся к вопросу фрагменты. Большое окно не гарантирует, что модель правильно использует каждую деталь. Сохраняйте ссылки на исходные места и проверяйте ответ. Для баз документов пригодится объяснение RAG; для выбора модели практический набор критериев.

Для локальной Ollama бюджет текста связан ещё и с расходом памяти. Есть проверка двух размеров контекста на одной модели с наблюдением через ollama ps.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.