
Содержание4 разделов
Токен представляет единицу данных для модели. В тексте он может соответствовать слову, части слова или знаку. Разные модели делят один документ по-разному, поэтому универсальный перевод страниц в токены неточен.
Считайте своим счётчиком, а не по числу страниц
Для точного бюджета используйте инструмент подсчёта разработчика выбранной модели. Например, Anthropic предоставляет отдельный метод подсчёта входа. Не загружайте в публичный счётчик закрытый документ без разрешения.
Изображения, результаты инструментов и системные инструкции тоже могут участвовать в учёте. Правила для них нужно смотреть в документации конкретного API. Одинаковый текстовый файл не означает одинаковую стоимость у разных поставщиков.
Как составить бюджет контекста
Учебный пример: допустимое окно составляет 32 000 токенов. Инструкции занимают 2000, документы 20 000, история и вопрос 3000. Остаётся 7000, но если для ответа нужно зарезервировать 4000, запас входа всего 3000. Эти числа условные; фактические правила и отдельный предел выхода зависят от модели.
В длинном диалоге сервис может сокращать историю или отклонять запрос. Нельзя автоматически считать, что модель видит каждое старое сообщение. Если она пропустила условие, проверьте фактический состав входа и повторите важные исходники.
Цена одного запроса
Условный тариф: $2 за миллион входных и $10 за миллион выходных токенов. Вход 50 000 и выход 2000 дадут 0,05 × 2 + 0,002 × 10 = $0,12. Это пример без кеша, инструментов, дополнительных режимов и налогов.
В калькулятор подставляйте актуальные ставки своей модели. Итог соответствует введённым условиям; он не предсказывает длину будущего ответа и число повторных попыток.
Для реального бюджета сохраняйте данные использования из ответа API. Кеширование имеет отдельные тарифы и условия. Расход API нельзя напрямую переводить в число сообщений подписки: продукт может применять свои лимиты.
Что делать с большой базой файлов
Разделите задачи или извлекайте только относящиеся к вопросу фрагменты. Большое окно не гарантирует, что модель правильно использует каждую деталь. Сохраняйте ссылки на исходные места и проверяйте ответ. Для баз документов пригодится объяснение RAG; для выбора модели практический набор критериев.
Для локальной Ollama бюджет текста связан ещё и с расходом памяти. Есть проверка двух размеров контекста на одной модели с наблюдением через ollama ps.

Как вам материал?



Комментарии