
Содержание3 разделов
Если короткий вопрос работает, а длинный чат замедляет компьютер, проверьте размер контекста. Ollama выделяет память для работы с ним отдельно от хранения файла модели. Увеличение окна требует больше памяти; новый скачанный файл для этого не обязателен.
Инструкция рассчитана на установленную Ollama с локальной моделью и командами run и ps. Версию запишите через ollama --version. Облачные модели сюда не относятся: их расход памяти на сервере таким способом не измерить.
Сначала посмотрите, что действительно загружено
ollama list
ollama ps
Первая команда показывает установленные модели, вторая загруженные. В ps смотрите CONTEXT и PROCESSOR. Пустая таблица означает, что сейчас нет загруженной модели. Для проверки запустите выбранную локальную модель и задайте короткий вопрос.
В текущей странице Context length значения по умолчанию зависят от VRAM. В FAQ всё ещё встречается общее число 4096. Поэтому для своего запуска ориентируйтесь на фактический столбец CONTEXT. Если ваша версия его не показывает, не подменяйте наблюдение числом из другой версии документации.
Сравните два запуска с одним изменением
Закройте другие чаты, использующие эту модель. Вместо ИМЯ_МОДЕЛИ подставьте точное имя из ollama list. В терминале:
ollama run ИМЯ_МОДЕЛИ
/set parameter num_ctx 4096
Задайте короткий нейтральный вопрос, например «Объясни, зачем нужны расширения файлов». В другом окне терминала выполните ollama ps и запишите CONTEXT, PROCESSOR и SIZE. В системном мониторе запишите расход памяти и её давление либо занятость доступной VRAM.
Завершите чат командой /bye и выгрузите модель:
ollama stop ИМЯ_МОДЕЛИ
Повторите запуск с /set parameter num_ctx 8192 и тем же вопросом. Это учебные настройки для сравнения, не рекомендация универсального размера. Если модель или версия не поддерживает заданное значение, опыт останавливается на ошибке; не записывайте его как успешную проверку.
Как читать результат без поспешного вывода
Условный результат: при 4096 модель целиком на GPU, а при 8192 часть загрузки уходит на CPU. Тогда проверять следует нехватку доступной памяти при большем контексте. Это сценарий для интерпретации, не измерение редакции. Объём RAM не обязан ровно удвоиться: на него влияют сама модель и другие настройки.
Если короткий вопрос в обоих случаях работает, это ещё не проверка обработки длинного документа. Добавьте разрешённый тестовый текст с известным фактом в начале и попросите найти его. Сохраняйте исходник и ответ: увеличение окна не гарантирует внимательность модели.
Для старта с движком есть отдельная инструкция; смысл токенов и бюджет текста объясняем в разборе контекстного окна. После опыта верните прежние настройки своего чата.
AI-иллюстрация не показывает измеренный расход памяти или реальную модель устройства.
Когда сеанс уже закончился, пригодится другая проверка: выгрузка модели и срок keep_alive в Ollama. Она помогает отделить удержание модели после ответа от расхода контекста во время работы.
В поисковом индексе длина входа требует другой проверки: /api/embed может обрезать текст по умолчанию. Параметр truncate: false помогает обнаружить превышение окна до сохранения вектора.

Как вам материал?



Комментарии