Перейти к содержимому

НейросетиРазбор

Ollama thinking: как получить итоговый ответ и отключить рассуждения

Как разделить thinking и content в ответе Ollama и проверить обработчик без запуска модели на учебных данных.

Иллюстрация: Ollama thinking: как получить итоговый ответ и отключить рассуждения
Содержание4 разделов

Приложение может показать длинное рассуждение модели и потерять короткий итог, если читает только одно поле ответа. У нативного Ollama Chat API рассуждение приходит в message.thinking, итоговый текст в message.content. Склеивание этих полей меняет то, что увидит читатель.

Разбор по текущей документации Ollama, проверенной 24 октября 2026 года. Он относится к /api/chat. Для Generate API имена другие: thinking и response. Поддержка thinking и параметры управления зависят от модели и версии сервера; запишите свою версию через ollama --version.

Сначала проверьте обработчик на готовом объекте

Ниже искусственный ответ для проверки программы. Модель его не генерировала. Намеренно разные строки позволяют сразу увидеть, какое поле попало в интерфейс:

sample = {
    "message": {
        "role": "assistant",
        "thinking": "Учебная служебная строка",
        "content": "Итог для читателя"
    },
    "done": True
}
message = sample["message"]
print(message.get("content", ""))
assert message["content"] == "Итог для читателя"
assert message["thinking"] not in message["content"]

Ожидается одна напечатанная строка «Итог для читателя» и отсутствие ошибки assert. Если ваш интерфейс при тех же входных данных показывает служебную строку, найдите место выбора поля. Смена модели до этой проверки добавит переменную, которая не нужна для диагностики.

Не превращайте пустой итог в готовый ответ

В потоковом ответе thinking может приходить раньше content. Пока приходят только такие фрагменты, итоговый текст ещё не получен. Показывайте состояние обработки отдельно; не подставляйте рассуждение в итоговое поле только потому, что оно уже непустое.

Для второй учебной проверки уберите content из sample, затем выполните sample["message"].get("content", ""). Получится пустая строка. В обработчике это должно оставаться отсутствием итогового текста. Дальше проверяют завершение потока и ошибку запроса, сохраняя различие между ними.

Как отключить thinking в Ollama

Сначала запросите сведения об уже установленной модели через /api/show. В объекте thinking проверьте values. Если среди разрешённых значений есть false, в запросе к /api/chat можно указать "think": false. Этот параметр передают в теле запроса, не внутри messages.

Фрагмент тела запроса ниже служит учебным примером. MY_MODEL замените именем своей установленной модели; он сам по себе ничего не скачивает:

{
  "model": "MY_MODEL",
  "messages": [{"role": "user", "content": "Ответь одним словом: привет"}],
  "think": false,
  "stream": false
}

Если values содержит только именованные уровни, выбирайте поддерживаемый уровень. false не становится универсальным выключателем. Даже при отключённом выводе рассуждения итог для Chat API считывают из message.content. Скрытие thinking в интерфейсе и запрос модели без рассуждения требуют разных проверок.

Настройку модели проверяйте отдельно

По текущей справке /api/show сообщает поддерживаемые значения thinking. Они могут быть логическими или именованными уровнями. Не считайте параметр think: false универсальным способом отключить рассуждение любой модели: справка оговаривает разрешённое моделью поведение.

Полученный итог тоже требует проверки по задаче. Наличие отдельного поля не доказывает правильности текста и не делает рассуждение точным объяснением причин ответа. Если потерян предыдущий вопрос, сначала проверьте переданную историю messages. Если парсер не читает поток, поможет разбор формата отдельных JSON-строк.

Обложка создана нейросетью как редакционная иллюстрация темы. Она не показывает реальный интерфейс программы или конкретную модель устройства.

Источники

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.