Перейти к содержимому

НейросетиРазбор

Одинаковый запрос к Ollama даёт разный текст. Как сравнить запуски

Зафиксируйте модель, запрос и seed. Сравнивайте поле ответа, а не весь JSON с временем создания и длительностью.

Иллюстрация: Одинаковый запрос к Ollama даёт разный текст. Как сравнить запуски
Содержание3 разделов

Два JSON-ответа Ollama могут различаться, даже если сгенерированный текст совпал. В ответе есть время создания и длительность работы. Для проверки повторяемости сначала сравнивайте поле response, затем уже ищите изменения в параметрах.

Разбор для нативного локального API Ollama по документации, проверенной 15 октября 2026 года. Нужна уже установленная текстовая модель и работающий сервер на localhost:11434. Новую модель скачивать для этого примера не требуется. Запишите установленную версию Ollama до сравнения.

Зафиксируйте условия

Сохраните точное имя модели из списка установленных. Через GET /api/tags можно прочитать её digest и сведения о квантовании. Для сравнения после обновления одного имени недостаточно: сверяйте также сохранённые сведения о модели.

Документация описывает seed как начальное значение генератора случайных чисел для повторяемой генерации при том же промпте. В примере ниже seed равен 42, temperature равна 0. Это выбранные учебные настройки, без обещания побайтового совпадения после смены версии, оборудования или модели.

Отправьте один и тот же запрос трижды

Запустите следующий код в Python 3.14. Введите имя своей установленной модели полностью. Скрипт обращается только к локальному адресу, не создаёт файлы и выполняет три генерации; модель при этом может занять память.

import json
from urllib.request import Request, urlopen

model = input("Installed model: ").strip()
if not model:
    raise ValueError("Model name is required")
payload = json.dumps({
    "model": model,
    "prompt": "Ответь одним словом: столица Франции?",
    "stream": False,
    "options": {
        "seed": 42, "temperature": 0,
        "num_predict": 64
    }
}).encode("utf-8")
texts = []
for n in range(3):
    req = Request(
        "http://localhost:11434/api/generate",
        data=payload,
        headers={"Content-Type": "application/json"}
    )
    with urlopen(req, timeout=180) as response:
        result = json.load(response)
    texts.append(result["response"])
    print(n + 1, repr(texts[-1]), result.get("done_reason"))
print("Distinct response texts:", len(set(texts)))

Ожидайте три строки результатов и число различных текстов. Значение 1 означает совпадение поля response в этих трёх запусках. Большее число фиксирует расхождение, но само по себе не указывает причину. Здесь не приводится выдуманный результат работы конкретной модели.

Читайте расхождение по месту

Если различаются только created_at или total_duration, это не различие текста. Если done_reason показывает ограничение длины, ответ мог быть оборван заданным num_predict; для думающей модели короткий лимит может не оставить места для итоговой фразы. Такой запуск не стоит считать успешным ответом только из-за одинаковых пустых строк.

Если текст меняется, проверьте, одинаковы ли байты запроса и digest модели. Затем повторите сравнение в той же версии и среде, меняя только один параметр за раз. Для /api/chat отдельно сверяйте массив сообщений и историю. Проверка трёх запусков помогает локализовать расхождение, но не измеряет достоверность ответа: её оценивают по фактам и источникам.

Обложка создана нейросетью как иллюстрация темы. Она не показывает реальный интерфейс или конкретную модель устройства.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.