Перейти к содержимому

НейросетиРазбор

Ollama embed: как проверить обрезание длинного текста

У /api/embed обрезка длинного ввода включена по умолчанию. Параметр truncate: false помогает обнаружить превышение окна до загрузки в поисковый индекс.

Иллюстрация: Ollama embed: как проверить обрезание длинного текста
Содержание2 разделов

Успешный ответ /api/embed не подтверждает, что модель обработала весь переданный текст. В документации Ollama параметр truncate по умолчанию равен true: ввод сверх окна контекста обрезается. При false превышение должно возвращать ошибку.

Это проверка локального API по справке, прочитанной 19 октября 2026 года. Нужны уже установленная Ollama, подходящая локальная модель эмбеддингов и Python 3.10+. Запишите ollama --version и точное имя из ollama list. Ниже используется имя embeddinggemma из примера API; если такой модели у вас нет, подставьте свою установленную. Загружать модель ради примера не обязательно.

Подготовьте длинный учебный ввод

Работайте в новой пустой папке: команды создадут два файла с именами embed-request.json и embed-response.json. Сначала проверьте, что там нет нужных файлов с такими именами. Никаких личных документов в запросе нет.

python3 - <<'PYTHON'
import json
from pathlib import Path
text = "Учебная запись о доставке. " * 10000
text += "Последняя запись: код МАЯК."
request = {"model": "embeddinggemma",
           "input": text, "truncate": False}
Path("embed-request.json").write_text(
    json.dumps(request, ensure_ascii=False), encoding="utf-8")
PYTHON
curl --silent --show-error \
  --header 'Content-Type: application/json' \
  --data-binary @embed-request.json \
  --output embed-response.json \
  --write-out 'HTTP %{http_code}\n' \
  http://localhost:11434/api/embed

Число повторов выбрано для учебного запроса. Это не граница окна и не количество токенов. Ответ зависит от модели. Здесь нет редакционного замера на установленной embeddinggemma.

Разберите ответ до записи в индекс

При ошибке откройте embed-response.json и прочитайте её причину. Сообщение о превышении ввода при truncate: false указывает на размер. Ошибка отсутствующей модели или недоступный локальный сервер требуют другой проверки. Не уменьшайте текст вслепую из-за любого неуспеха curl.

При HTTP 200 проверьте наличие непустого массива embeddings. Для одного текста ожидается один вектор. Сам вектор не позволяет прочитать последние слова исходника. Упоминание кода МАЯК в конце не превращает этот запрос в доказательство качества поиска.

Практический вывод для индекса: сохраняйте связь между исходным документом и его фрагментами. Делите слишком длинный материал на осмысленные части и создавайте вектор для каждой. Например, у учебной инструкции раздел «Получение» и раздел «Возврат» можно индексировать отдельно, чтобы вопрос о возврате имел шанс найти свой фрагмент. Затем проверьте выдачу по вопросу, ответ на который находится именно в последнем разделе. Это отдельная оценка поиска, даже если ограничение длины уже устранено.

Причину затрат памяти в чате разбираем в статье об окне контекста. Устройство поиска по документам объясняет разбор RAG.

Обложка создана нейросетью как редакционная иллюстрация темы. Она не показывает реальный интерфейс программы или конкретную модель устройства.

После проверки длины ввода сверяйте число векторов и размерность каждого перед записью в индекс.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.