
Содержание3 разделов
Число 0,8 рядом с найденным фрагментом легко принять за вероятность правильного ответа. Если это cosine similarity, оно описывает похожесть векторов. В формуле нет проверки достоверности документа или будущего ответа нейросети.
Разбор опирается на документацию scikit-learn, Sentence Transformers и pgvector, проверенную 13 октября 2026 года. Сначала найдите описание score именно в своём поиске. Под одним названием интерфейс может показывать похожесть или расстояние. Переносить число между такими шкалами нельзя.
Посчитайте число без нейросети
Учебные векторы q=(1, 0) и d=(4, 3) придуманы для расчёта. Это не embeddings настоящих документов. Скалярное произведение равно 4, длины векторов равны 1 и 5. Их нормированное скалярное произведение даёт 4 / (1 × 5) = 0,8.
Проверить арифметику можно в Python 3 без дополнительных библиотек:
from math import sqrt
q = (1, 0)
d = (4, 3)
dot = sum(a * b for a, b in zip(q, d))
norm_q = sqrt(sum(a * a for a in q))
norm_d = sqrt(sum(b * b for b in d))
print(dot / (norm_q * norm_d))
Ожидается 0.8. Если d заменить на (40, 30), результат останется тем же: направление сохранилось. Никаких 80 правильных ответов из 100 этот расчёт не наблюдал.
Проверьте, в какую сторону лучше
В pgvector оператор <=> возвращает cosine distance. Документация предлагает получать cosine similarity через 1 минус это расстояние. Поэтому расстояние 0,2 и похожесть 0,8 могут описывать одну пару. Для расстояния меньшее значение ближе, для этой похожести большее значение ближе.
У Sentence Transformers есть выбор метрики. Косинусная похожесть используется по умолчанию, но настройку можно изменить. Посмотрите similarity_fn_name или документацию приложения до выбора порога. Фраза «отбрасываем всё ниже 0,7» без названия метрики оставляет смысл правила неопределённым.
Выберите порог на своих вопросах
Соберите вопросы, для которых в документах точно есть ответ, и вопросы, для которых его нет. Например, в учебном архиве есть правила возврата товара, но нет графика работы магазина. Для обоих вопросов сохраните найденный фрагмент и score, затем вручную отметьте, содержит ли фрагмент нужное основание.
Сравните несколько порогов: какие нужные фрагменты исчезли и какие посторонние остались. После смены модели или способа разбиения документов повторите проверку. Это предложенный порядок оценки, без выдуманных результатов теста и универсального порога.
Механизм поиска по embeddings помогает подобрать материал. Затем отдельно проверяют передачу фрагментов в RAG и основание ответа. Высокий score не заменяет эту проверку.
Обложка создана нейросетью как иллюстрация темы. Она не показывает реальный интерфейс или конкретную модель устройства.
Выбор маршрута требует другого контрольного набора: для Clef в Ollama полезно заранее определить исход ручной проверки.
Источники

Как вам материал?



Комментарии