Перейти к содержимому

НейросетиРазбор

Cosine similarity: почему оценка сходства не равна вероятности

Оценка похожести зависит от метрики. Считаем простой пример и проверяем, что означает число рядом с найденным документом.

Иллюстрация: Cosine similarity: почему оценка сходства не равна вероятности
Содержание3 разделов

Число 0,8 рядом с найденным фрагментом легко принять за вероятность правильного ответа. Если это cosine similarity, оно описывает похожесть векторов. В формуле нет проверки достоверности документа или будущего ответа нейросети.

Разбор опирается на документацию scikit-learn, Sentence Transformers и pgvector, проверенную 13 октября 2026 года. Сначала найдите описание score именно в своём поиске. Под одним названием интерфейс может показывать похожесть или расстояние. Переносить число между такими шкалами нельзя.

Посчитайте число без нейросети

Учебные векторы q=(1, 0) и d=(4, 3) придуманы для расчёта. Это не embeddings настоящих документов. Скалярное произведение равно 4, длины векторов равны 1 и 5. Их нормированное скалярное произведение даёт 4 / (1 × 5) = 0,8.

Проверить арифметику можно в Python 3 без дополнительных библиотек:

from math import sqrt

q = (1, 0)
d = (4, 3)
dot = sum(a * b for a, b in zip(q, d))
norm_q = sqrt(sum(a * a for a in q))
norm_d = sqrt(sum(b * b for b in d))
print(dot / (norm_q * norm_d))

Ожидается 0.8. Если d заменить на (40, 30), результат останется тем же: направление сохранилось. Никаких 80 правильных ответов из 100 этот расчёт не наблюдал.

Проверьте, в какую сторону лучше

В pgvector оператор <=> возвращает cosine distance. Документация предлагает получать cosine similarity через 1 минус это расстояние. Поэтому расстояние 0,2 и похожесть 0,8 могут описывать одну пару. Для расстояния меньшее значение ближе, для этой похожести большее значение ближе.

У Sentence Transformers есть выбор метрики. Косинусная похожесть используется по умолчанию, но настройку можно изменить. Посмотрите similarity_fn_name или документацию приложения до выбора порога. Фраза «отбрасываем всё ниже 0,7» без названия метрики оставляет смысл правила неопределённым.

Выберите порог на своих вопросах

Соберите вопросы, для которых в документах точно есть ответ, и вопросы, для которых его нет. Например, в учебном архиве есть правила возврата товара, но нет графика работы магазина. Для обоих вопросов сохраните найденный фрагмент и score, затем вручную отметьте, содержит ли фрагмент нужное основание.

Сравните несколько порогов: какие нужные фрагменты исчезли и какие посторонние остались. После смены модели или способа разбиения документов повторите проверку. Это предложенный порядок оценки, без выдуманных результатов теста и универсального порога.

Механизм поиска по embeddings помогает подобрать материал. Затем отдельно проверяют передачу фрагментов в RAG и основание ответа. Высокий score не заменяет эту проверку.

Обложка создана нейросетью как иллюстрация темы. Она не показывает реальный интерфейс или конкретную модель устройства.

Выбор маршрута требует другого контрольного набора: для Clef в Ollama полезно заранее определить исход ручной проверки.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.