BEIR.

Закрытый Jev против открытой Laya: сравниваем decision-модели в RAG-реранжировании

Можно ли заменить облачный Jev локальной Laya Multilingual? После сравнения Jev с обычными LLM проверил Jev и Laya на реранжировании документов. Сравнил качество и скорость на трех поисковых наборах, добавив специализированные BGE и Qwen3-Reranker.Зачем здесь реранкерПредставим вопрос: как найти честного страхового брокера в Канаде? Поиск может вернуть и советы по выбору специалиста, и обсуждение дешевой автостраховки. Во втором тексте тоже есть Канада, брокеры и страхование, но вопрос пользователя другой.

продолжить чтение

Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой

В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос: ломает ли квантизация уже существующий retrieval.Но у такого замера есть неприятное слепое пятно. Можно аккуратно сохранить 99% выдачи исходного эмбеддера и все равно плохо находить нужные документы на своем домене. Внешний бенчмарк, даже сильный, этого не гарантирует. BEIR

продолжить чтение