PostgreSQL умер, да здравствует… PostgreSQL?
Привет, Хабр. Я хочу рассказать историю, которую вы уже, наверняка, где-то слышали. Только с другой стороны.
RAG, поиск и LongContext: почему сложные пайплайны не всегда нужны
В 2023 году RAG был единственным способом засунуть знания в LLM — контекстное окно было маленьким, часто были галлюцинации. RAG постепенно стал одной из самых популярных технологий, чтобы получить базу знаний, по которой можно искать данные через натуральный язык.Но с другой стороны — RAG-пайплайн тяжёлый и трудозатратный. Компания хочет чат по своей документации. Разработчик говорит: нужен пайплайн — чанкинг, эмбеддинги, векторная база, реранкер. Два-три месяца работы плюс сервис, который надо вечно поддерживать, ради 400-страничной документации. И всё это занимает месяцы, тратит ресурсы ради не такой уж и большой выгоды.
Рейтинг, который не устоял: три проверки, обнулившие сравнение эмбеддингов
Тринадцать способов превратить деловой документ в набор чисел, аккуратная таблица с победителем — и три проверки, которые последовательно её обнулили. История о том, как измерение оказалось интереснее результата.4695 документов · 11 тем · 13 вариантов векторизации · эталон размечен людьми, а не моделью
«Спорт, борщ, крипта»: как мы проверяли, работают ли интересы в рекомендательной системе
В прошлой статье я рассказывал, как устроена рекомендательная система в нашем Telegram‑боте @noiseoffbot. Особенно внимательный читатель заметил «маленькую» несостоятельность одного из рекомендательных сигналов, а конкретно, вектора интересов пользователя. Именно о нем мы сегодня и поговорим.Раньше пользователь мог написать в боте что‑то вроде: спорт, финансыили:ITили:квантовая физика, рецептыМы превращали весь этот текст в один эмбеддинг
Как установить контакт с инопланетянами с помощью LLM
Допустим, в один прекрасный день земные радиотелескопы начнут принимать сигналы радиовещания инопланетян (мощные и незашифрованные, конечно).Как нам понять о чем там речь? Конечно, с помощью LLM!Как работают LLM в двух словах
GigaChat 2 Max с памятью на связях обходит Claude Opus 5 без неё: замер семи моделей
Кратко: на классе задач «в работе всплыла проблема — каким изменением её уже чинили»:GigaChat 2 Max с памятью на связях отвечает верно в 57% случаев,YandexGPT Pro 5.1 — в 61%,Claude Opus 5 с обычным поиском — в 41%.Модели никто не трогал: разница целиком в том, доехал ли до модели нужный факт в контексте.
Почему токенайзер реж ет сло ва не там, где нужно
Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения.
Positional encoding или как нейросеть «читает» текст
Большинство нейросетей работают с числами и читать как человек они не умеют, поэтому инженерами были придуманы способы помочь нейросети уловить не только смысл конкретного слова, но и всего предложения. Для достижения такой цели используется positional encoding, то есть помимо отдельных слов нейросети дают их порядок в тексте. В данной статье приведен сравнительный анализ чисто смысловых векторов, линейного базиса (порядковый номер слова), базиса Фурье (синусы и косинусы), комплексного (экспоненты) и полиномы Чебышева для кодирования двух английских фраз.
