Эксперимент: заставляем трансформер читать палиндромы через Чебышёва и комплексные экспоненты
Большинство нейросетей работают с числами и читать как человек они не умеют, поэтому инженерами были придуманы способы помочь нейросети уловить не только смысл конкретного слова, но и всего предложения. Для достижения такой цели используется positional encoding, то есть помимо отдельных слов нейросети дают их порядок в тексте. В данной статье приведен сравнительный анализ чисто смысловых векторов, линейного базиса (порядковый номер слова), базиса Фурье (синусы и косинусы), комплексного (экспоненты) и полиномы Чебышева для кодирования двух английских фраз.
Разговорили гуманоида: как за месяц мы построили русскоязычный голосовой стек для китайского робота
К нам в лабораторию приехал человекоподобный робот ростом 173 сантиметра и весом 75 килограммов — и он не понимал по-русски ни слова. Штатный голосовой стек работал на китайском, лежал на закрытой плате внутри корпуса, куда нет доступа, и заменить в нём язык было нельзя. Пришлось строить собственный: своё распознавание речи, свой синтез голоса, свою логику диалога.
Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой
В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос: ломает ли квантизация уже существующий retrieval.Но у такого замера есть неприятное слепое пятно. Можно аккуратно сохранить 99% выдачи исходного эмбеддера и все равно плохо находить нужные документы на своем домене. Внешний бенчмарк, даже сильный, этого не гарантирует. BEIR
Винни-Пух в 768 измерениях: семантический поиск Codex Pets на YDB
В Codex можно поселить анимированного питомца. Пока агент работает, персонаж бегает, машет рукой, ждёт или печалится после неудачной команды. По его состоянию видно, что происходит с задачей. Сам пакет состоит из pet.json и атласа с кадрами анимации.Самих питомцев я собрал в каталоге Codex Pets. Сейчас в нем 153 одобренных питомца: от красной панды и аксолотля до героев игр и старых мультфильмов. Любого можно посмотреть в браузере, скачать в ZIP или установить одной командой.
SayFable — офлайн-библиотека с NLP-разметкой, синтезом на 68 языков и чатом по книге
Личная библиотека для книг, статей, подкастов и видео: транскрипция, синтез, перевод и смысловой поиск считаются на самом телефоне.Привет, Хабр! В прошлых статьях я рассказывал про локальный переводчик с синтезом голоса на кабардинском и про то, как собрать полный NLP-стек для «финального босса лингвистики» из старых словарей
Промпт, RAG или дообучение: что реально выучит вашу LLM
Всем привет, меня зовут Сергей Прощаев, и в этой статье расскажу про эксперимент, который я давно хотел провести честно, а не на слайдах. Ситуация, думаю, знакома многим: вы подняли локальную модель для внутренних задач — и первый же вопрос про ваш домен она уверенно завалила. У нас она придумала несуществующий код ответа
Эволюция поиска вакансий в Авито Работе: ML-оптимизации и инсайты из АБ-тестов
Привет! Меня зовут Вадим Вахрушев, я старший DS-инженер в Авито, занимаюсь задачами поиска. В статье расскажу, как устроено ранжирование в Авито Работе: какие ML-модели помогают создавать выдачу вакансий, и какие инсайты мы вынесли из нескольких показательных АБ-тестов.Думаю, статья будет в первую очередь интересна ML-инженерам, которым важно разобраться, как поисковое ранжирование адаптируется под конкретную бизнес-вертикаль. Если хочется узнать про поиск в Авито в целом, загляните в обзорную статью —
Внешний бенчмарк причинного recall: проверяем память ИИ-ассистента на YDB Яндекса
Коротко, о чём речь, — для тех, кто пришёл по слову «Яндекс» и предыстории не знает. Когда ИИ-ассистент помогает чинить баг, самое ценное — не сочинить ответ с нуля, а
Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой
TL;DR.
- Оставлено в
