Как мы в Авито предсказываем категории объявлений по описанию
Привет! Меня зовут Руслан Гилязев, я работаю в подразделении DS SWAT в Авито, руковожу командой платформы Item2param. Одна из моих задач — развивать модели, которые предсказывают параметры объявлений. В этой статье расскажу, с помощью каких технологий мы решаем задачу классификации объявлений и почему это важно для бизнеса. Материал будет полезен DS-инженерам любого грейда и backend-инженерам, которые интересуются темой Data Science.
A-Vibe от Авито, токенизация и оценка стоимости
Модель A-Vibe разработанная командой Авито, заняла первое место среди моделей до 10 млрд параметров в независимом русскоязычном бенчмарке MERA, обойдя аналоги от OpenAI, Google и Anthropic.Ключевые достижения A-Vibe:Генерация кода: на 25% лучше, чем Gemini 1.5 Pro с 8 млрд параметров.Ведение диалогов: точность на 32% выше по сравнению с Llama 3.1 (405 млрд параметров).Анализ текста: на 23% точнее, чем Claude 3.5 Haiku.A-Vibe создана на базе Qwen 2.5 7B с заменой стандартного токенизатора на собственный, что ускорило обработку русского языка в 2 раза и улучшило качество генерации текста.
Большая языковая модель «Авито» обогнала OpenAI и Google в бенчмарке MERA
Большая языковая модель A‑Vibe, разработанная «Авито», заняла первое место среди облегчённых моделей (до 10 млрд параметров) в российском бенчмарке MERA. Модель обошла аналоги от OpenAI, Google и Anthropic, рассказали информационной службе Хабра в пресс‑службе «Авито».Команда «Авито» разработала собственные генеративные модели A‑Vibe и A‑Vision, использовав на старте открытую модель. Open source модель плохо работала с русским языком, потому что данные включали 100 языков, а русский занимал 1%. Из‑за этого модель слабо понимала и генерировала тексты на русском.
