Ру-Жев 1.3: какие незнакомые названия категорий модель стала понимать, а какие нет
Я выложил версию 1.3 Ру-Жев. Это открытая модель типизированных решений для русскоязычного текста. Она работает на процессоре и ставится внутрь закрытого контура. В этом релизе я учил модель меньше зависеть от того, какими словами вызывающая сторона называет варианты ответа. Результат получился определённым. На незнакомых названиях, которые являются словами, обычными или заимствованными, новая версия точнее старой. На аббревиатурах и кодах выигрыша нет. Ниже я привожу обе части результата и то, как я их проверял.Модель и код под лицензией MIT. Веса лежат на Hugging Face в репозитории besktech/ru-jev.Что это за модель
Модель с AUC ниже заработала больше — пока отсечка стояла по скору
Две модели кредитного скоринга на открытых данных Home Credit. У модели A AUC выше, у модели B — ниже. При обычной отсечке «одобряем лучшие x %» B зарабатывает на 113 млн больше, и это не шум: B впереди в 200 из 200 бутстрэп-выборок. Как только решение принимается по каждому кредиту — откалиброванная PD × сумма × срок, — разрыв исчезает, а обе модели зарабатывают больше, чем при любой отсечке по скору. Ниже — почему так, сколько это стоит и что из этого следует для того, кто подписывает кредитную политику.
Своя модель решений на русском за вечер аренды GPU: что она умеет, сколько стоит и где проигрывает
Своя модель решений за вечер на GPU
Jev от TypeSafe: модель, с которой нельзя поговорить
Главное про Jev: с ней нельзя разговаривать. Текст она не генерирует вообще. На вход идёт состояние (строка или JSON) и набор заранее описанных вопросов, на выходе для каждого вопроса типизированный ответ с распределением вероятностей. Компанию основал Диогу Алмейда, бывший исследователь OpenAI, работавший над ChatGPT и RLHF.Зачем это нужноТипичная схема с LLM в роутинге тикетов: просим модель выбрать категорию, получаем текст, парсим, ловим случаи, когда модель ответила «скорее всего, это биллинг, но возможно…». Плюс ждём секунды там, где решение нужно для следующей строчки кода.
Decision-модели изнутри: как устроены Jev, Clef, pplx-decider, Strands Decider, Laya и GLiDE
15 сентября TypeSafe выпустила Jev и назвала её первой моделью класса System One. Jev получает состояние системы и набор типизированных вопросов, а возвращает распределение вероятностей по допустимым ответам. Весь ответ считается за один прямой проход, без генерации токенов.За 16 дней вышли ещё пять реализаций той же идеи: Clef и Clef-flash от Cloudflare, pplx-decider-v1-27b от Perplexity, Strands Decider 2B от AWS, Laya от Convai Innovations и GLiDE от Fastino. Интерфейс у них почти общий, а внутри пять разных решений: замороженная LLM с обучаемым выходным слоем, LLM с заменённой LM head, pointer-механизм, энкодер на 322 млн параметров и рассуждение, которое включается по требованию.
Jev, Laya и Gemini Flash на трёх задачах классификации в поддержке
За неделю я прогнал три задачи из своего прода через модели, которые только выбирают из списка, ставят оценку по шкале или возвращают вероятность. Jev как закрытая, Laya как опенсорсный аналог, плюс gemini flash lite как третий кандидат. Две задачи из трёх они закрывают, третью не закроет ни одна, и понять это можно было до всякого замера.Меня интересовал не обзор моделей. Хотелось рамки: какие задачи вообще имеет смысл отдавать такому инструменту. Ниже три замера на живом трафике, шесть признаков подходящей задачи и раздел с оговорками, где я честно перечисляю, чего эти цифры не доказывают.
GGUF: квантизация с калибровкой (imatrix)
Привет, хабровчане!Признаюсь, я не большой любитель vLLM, Triton Inference Server и всяких там NeMo, вместо них я предпочитаю ollama вообще и llama.cpp
