nlp.
POLLUX: оценка генеративных способностей моделей для русского языка
Компоненты POLLUXОбычно мы оцениваем способности больших языковых моделей (дальше по тексту мы будем ещё использовать термин LLM) через бенчмарки вроде MMLU, RussianSuperGlue или первых версий
Что такое NER, зачем он нужен и когда не поможет
Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста.Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения.
Останется ли это правдой завтра? Как проверка устойчивости фактов помогает LLM стать честнее и умнее
Привет, Хабр! Мы в команде «Вычислительная семантика» в AIRI сфокусированы на исследовании галлюцинаций и решении проблем доверительной генерации. Мы учимся находить галлюцинации и бороться с ними. Большие языковые модели (LLMs) вроде GPT-4 стали незаменимыми помощниками в повседневной жизни — от генерации текстов до поддержки в кодинге и ответов на вопросы. Однако у них есть ахиллесова пята: они часто галлюцинируют. В этом посте мы разберем нашу последнюю работу Will It Still Be True Tomorrow?, посвященную тому, как на надёжность моделей влияет феномен неизменного вопроса (evergreen question)
SLAVA — бенчмарк социально‑политического ландшафта и ценностного анализа
Большой обзор: от идеи и структуры — до неожиданных выводов и практических сценариев применения SLAVA — это открытый русскоязычный бенчмарк, разработанный экспертами РАНХиГС и ИСП РАН для проверки, как большие языковые модели справляются с фактологическими и ценностно нагруженными вопросами по истории, обществознанию, географии и политологии.
Создаем свой RAG: от загрузки данных до генерации ответов с LangGraph. Часть 2
Привет, Хабр!В этой статье я объясню, как работает технология RAG (Retrieval-Augmented Generation), и покажу её базовые реализации. Для примеров я буду использовать фреймворк LangGraph — его основы я разбирал в предыдущей статьеВ конце статьи вас ждет дополнительный пример, поэтому дочитывайте до конца. Как устроен RAGТехнология RAG состоит из двух ключевых компонентов:Индексация (Indexing)Загрузка данныхРазбиение на фрагменты Векторизация Хранение Поиск и генерация (Retrieval and Generation)
Хорошая девушка LoRA! А чем же она хороша?
Поговорим об методике дообучения LLM… спортсменке, комсомолке и просто красавице - LoRA, которая если и не снимается в кино, то может сделать фильмы качественней и интереснее для зрителя. Исторические данные проката и состава творческих групп в перспективе позволяют работать с ансамблевыми моделями машинного обучения для прогнозирования сборов и просмотров в кино, и улучшать данные и путем их подбора «гиперпараметров»
Часть 2. Комплексное решение на практике: система «Джинн»
Комплексное решение на практике: система «Джинн»Данная работа подготовлена командой Infolabs
Часть 1. Цифровое взаимодействие: Социальные сети как инструмент связи между государством и гражданами
Взаимодействие с государственными органамиДанная работа подготовлена командой Infolabs
