обработка естественного языка.

От каши к структуре: гибридная AI‑система для обработки свободного текста

Я занимаюсь проектом, где нужно из свободных текстов на естественном языке вытаскивать структурированные данные. Не разово — постоянно, по мере поступления. За несколько месяцев я перепробовал регулярки, чистый LLM и в итоге пришёл к гибриду. Ниже расскажу, что из этого всего вышло: архитектура, промпты, трудности и неочевидные решения.Стек: Python 3.12, Ollama + Qwen 2.5 (всё локально), YAML как формат хранения, SHA256 для дедупликации, Jinja2 для шаблонизации промптов.Проект называется Svyazi

продолжить чтение

AutoML для NLU без ручной настройки: делимся библиотекой OpenAutoNLU

продолжить чтение

Способы автоматизации ответов на часто задаваемые вопросы (FAQ)

Автоматизация ответов на часто задаваемые вопросы (FAQ) - актуальная задача в процессах, где важно быстро и качественно взаимодействовать с клиентами и с аудиторией.Если клиент долго не может найти информацию, долго не получает ответа в чате, то он уходит к другому продавцу. В итоге и продажа теряется, и клиент теряется. Особенно это критично во время проведения активной рекламной кампании, когда количество обращений резко возрастает и очень большая часть не успевает обрабатываться.Что можно сделать, чтобы не терять обращения, продажи и клиентов?

продолжить чтение

Машинный перевод. Как развивалась технология

Машинный перевод - это одно из самых удивительных достижений ИИ. Под этим термином понимают автоматический перевод текста с одного языка на другой с помощью компьютерных алгоритмов. Несколько десятилетий назад  сама идея о том, что компьютер или программа может переводить тексты с одного языка на другой, казалась настоящей фантастикой. Меня зовут Алексей Рудак, я основатель компании Lingvanex

продолжить чтение

От «яблока» до «королевы»: как нейросети учатся понимать смысл слов через эмбеддинги

продолжить чтение

Базовый минимум. Часть 2: промпт-инжиниринг

Дисклеймер: данная лекция подготовлена в первую очередь для непрофильных студентов магистратуры и аспирантуры, которые используют ИИ в учебной, исследовательской и профессиональной деятельности. Материал носит вводный характер и содержит намеренные упрощения. В то же время лекция может быть полезна и более широкой аудитории пользователей ИИ. Буду признателен за замечания и предложения по улучшению.Серия «Базовый минимум» (4 части): Базовый минимум. Часть 1:  большие языковые модели;Базовый минимум. Часть 2:  промпт-инжиниринг (вы здесь);

продолжить чтение

Базовый минимум. Часть 1:  большие языковые модели

Дисклеймер: данная лекция подготовлена в первую очередь для непрофильных студентов магистратуры и аспирантуры, которые используют ИИ в учебной, исследовательской и профессиональной деятельности. Материал носит вводный характер и содержит намеренные упрощения. В то же время лекция может быть полезна и более широкой аудитории пользователей ИИ. Буду признателен за замечания и предложения по улучшению.Серия «Базовый минимум» (4 части): Базовый минимум. Часть 1:  большие языковые модели (вы здесь);Базовый минимум. Часть 2:  промпт-инжиниринг;Базовый минимум. Часть 3:  RAG-системы; 

продолжить чтение

Как мы собирали датасет для разработки ML-инструмента, помогающего спасать жизни

продолжить чтение

Работаем с NLP на Python

На тему Natural Processing Language написано множество статей, однако во многих из них рассказывается о том, как уже используется NLP в различных отраслях. Однако, что делать тем, кто только хочет начать использовать естественный язык для своих задач? В этой статье мы изучим основы обработки естественного языка на Python, используя подход «сначала код», используя Natural Language Toolkit (NLTK).Установка NLTK

продолжить чтение

Как тренироваться и не терять клиентов. Симулятор диалогов с клиентами на основе Искусственного Интеллекта (GigaChat)

Привет, Хабр!Меня зовут Анатолий, я помогаю бизнесу автоматизировать процессы, в том числе применять Искусственный Интеллект в решении реальных задач.ВведениеКаждый продавец знает: одна неудачная фраза - и клиент уходит к конкурентам. Но как отработать навыки общения, не рискуя реальными сделками?

продолжить чтение