Как я сделал классификатор обращений для телеком-поддержки на своей LLM за $10-месяц
Привет, Хабр! Расскажу как я fine-tuned модель Qwen2.5-0.5B для автоматической классификации обращений в службу поддержки, сквантовал её до 350 MB и задеплоил на дешёвый VPS.TL;DR: Модель классифицирует обращения клиентов по intent, category, urgency, sentiment и автоматически определяет куда маршрутизировать тикет. Работает на CPU, данные не покидают ваш сервер.Демо | API DocsЗачем это нужноВ типичной службе поддержки телеком-оператора:60% времени оператора уходит на понимание "а что вообще хочет клиент"
Сублиминальное обучение и инерция весов: Почему нейросети помнят то, что должны были забыть
В предыдущей статье я рассматривал феномен сублиминального обучения, но вопросов было больше, чем ответов. Пришло время разобрать его подробнее. Эксперименты и код ниже.В задачах AI Alignment и безопасности LLM остается актуальным вопрос: гарантирует ли дообучение (fine-tuning) или обучение с подкреплением (RLHF) удаление нежелательной информации?
Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора
Проблема: Галлюцинации в инженерных расчетахЯ занимаюсь расчетами строительных конструкций в комплексе SOFiSTiK. Основной инструмент взаимодействия с ним — внутренний язык CADINP. Это мощный, но старый процедурный язык с жестким синтаксисом: строгая последовательность модулей (AQUA -> SOFIMSHC -> ASE), специфичные команды фиксации узлов и неявные зависимости.SOTA-модели (ChatGPT-4o, Claude 3.5 Sonnet) справляются с CADINP посредственно. Основные проблемы при генерации кода general-purpose моделями:Синтаксический шум: Выдумывание несуществующих аргументов функций.Потеря контекста:
В России разработали метод ускорения настройки базовых станций 5G с помощью ИИ
Российская компания «Криптонит» (входит в «ИКС Холдинг») разработала метод автоматизации настройки ключевых СВЧ-компонентов базовых станций и ретрансляторов сетей 5G с помощью технологий искусственного интеллекта. Разработка поможет ускорить и упростить процесс производства оборудования для сетей пятого поколения, что особенно важно для крупных городов, где требуется быстрая и точная настройка тысяч базовых станций.Работа выполнена по предложению входящей в «ИКС Холдинг» компании YADRO, одно из направлений деятельности которой — разработка и производство телекоммуникационного оборудования операторского класса.
Как Claude научился файн-тюнить опенсорсные LLM
Claude получил возможность файн-тюнить языковые модели с помощью нового инструмента под названием Hugging Face Skills. Не просто писать скрипты для обучения, а реально отправлять задачи на облачные GPU, следить за прогрессом и пушить готовые модели на Hugging Face Hub. В этом туториале показано, как это работает и как использовать самому.Claude Code умеет использовать "скиллы" — упакованные инструкции, скрипты и доменные знания для выполнения специализированных задач. Скилл hf-llm-trainer
Fine-tune Qwen3 за написание позитивных отзывов о ресторанах
Генератор отзывов о ресторане:Собрано около шестнадцати тысяч положительных отзывов от ресторанов с оценкой выше 4,7 (из 5), расположенных в Москве. Подробнее на .Использованная модель — Qwen3-4B (версия Qwen3, поддерживающая русский язык). Для обучения модели в течение двух эпох использовалась библиотека Unsloth с LoRA (Low-Rank Adaptation — метод тонкой настройки больших языковых моделей). В результате был выбран LoRA 32-го ранга, и обучено 66 миллионов параметров. Теперь модель способна генерировать качественные новые обзоры.
«Господин Говорунъ: как я обучил маленькую модель разговаривать на дореформенном русском»
Немного контекстаПоследние месяцы мы в команде развиваем проект Manuscript OCR - открытую библиотеку, которая учит нейросети читать рукописные документы XIX века. Это сложный материал: дореформенная орфография, нестабильный почерк, архивные артефакты.Кому интересны технические детали - отдельная статья про Manuscript OCR уже есть на Хабре.Работая над этим проектом, я всё больше погружался в дореформенный язык: тестировал модели, прогонял страницы, сравнивал орфографические варианты. И в какой-то момент возник вполне естественный вопрос:
Как мы сделали аналитику контакт-центра на LLM в 7 раз дешевле
ВведениеМы устали слушать звонки.Не из-за любопытства - просто это занимало слишком много времени.Из 5 минут разговора рождались 20 минут отчёта в Excel, где человек вручную отмечал:«вежлив ли оператор», «упомянул ли цену», «отработал ли возражение».Мы построили систему, которая делает это автоматически:Whisper → QLoRA → отчёт → BI.Она оценивает звонки, считает метрики и не жалуется на переработки.Анализ стоит $0.0003 за звонок, и работает это лучше, чем ожидалось.Но не идеально.вот обновлённый фрагмент раздела 1. “От Excel к первому прототипу”
