Как я дообучал модель на своих текстах после провала статьи на Хабре
Привет, Хабр.Это будет не типичная статья в стиле «10 причин, почему ИИ уже заменил копирайтеров», а история фэйла с человеческим лицом.Не так давно я выпустил на Хабре статью и вполне заслуженно собрал минусов и комментов, которые были очень в точку. Например
Как заставить LLM ̶ ̶г̶а̶л̶л̶ю̶ ̶ эволюционировать
Привет, Хабр! На связи Олег и Камилла из команды применения больших языковых моделей ecom.tech
LoRA не помогла: как мы дообучали Mistral 7B на русском и что в итоге сработало
Каждый раз после созвона происходит одно и то же самое: кто-то открывает чат и пишет «итак, что мы решили?». Дальше — пятнадцать минут на то, чтобы восстановить то, что только что обсуждали час.Я ML-инженер, и эта боль мне была знакома лично. Когда появилась идея автоматизировать протоколирование встреч, казалось, что задача решаемая: берешь Whisper для распознавания речи, хорошую LLM для суммаризации — и готово.
RAG vs Fine-tuning: когда что выбирать — опыт 30+ проектов
RAG vs Fine-tuningПредставьте: клиент хочет «умного бота для базы знаний». Первый вопрос, который я задаю: «Данные часто меняются?»От ответа зависит архитектура. И бюджет. И сроки. И головная боль на следующие полгода.
Как я сделал классификатор обращений для телеком-поддержки на своей LLM за $10-месяц
Привет, Хабр! Расскажу как я fine-tuned модель Qwen2.5-0.5B для автоматической классификации обращений в службу поддержки, сквантовал её до 350 MB и задеплоил на дешёвый VPS.TL;DR: Модель классифицирует обращения клиентов по intent, category, urgency, sentiment и автоматически определяет куда маршрутизировать тикет. Работает на CPU, данные не покидают ваш сервер.Демо | API DocsЗачем это нужноВ типичной службе поддержки телеком-оператора:60% времени оператора уходит на понимание "а что вообще хочет клиент"
Сублиминальное обучение и инерция весов: Почему нейросети помнят то, что должны были забыть
В предыдущей статье я рассматривал феномен сублиминального обучения, но вопросов было больше, чем ответов. Пришло время разобрать его подробнее. Эксперименты и код ниже.В задачах AI Alignment и безопасности LLM остается актуальным вопрос: гарантирует ли дообучение (fine-tuning) или обучение с подкреплением (RLHF) удаление нежелательной информации?
Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора
Проблема: Галлюцинации в инженерных расчетахЯ занимаюсь расчетами строительных конструкций в комплексе SOFiSTiK. Основной инструмент взаимодействия с ним — внутренний язык CADINP. Это мощный, но старый процедурный язык с жестким синтаксисом: строгая последовательность модулей (AQUA -> SOFIMSHC -> ASE), специфичные команды фиксации узлов и неявные зависимости.SOTA-модели (ChatGPT-4o, Claude 3.5 Sonnet) справляются с CADINP посредственно. Основные проблемы при генерации кода general-purpose моделями:Синтаксический шум: Выдумывание несуществующих аргументов функций.Потеря контекста:
В России разработали метод ускорения настройки базовых станций 5G с помощью ИИ
Российская компания «Криптонит» (входит в «ИКС Холдинг») разработала метод автоматизации настройки ключевых СВЧ-компонентов базовых станций и ретрансляторов сетей 5G с помощью технологий искусственного интеллекта. Разработка поможет ускорить и упростить процесс производства оборудования для сетей пятого поколения, что особенно важно для крупных городов, где требуется быстрая и точная настройка тысяч базовых станций.Работа выполнена по предложению входящей в «ИКС Холдинг» компании YADRO, одно из направлений деятельности которой — разработка и производство телекоммуникационного оборудования операторского класса.
