Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры
В прошлой статье я рассказывал, как прикручивал Ollama к Lumi — это мой лаунчер в духе Spotlight, который умеет отвечать на вопросы без интернета. В конце я пообещал дообучить самую маленькую модель, lumi-mini, и показать, что получится. Добавил ещё «даже если станет хуже». Как в воду глядел.Сразу скажу: я не ML-инженер. Код пишу вместе с Claude, многое по ходу узнаю сам. Поэтому это не туториал, а скорее дневник эксперимента. Зато все ответы модели ниже настоящие, я сохранял каждый прогон.Зачем вообще
SIEM на двух ядрах для 150 хостов и 9B модель на триаже: как устроен самописный AI SOC
Представьте SOC, где языковая модель разбирает каждое сработавшее правило. В идеальных условиях она верно обрабатывает около 60% событий второй линии. Оставшиеся 40% — ложные срабатывания и пропуски, и автоматически реагировать на такой выход нельзя. Команда Александра Кельчина, CTO и CISO Medici Lab, пришла к этой цифре на собственных экспериментах. Потом они перестроили SIEM так, что модель на 9 миллиардов параметров стала давать 96–97% хороших ответов, а вся система держала 150 хостов на двух ядрах CPU.
Сколько Rust помещается в 0.5B
Temper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специализация позволила ей обойти модели крупнее, вплоть до x3 по параметрам. Целью дообучения было проверить возможности крошечной модели в узкой задаче, сравнить с общими того же размера и выше.Первая версия Temper
Хотел свою систему, которую можно менять когда угодно, и сделал три десктопных AI-приложения
Хотел свою систему, которую можно менять когда угодно, и сделал три десктопных AI-приложенияПривет, Хабр! Это моя первая статья, и она про Zeqou: небольшую экосистему десктопных приложений для работы с языковыми моделями. Два приложения уже готовы, третье выйдет совсем скоро. Расскажу, что они умеют, как устроены и с какими неожиданными проблемами я столкнулся.Коротко. Zeqou — это три приложения: чат, рабочее пространство для агентов и студия дообучения моделей. Они бесплатные и работают на Windows, macOS и Linux. Чат и Harness готовы, xtraining выйдет очень скоро.Зачем всё этоЯ всегда хотел иметь
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В третьей части мы собрали LinguaLaboratoriumMechanicus, обучили base-модель на корпусе данных по Warhammer 40K и получили модель, которая умеет продолжать текст. Данная статья целиком посвящена этапу SFT - дообучению на датасете “вопрос - ответ”, чтобы модель могла вести диалог с пользователем, а не просто дописывать за него фразы.Содержание циклаПодготовка и токенизация данныхТрансформер
Как мы научили большую языковую модель говорить на карачаево-балкарском
Рис 0. Демо-чатДавно ничего не писал где-либо: разработка занимает много времени. Надеюсь, наш путь будет кому-либо полезен, особенно тем, кто обучает модельки на малоресурсных языках.Большая в данном контексте - это условно. По сути, взяли
Finetune Lora Qwen3vl и прочие приключения
У меня была видеокарта NVIDIA A100 с максимальным объёмом памяти 79,254 Гб. Нужно было извлечь ключевую информацию (задача Question Answering) из 6 тыс. многостраничных документов. Всего было 15 полей разного типа:
