Как мы адаптировали LLM для русского языка
История про токенизацию, научные статьи и production realityКак мы потратили 2 месяца на адаптацию Qwen3-0.6B для русского языка. Написали систему с нуля на основе 8 научных статей из arXiv. Исправили 6 критических багов (от NaN в fp16 до архитектурных проблем). Получили +35% training speed и +60% inference speed. В этой статье - честный рассказ о том, что не работает из коробки, какие грабли ждут в production, и как мы их обошли.Мы - это я и мой друг =)Как всё началосьАвгуст 2025. Мы работаем над MAWO - системой fine-tuning для русскоязычных LLM. У нас есть модель Qwen3-0.6B. Почему именно 0.6B, а не 8B или 70B?
Production AI сервер за ₽0: полный гайд по сборке ML-станции для Stable Diffusion на б-у комплектующих
Комплектующие для ИИ сервера Я это сделал. За один день.Часть 1: Аппаратная частьВыбор видеокарт: RTX 2060 vs RTX 1060
Градиентный спуск: как «слепой в лабиринте» находит выход в миллиардном пространстве — и почему это сердце любого ML
Пошаговый разбор с метафорами, формулами и лайфхаками, которые спасут ваш fit()
ИИ в 3 фазы… снижение рисков, экономия времени и помощь человеку. Но …— нужно дать пользу уже на первом шаге
«В крупных компаниях ИИ не продается как технология. Он продается как снижение рисков, экономия времени и помощь человеку. Но чтобы его купили — нужно дать пользу уже на первом шаге. Вот как мы сделали это без бюджета, без команды и с одними только идеями»1. Введение: Не про ИИ. Про то, как заставить бизнес поверить в измененияПривет, Хабр!Меня зовут Алексей. Я руковожу направлением искусственного интеллекта в федеральном холдинге. Моя задача — не «внедрить нейросеть», а сделать так, чтобы люди перестали бояться изменений.Раньше сотрудникам требовалось 40–60 минут, чтобы создать документ выбраковки:
Офлайн переводчик на скорости 1000000 символов в секунду
Привет, Хабр!Сегодня хочу рассказать о нашем самом главном продукте офлайн решении для машинного перевода — инструменте, который позволяет компаниям переводить тексты, документы и веб-контент локально, безопасно и на скорости 1 000 000 символов в секунду (на сервере аналогичном 8 x RTX 5090)Почему мы решили сделать это решение
Готовимся к собесу: positional encodings в 2025 году
Если вы до сих пор считаете, что positional encoding в трансформерах — это знаменитые sin/cos из статьи 2017 года, то боюсь, что собеседование для вас закончится автоматическим реджектом.Позиционное кодирование заметно эволюционировало с момента появления оригинальной статьи о трансформерах. В современных LLM и моделях компьютерного зрения, таких как FLUX, уже давно не используется классическое sin/cos-кодирование.Про это почему-то не знают 80% кандидатов на интервью, хотя, казалось бы, эта информация уже давно перешла в разряд «базовой классики».
Оптимизация нейронных сетей для AI — переводчика
Всем привет! Меня зовут Алексей Рудак, и я – основатель компании Lingvanex, которая уже 8 лет занимается решениями в области машинного перевода и транскрипции речи. В этой статье рассматриваются несколько подходов, которые помогают повысить эффективность и качество языковых моделей для перевода. В качестве основы для тренировки моделей мы используем OpenNMT-tf.
Обзор техник RAG: Retrieval Augmented Generation
Рассмотрим техники построения и улучшения RAG систем: от нарезания текстов на куски, до продвинутых способов улучшения качества ответа.Этим блогом можно пользоваться как шпаргалкой для проектирования своего RAG-а и/или для подготовки к собеседованиям.Все полезные ссылки и материалы, на которые я опирался будут в конце.Что такое RAG и зачем нуженRAG - это фреймворк взаимодействия предобученной LLM с базой знаний. То есть при ответе LLM на запрос пользователя модель отвечает используя актуальный контекст из базы и свои pre-trained знания.
Vision Transformer-применение трансформеров в задачах компьютерного зрения
Привет, чемпионы! 🎉 Готов окунуться в мир Vision Transformer (ViT) и узнать, как трансформеры, изначально созданные для обработки текста, завоевали признание в компьютерном зрении? Тогда приступим!Данная работа полезна, если для вас "внимание-это все, что вам нужно" и вас интересует, как стали использовать трансформеры в других областях глубокого обучения.ВведениеСверточные нейронные сети (CNN) долгое время были основой компьютерного зрения, эффективно справляясь с задачами классификации и детекции объектов. Однако у них есть свои ограничения:Локальность обработки
