Пространственное внимание на RTX 3050: эксперимент с контекстом 16K
Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?Для проверки появился SpatialLM-Mini — прототип на Python и PyTorch с тремя архитектурами: пространственным вниманием, обычным Transformer и гибридом. На RTX 3050 с 8 ГБ VRAM пространственный вариант обучался в 2,47 раза быстрее нашего Transformer при контексте 16 384 токена. Но он использовал больше выделенной памяти, а отдельную пользу геометрии этот опыт пока не доказывает.
Длинный контекст в open‑source моделях 2026 и обвязка под него
Привет, Хабр! Я Владимир Лушин, делаю ИИ‑агенты и инструменты для работы с кодом. Статья, вроде, серьёзная, но с пуделями. Так уж вышло, что дрессировка собаки объясняет внимание в LLM понятнее любых формул с softmax.
Ещё один конкурент Jev: SubQ Snap обрабатывает 100K токенов примерно за секунду
Компания Subquadratic представила SubQ Snap, мультимодальную модель для принятия решений внутри AI-агентов. Контекстное окно составляет 384K токенов, в 12 раз больше, чем у Jev. По заявлению разработчиков, обработка запроса на 100K токенов и получение решения занимают примерно секунду.Это первый новый продукт компании после июньского анонса SubQ 1.1 Small
LongConspectWriter: автоматическая генерация структурированных конспектов лекций на потребительском GPU
АннотацияАвтоматическая генерация структурированных академических конспектов из аудиозаписей лекций по точным и естественным наукам затруднена для локальных малых языковых моделей (small language models, SLM). Транскрипт лекции продолжительностью ≈1,5 ч составляет около 15–20 тыс. токенов и формально умещается в контекстное окно современных локальных SLM, однако при обработке такого контекста single-call SLM систематически деградируют: теряют фрагменты из середины последовательности, не удерживают структуру и галлюцинируют термины и формулы. Это проявление эффекта Lost in the Middle
DeepSeek выпустил V4 — открытую модель с контекстом в миллион токенов
Сегодня DeepSeek опубликовали две новые модели: V4-Pro и V4-Flash. Обе работают по архитектуре Mixture-of-Experts, веса доступны на Hugging Face под MIT-лицензией.
Возвращение RAG в 2026 году
В прошлом году я попытался «убить» RAG в продукте, который мне был важен.У нас был retrieval-пайплайн, который в целом работал, но раздражал. В нём случались всплески задержек, были пограничные случаи, которые мы не могли воспроизвести, и копился бэклог правок: лучшее разбиение на фрагменты, более точные фильтры, более качественный реранкинг, более хорошие оценки (evals).Потом стало проще покупать большой контекст и проще его оправдывать. Искушение было очевидным: если мы просто будем вставлять больше текста в промпт, то сможем выкинуть пайплайн, убрать онколл и выкатить всё в прод.
Антипаттерн LLM-приложений: когда модель игнорирует контекст. Часть 2
Всем привет! В первой части мы разобрали теорию
Почему «больше токенов ≠ лучше» или Как научить LLM работать с длинным контекстом
Всем привет! Меня зовут Наталья Бруй, я промпт-инженер в MWS AI. Вместе с моей коллегой Анастасией Тищенковой мы решили ответить на вопрос, который мучает нашего пиарщика
