Flow Matching, 276M параметров и моделирование хаоса: как мы научили генеративную модель Marchuk предсказывать погоду
Введение: взгляд на атмосферу через объектив видеокамерыПривет, Хабр! Мы команда «Генеративный ИИ для видео» лаборатории FusionBrain AIRI — группа исследователей в области Generative AI. Наш основной профиль — модели генерации изображений и видео: пиксели, временная когерентность, латентные пространства, трансформеры и diffusion/flow‑подходы.Мы — не метеорологи. До этого проекта мы не держали в голове уравнения Навье — Стокса и путались в направлениях циклонов и антициклонов. Но однажды мы посмотрели на задачу глобального прогноза погоды под другим углом, и всё изменилось.Если предельно упростить,
Седиментация для памяти ИИ-агентов: помнить главное, даже забывая детали
Большие языковые модели делают вид, что решают задачу памяти. На практике они решают задачу контекста: чтобы ответ был связным, модели нужна информация о том, что было сказано только что, час назад, в прошлой сессии.Индустрия справилась с этим блестяще. Контекстные окна выросли до сотен тысяч токенов. Retrieval-Augmented Generation подтягивает релевантные фрагменты из внешних баз. Векторные хранилища позволяют ИИ «помнить» переписку за годы.
Три компромисса, от которых мы отказались: AI в дневниковом исследовании
Дневниковое исследование - один из самых информативных методов в качественном арсенале. Респонденты фиксируют поведение в реальном времени, в естественном контексте, без эффекта интервью. Но у информативности есть цена: метод требует от команды больше ресурсов, чем почти любой другой. Десятки респондентов, у каждого отдельный чат, в который ежедневно приходят текстовые записи, фотографии, голосовые сообщения, видеокружочки. Данных много, и это известно заранее - ещё на этапе проектирования.Поэтому три компромисса закладываются в дизайн исследования задолго до старта поля:
Смогут ли LLM заменить продуктовых и маркетинговых исследователей?
В предыдущей статье
97 часов на одной RTX 4090: MoE с подключаемыми экспертами, самодистилляция и почему перплексия — плохая метрика
Меня зовут Борисов Павел, занимаюсь ML-исследованиями. Последние месяцы ковырялся с архитектурой MoE, где эксперты подключаются поверх замороженной модели. 22 эксперимента на одной RTX 4090, ниже разбор что получилось.Что за архитектураБерём предобученную языковую модель и замораживаем целиком, ни один вес не меняется. К каждому MLP-слою прикручиваем маленький обучаемый модуль, «эксперт». Сверху маршрутизатор — линейный слой на 37 тысяч параметров, который для каждого токена выбирает эксперта.
97 часов на одной RTX 4090: как я учил нейросеть улучшать саму себя — и что пошло не так
Всё началось с простой идеи: что если подключать к языковой модели новые «навыки» как приложения к смартфону — без переобучения, без деградации, за полчаса? Я потратил 22 шага экспериментов и 97.5 GPU-часов на одной видеокарте, чтобы это проверить. Архитектура заработала идеально. А потом выяснилось, что модель, которая говорит на языке математики, совершенно не умеет решать задачи. Это история о том, как красивая метрика обманула исследователя, и как модель в итоге нашла выход сама.Меня зовут Борисов Павел, занимаюсь ML-исследованиями в BorisovAI
Детерминированная нейросеть на конечных группах: эксперимент с XOR
Введение: проблема недетерминизмаПопробуйте запустить обучение простой PyTorch модели 10 раз на одних и тех же данных:import torch import torch.nn as nn # Одна и та же архитектура model = nn.Sequential( nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 2) ) # 10 запусков с разными seed for seed in range(10): torch.manual_seed(seed) train(model, train_data) acc = evaluate(model, test_data) print(f"Run {seed}: accuracy={acc:.2%}") # Output: # Run 0: accuracy=95.2% ← Разные результаты! # Run 1: accuracy=96.8% # Run 2: accuracy=94.5% # ...
OpenRouter выкатили огромное исследование: как реально используют LLM (анализ 100 трлн токенов)
В исследовании изучили 100 трлн токенов живого трафика через OpenRouter (300+ моделей, 60+ провайдеров, миллионы пользователей, до ноября 2025 года).Ключевые выводы 👇Open source закрепился на ~30% и привёл с собой Китай.Открытые модели стабильно держат около трети токенов. Особенно выросли китайские OSS (DeepSeek, Qwen, Kimi): с ~1–2% до до 30% трафика в отдельные недели, в среднем ~13%.
Momentum Attention: когда внимание получает инерцию
В классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.Внимание распределяется мгновенно:Именно этот механизм сделал трансформеры тем, чем они стали.Но вот в чём проблема - внимание не имеет памяти.
