Бесплатный сигнал кривизны для сэмплеров flow matching: он предсказывает ошибку
Flow-модель рисует картинку, интегрируя обыкновенное дифференциальное уравнение, и каждый шаг стоит прохода через большую сеть. Многошаговый сэмплер вроде Адамса-Башфорта и так хранит предыдущую скорость. Косинус между старой и новой скоростью получается бесплатно. Если он близок к 1, траектория прямая и шаг можно увеличить. Если направление резко меняется, шаг нужно дробить.Я хотел превратить эту идею в строгую теорию и проверить её на настоящей модели. Результат вышел менее аккуратным, чем идея, так что отчасти это рассказ о том, какая половина идеи выжила.Коротко:
INT8 не виноват: как мы мерили сэмплеры на квантованных flow-моделях и опровергли собственную идею
Если вы запускаете модели вроде Flux или Qwen-Image на домашней видеокарте, вы почти наверняка используете квантованные веса. И почти наверняка встречали совет: «на квантованной модели не берите навороченные сэмплеры, они накапливают ошибку». Мы решили проверить, правда ли это, и получили результат, который оказался неудобен для нас самих.Коротко:настоящие INT8-ядра ComfyUI добавляют шум, который почти не виден в итоговой картинке;шум этот белый, то есть между шагами не коррелирован, и именно поэтому его усиливают методы высокого порядка;гораздо сильнее влияет выбор сэмплера и CFG;
Бесплатная оценка погрешности и скрытая мощь SA-Solver в ComfyUI: почему адаптивный шаг проиграл, а стохастика победила
ВведениеКаждый, кто заглядывал в выпадающий список сэмплеров в ComfyUI, видел десятки названий: euler, dpmpp_2m, uni_pc, sa_solver. Большинство пользователей переключают их вслепую, полагаясь на субъективные впечатления.Между тем, за каждым сэмплером стоит строгая математика численного интегрирования дифференциальных уравнений (ODE и SDE). Мы с соавтором Егором Юзвинским (который обеспечил проект вычислительными мощностями и участвовал в редактуре экспериментов) задались двумя вопросами:Можно ли в многошаговых схемах диффузии извлекать оценку локальной погрешности
Как мы ускоряли диффузионный декодер TTS
В пайплайне перевода видео в Яндекс Браузере скорость работы в синтезе речи долго оставалась узким местом: одно видео — это сотни фраз, каждая генерируется отдельно, и любая сэкономленная миллисекунда становится заметной в масштабах сервиса.
Flow Matching, 276M параметров и моделирование хаоса: как мы научили генеративную модель Marchuk предсказывать погоду
Введение: взгляд на атмосферу через объектив видеокамерыПривет, Хабр! Мы команда «Генеративный ИИ для видео» лаборатории FusionBrain AIRI — группа исследователей в области Generative AI. Наш основной профиль — модели генерации изображений и видео: пиксели, временная когерентность, латентные пространства, трансформеры и diffusion/flow‑подходы.Мы — не метеорологи. До этого проекта мы не держали в голове уравнения Навье — Стокса и путались в направлениях циклонов и антициклонов. Но однажды мы посмотрели на задачу глобального прогноза погоды под другим углом, и всё изменилось.Если предельно упростить,
Русский культурный код как оценка генеративных моделей
Привет! Когда вышла Nano Banana, я из любопытства попросил её нарисовать сюр на фоне советских панелек — и она нарисовала до безумия залипательную картинку. Она не просто нарисовала панельки, не просто идеально отработала промпт, она точно передала вайб и всю атмосферу.Так родилась идея этого мини-бенчмарка. Не академического, не на тысячи промптов и сотни метрик — а простого, народного и визуального. Чтобы посмотреть картинки рядом и все было сразу понятно: где Шурик взял шарму на ход ноги, а где доктор Ливси спотыкается об поребрик.
T-LoRA: дообучить диффузионную модель на одной картинке и не переобучиться
Вы когда‑нибудь мечтали стать лучшей версией себя? Моложе, красивее, идеальнее… А вот LoRA уже стала!Меня зовут Вера Соболева, я научный сотрудник лаборатории FusionBrain Института AIRI, а также стажер‑исследователь Центра глубинного обучения и байесовских методов НИУ ВШЭ. Cегодня я расскажу про наше свежее исследование T‑LoRA: Single Image Diffusion Model Customization Without Overfitting. Мы с коллегами придумали эффективный способ как файнтюнить диффузионные модели с помощью LoRA всего по одной картинке.
Что я вынес из Oxford Machine Learning Summer School 2025
Mathematical Institute, University of OxfordВдохновлено обзором про похожую школу — EEML.
