Бесплатный сигнал кривизны для сэмплеров flow matching: он предсказывает ошибку
Flow-модель рисует картинку, интегрируя обыкновенное дифференциальное уравнение, и каждый шаг стоит прохода через большую сеть. Многошаговый сэмплер вроде Адамса-Башфорта и так хранит предыдущую скорость. Косинус между старой и новой скоростью получается бесплатно. Если он близок к 1, траектория прямая и шаг можно увеличить. Если направление резко меняется, шаг нужно дробить.Я хотел превратить эту идею в строгую теорию и проверить её на настоящей модели. Результат вышел менее аккуратным, чем идея, так что отчасти это рассказ о том, какая половина идеи выжила.Коротко:
INT8 не виноват: как мы мерили сэмплеры на квантованных flow-моделях и опровергли собственную идею
Если вы запускаете модели вроде Flux или Qwen-Image на домашней видеокарте, вы почти наверняка используете квантованные веса. И почти наверняка встречали совет: «на квантованной модели не берите навороченные сэмплеры, они накапливают ошибку». Мы решили проверить, правда ли это, и получили результат, который оказался неудобен для нас самих.Коротко:настоящие INT8-ядра ComfyUI добавляют шум, который почти не виден в итоговой картинке;шум этот белый, то есть между шагами не коррелирован, и именно поэтому его усиливают методы высокого порядка;гораздо сильнее влияет выбор сэмплера и CFG;
Бесплатная оценка погрешности и скрытая мощь SA-Solver в ComfyUI: почему адаптивный шаг проиграл, а стохастика победила
ВведениеКаждый, кто заглядывал в выпадающий список сэмплеров в ComfyUI, видел десятки названий: euler, dpmpp_2m, uni_pc, sa_solver. Большинство пользователей переключают их вслепую, полагаясь на субъективные впечатления.Между тем, за каждым сэмплером стоит строгая математика численного интегрирования дифференциальных уравнений (ODE и SDE). Мы с соавтором Егором Юзвинским (который обеспечил проект вычислительными мощностями и участвовал в редактуре экспериментов) задались двумя вопросами:Можно ли в многошаговых схемах диффузии извлекать оценку локальной погрешности
Flow Matching: обучение и дистилляция
Рисунок 1. Примеры возможностей генеративных моделей: из шума появляются изображения, видео, звук и другие сложные объектыFlow Matching
Flow Matching, 276M параметров и моделирование хаоса: как мы научили генеративную модель Marchuk предсказывать погоду
Введение: взгляд на атмосферу через объектив видеокамерыПривет, Хабр! Мы команда «Генеративный ИИ для видео» лаборатории FusionBrain AIRI — группа исследователей в области Generative AI. Наш основной профиль — модели генерации изображений и видео: пиксели, временная когерентность, латентные пространства, трансформеры и diffusion/flow‑подходы.Мы — не метеорологи. До этого проекта мы не держали в голове уравнения Навье — Стокса и путались в направлениях циклонов и антициклонов. Но однажды мы посмотрели на задачу глобального прогноза погоды под другим углом, и всё изменилось.Если предельно упростить,
Революция в генерации изображений открывает новые подходы к созданию реалистичных картинок с помощью нейронных сетей
Команда российских ученых, работающих в МФТИ, Иннополисе и Сколково, совершила научный прорыв в области генеративного моделирования — создании новых изображений, похожих на настоящие фотографии или рисунки. Они разработали новый метод, который значительно ускоряет и упрощает процесс генерации в теории и на практике. Их результаты опубликованы в материалах конференции NeurIPS 2024.
