Tencent представила диффузионную языковую модель WeDLM 8B Instruct

Tencent выпустила WeDLM 8B Instruct, экспериментальную языковую модель, которая использует диффузионный подход для генерации текста вместо классической авторегрессии. В традиционных LLM текст создается токен за токеном последовательно, тогда как WeDLM сначала формирует «шумное» представление ответа, а затем постепенно очищает его, приближаясь к финальному результату. Такой метод давно применяется в генерации изображений, но для текста до недавнего времени считался слишком неточным и нестабильным.

Главное преимущество WeDLM заключается в скорости. По данным Tencent, в задачах математического рассуждения и логического вывода модель работает в 3–6 раз быстрее, чем Qwen3-8B при использовании оптимизированного инференса через vLLM. Это особенно заметно в сценариях, где важна не только точность, но и время ответа, например в агентных системах, интерактивных помощниках и инструментах для программирования.

Модель содержит 8 миллиардов параметров и ориентирована на инструктивные задачи. Несмотря на нестандартную архитектуру, WeDLM показывает конкурентные результаты на тестах, связанных с пошаговыми рассуждениями и решением формальных задач. Релиз фактически опровергает устоявшееся мнение о том, что диффузионные модели плохо подходят для строгих текстовых доменов и могут использоваться только для креативной генерации.

Отдельного внимания ^[1] заслуживает лицензирование. WeDLM опубликована под лицензией Apache 2.0, что делает ее одной из самых свободных экспериментальных языковых моделей такого класса. Это открывает дорогу к исследовательским проектам, коммерческим прототипам и попыткам интеграции диффузионного подхода в существующие LLM-пайплайны.

Делегируйте часть рутинных задач вместе с BotHub! ^[2] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[3] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[4]