Коллапс модели при обучении на сгенерированных данных
ВступлениеStable Diffusion произвела революцию в создании изображений по текстовому описанию. GPT-2, GPT-3(.5) и GPT-4 отлично справляются с разнообразными языковыми задачами. ChatGPT познакомил широкую публику с этими языковыми моделями. Сейчас уже ясно, что большие языковые модели (large language models, LLM) никуда не денутся и существенно изменят экосистему текстов и изображений в интернете. Мы изучили, что может произойти с GPT‑{n
