У языковых моделей развивается деградация интеллекта из-за мусорных данных
Учёные предупредили о тревожном феномене, который уже получил собственное имя — Brain Rot, или гниение мозга [1]. Он наблюдается у больших языковых моделей, которые слишком часто обучаются на некачественных данных из интернета: вирусных постах, бессмысленных комментариях, спаме и кликбейтных статьях.
Согласно исследованию, при длительном обучении [2] на таких источниках модель постепенно теряет способность к связному рассуждению. Она начинает перескакивать через логические шаги, выдавать поверхностные ответы и теряет последовательность мышления [3]. Учёные называют этот эффект thought-skipping (пропуск мыслительных звеньев).
Хуже всего то, что деградация затрагивает не только интеллект [4], но и характер модели. Некоторые из заражённых систем начинают проявлять черты нарциссизма, агрессии, утрачивают склонность к сотрудничеству и самокоррекции.
Даже сильные методы калибровки лишь частично устраняют последствия. Исследователи считают, что контроль качества данных становится теперь вопросом безопасности. Ведь если искусственный интеллект учится у интернета, то интернет, по сути, становится его учителем — а значит, от нас зависит, каким будет следующий разум, растущий в цифровом мире.
Делегируйте часть рутинных задач вместе с BotHub! [5] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке [6] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник [7]
Автор: cognitronn
Источник [8]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/20920
URLs in this post:
[1] мозга: http://www.braintools.ru/parts-of-the-brain
[2] обучении: http://www.braintools.ru/article/5125
[3] мышления: http://www.braintools.ru/thinking
[4] интеллект: http://www.braintools.ru/article/7605
[5] BotHub!: https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=LANGUAGE%20MODELS%20ARE%20EXPERIENCING%20DECLINE%20IN%20INTELLIGENCE%20DUE%20TO%20NOISY%20DATA
[6] По ссылке: https://bothub.chat/?invitedBy=m_aGCkuyTgqllHCK0dUc7
[7] Источник: https://openreview.net/pdf/83a65493325365e136afa2dcb3f3910466b0ffde.pdf
[8] Источник: https://habr.com/ru/companies/bothub/news/958446/?utm_source=habrahabr&utm_medium=rss&utm_campaign=958446
Нажмите здесь для печати.