Как машинное обучение объясняет реальный мир
Природа мира склонна повторять себя, например: каждый раз, когда возникает вопрос об эффективном использовании ограниченных ресурсов, мы изобретаем кэши. Компьютеры, иерархии компаний, DNS — все это примеры того, как одни и те же подходы вновь и вновь используются для решения схожих задач. Эта фрактальная природа мира объясняет, почему обучение нейронных сетей так похоже на человеческое: и там и там базовая структура это нейронная сети.
Люди и LLM похожи больше, чем вы думаете. У нас тоже есть системный промпт, контекст и всё остальное
Люди и модели похожи больше, чем вы думаете. Собственно, это и не удивительно, ведь модели для этого и создаются. В идеале они должны когда-нибудь стать вообще неотличимыми от людей. Но как это проявляется сейчас, на данном этапе их развития? И в чем конкретно мы так похожи на них, или они на нас? Подойдем к этому вопросу в терминах, свойственных самим LLM.
Выяснилось, что LLM могут считать, что 9.8 < 9.11, из-за Библии, физики или даже теракта 11 сентября
Исследователи из Transluce – только что анонсированной некоммерческой ИИ лаборатории – создали инструмент Monitor, который поможет людям наблюдать, понимать и управлять внутренними вычислениями языковых моделей. В ходе экспериментов ученые рассмотрели несколько известных задач, в которых LLM традиционно ошибаются, и выяснили, с чем могут быть связаны такие галлюцинации.
