Андрей Карпати объяснил, почему LLM — это другой тип разума, а не недочеловек

Бывший директор по ИИ в Tesla Андрей Карпати в своей колонке ^[1] в X предложил смотреть на большие языковые модели не как на “недоделанных людей”, а как на другой тип разума. По его мысли, LLM не находятся на пути к цифровому человеку, а развиваются в принципиально иной эволюционной среде. Людей миллионы лет формировала борьба за выживание, тогда как современные модели оттачиваются на датасетах, метриках и положительных голосах оценщиков.

Карпати пытается ответить на популярный вопрос: почему ИИ может писать сложный код и рассуждать о физике, но при этом иногда проваливается на детских задачах вроде подсчета букв в слове? Его ответ опирается на эволюционную метафору: для животного провал в острых задачах (ошибся с ядовитым растением, не распознал угрозу, не понял сигнал сородича) может стоить жизни и генов. Для LLM провал в подобном тесте почти ничего не значит — модель не “умирает”, ее веса максимум чуть-чуть исправляют, но не убирают из “генофонда”.

Дальше Карпати последовательно разбирает три уровня отличий. Во-первых, это разный носитель: биологический мозг ^[2] с нейронами против трансформера на графических процессорах. Во-вторых, разные механизмы обучения ^[3]: человек складывается из генетики, развития тела и опыта ^[4] в мире, а LLM обучается на корпусах текстов и донастраивается по обратной связи. В-третьих, различается сам режим существования: у человека есть непрерывная биография, тогда как знания модели “замораживаются” после ее обучения. Далее ИИ как бы просыпается в ответ на запрос, обрабатывает его и тут же “умирает” до следующего запроса.

Главным же различием Карпати называет цель оптимизации. Биологический разум формировала естественная эволюция ^[5], где ошибка ^[6] напрямую била по выживанию особи и племени. Языковые модели формирует другая среда: данные, функции потерь, проверки безопасности, оценки разметчиков, продуктовые метрики, “лайки” и “дизлайки” пользователей. Ошибка здесь означает ухудшение качества сервиса, падение рейтингов или блокировку, но не смерть в прямом смысле. В результате получается асимметричный интеллект ^[7]: местами он показывает сверхчеловеческие способности (обработка текста, код, обобщение), а местами демонстрирует странные провалы, если задача не была важной для его коммерческой эволюции.

Из этого Карпати делает прикладной вывод: сравнивать LLM с человеком — изначально строить неправильные ожидания. У моделей не будет здравого смысла, инстинкта ^[8] самосохранения и человеческой интуиции ^[9], если они не заложены в их функцию успеха. По его мнению, пользователи, которые научатся относиться к LLM как отдельного типа разума — без боли ^[10], тела и страха смерти, но с жесткой зависимостью от данных и метрик, — смогут лучше понимать их поведение ^[11] сегодня и точнее угадывать, в какую сторону такие системы будут эволюционировать завтра.

P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть ^[12]“, где я рассказываю про ИИ с творческой стороны.