Смогут ли LLM заменить продуктовых и маркетинговых исследователей?

В предыдущей статье ^[1] я пытался определить пределы применения LLM в решении творческих и исследовательских задач в широком смысле. В этой статье я хочу рассмотреть эти пределы в конкретной области, продуктовых и маркетинговых исследований в бизнесе.

В области бизнес-исследований есть задачи, которые LLM уже сейчас выполняют вполне успешно, и есть задачи, с которыми они справляются хуже или не справляются вовсе. Цель этой статьи — понять, какие задачи и какие исследовательские подходы могут быть полностью автоматизированы, а где участие человека остаётся необходимым даже в будущем, когда LLM достигнут своего предела, при условии, что их архитектура принципиально не изменится.

Исследования в позитивистской традиции

В позитивистской логике ^[2] познание понимается как способ получения объективного знания о мире. Исследовательские подходы рассматриваются как техники, с помощью которых это знание извлекается из реальности. Различия между ними носят исключительно инструментальный характер: подходы отличаются точностью, скоростью или стоимостью.
Неявно при этом предполагается, что социальная реальность объективна, проблемы, цели и ценности людей — это данность, существующая независимо от исследователя. Нужно лишь выбрать правильный метод исследования, который позволит обнаружить нужную сущность в сознании исследуемых людей.

Например, в методе Кано предполагается, что свойства продукта уже осознаются пользователем и могут быть соотнесены с его удовлетворённостью по заданной шкале. То есть ещё до начала исследования зафиксированы ключевые различения: какие свойства релевантны и как именно они связаны с восприятием ^[3] ценности. Этот же подход приводит к тому, что глубинные интервью становятся похожи на нечто среднее между допросом и анкетированием. Предполагается, что интервью должно следовать жёстко заданному плану, чтобы ответы разных информантов можно было однозначно сопоставлять, обобщать без интерпретации. Информант при этом рассматривается как носитель уже существующего знания, которое нужно извлечь из его головы, задав правильный вопрос. А исследователь выступает как своего рода следователь или детектор лжи, задача которого отделить «истинные» ответы от искажённых.

Конструктивистская позиция

В дальнейших рассуждениях я буду исходить из того, что исследовательские подходы не являются нейтральными инструментами. Каждый подход уже неявно содержит в себе определённое знание о мире: набор различений, через которые этот мир становится наблюдаемым и описываемым.

Поясню эту мысль через метафору. Вопросы принято делить на «открытые» и «закрытые», будто между ними проходит чёткая граница. Но эта бинарность условна: любой вопрос задаёт рамку, то есть систему различений, через которую будет описана ситуация. Она может быть более или менее широкой, но полностью исчезнуть не может. Даже если формулировка звучит максимально приглашающе («Расскажите, что для вас важно при выборе кофе?»), в ней уже заложены предмет («кофе»), контекст выбора и предположение о том, что у человека есть осознанные критерии.

Целое исследование устроено аналогично. Это тот же вопрос к миру, только увеличенный на несколько порядков. Формулировка цели, набор метрик и способ сбора данных очерчивают невидимый контур, который невозможно преодолеть в результатах исследования. Отсюда бессмысленность извечной битвы «количка против кача». Опрос с чекбоксами это ультраузкий кадр, глубинное интервью это широкоугольник. Различие не в типе подхода, а в степени фрейминга и в том, какой фрагмент реальности внутри уже существующей системы различений вы пытаетесь заполнить.

Классификация исследовательских подходов

Познание социальной реальности в таком подходе это не извлечение готовых фактов, а работа с различениями, которые делают эти факты возможными: люди не «видят мир как есть», а проводят различия (между важным и неважным, удобным и неудобным, ценным и бесполезным) и через них конструируют воспринимаемую реальность. Соответственно, исследование это всегда конкретный способ работы с различениями, и этот способ определяется уровнем познания: на разных уровнях различения либо принимаются как заданные, либо уточняются по правилам, либо могут быть поставлены под вопрос и пересобраны.

В рамках этой логики можно выделить три уровня познания со своим набором исследовательских подходов:

• Уровень 1. Исследования как наполнение матрицы знания

• Уровень 2. Исследования как формирование матрицы знания

• Уровень 3. Исследования как создание матрицы знания

Под «матрицей знания» здесь понимается система различений, через которую описывается реальность: какие сущности выделяются, какие свойства им приписываются и какие связи считаются допустимыми. Это и есть та невидимая рамка, внутри которой становятся возможны «факты» и их интерпретация. Далее рассмотрим каждый из этих уровней подробнее.

Уровень 1: исследование как наполнение знания

На этом уровне различения заданы заранее и представлены в операционализированном виде как конкретные атрибуты, метрики или категории. Они воспринимаются как непосредственные характеристики реальности, не требующие уточнения. Исследование сводится к получению наблюдений заданного типа и применению фиксированной процедуры, на выходе которой получается «факт» — числовое значение или категория, напрямую соответствующая заранее заданной системе различений.

При этом здесь отсутствует обратная связь с самой реальностью на уровне различений: данные могут меняться, но система различений не корректируется и не проблематизируется. Несоответствия интерпретируются как шум, ошибка ^[4] измерения или недостаток данных, а не как повод пересмотреть сами основания, через которые описывается ситуация.

К этому уровню относятся подходы, в которых заранее определено, какие данные собираются и как они будут интерпретированы. Это:

• Любые исследования, основанные на описательной или байесовской статистике: воронки продаж, пирамиды здоровья бренда, индексы конверсии, NPS, CSI, оценки эффективности рекламных кампаний, модели приоритизации фичи (Кано, MaxDiff, TURF) и тд

• Исследования, основанные на t-тестах и ANOVA: разовые A/B-тесты для сравнения предзаданных вариантов и оценки влияния изменений на поведение ^[5] пользователей.

• “JTBD-интервью”, “проблемные и решенческие CustDev-интервью”, юзабилити-тестирование — не имеют под собой явной психологической или социологической базы, но в силу стремления получать объективные и повторяемые результаты по сложившимся практикам неявно ближе всего к качественному контент-анализу (высокая структурность, минимальная работа по интерпретации высказываний информанта).

• Ценовые исследования (Van Westendorp, Gabor-Granger, Conjoint) — описательная статистика и регрессионные модели.

Задачи этого уровня в своей основе не требуют LLM вообще, большинство из них можно было автоматизировать и раньше, поскольку система различений здесь заранее задана и не проблематизируется, а значит сводится к линейным алгоритмам с фиксированной процедурой. Ограничение было не принципиальным, а инженерным, так как многие такие процедуры сложно было формализовать в единой нотации, поэтому их проще было выполнять вручную. LLM в этом контексте не создают новый класс возможностей, а лишь снимают издержки формализации и позволяют воспроизводить те же алгоритмы без явного программирования.

Переход к следующему уровню обычно начинается с расхождения между метриками и реальностью. Например, NPS формально высокий, но клиенты продолжают уходить. На уровне 1 это объясняется техническими причинами: возможно, неправильно выбран момент измерения, не учтены доверительные интервалы, есть ошибки в выборке и т.д. Исследователь остаётся внутри заданной системы различений и пытается «починить» процесс измерения. Однако если такие корректировки не дают результата, возникает более радикальный вопрос: что именно мы измеряем? Что в данном контексте означает «лояльность» и как она связана с реальными бизнес-исходами? В этот момент проблема перестаёт быть технической и становится концептуальной ^[6]. Это и есть переход к следующему уровню.

Уровень 2. Исследования как формирование матрицы знания

На этом уровне есть понимание, что различения не заданы заранее и не являются данностью, а формируются и уточняются в процессе исследования. Исследование направлено на поиск такой конфигурации различений, которая наилучшим образом соответствует наблюдаемой реальности, поэтому появляется обратная связь: категории уточняются, формулировки меняются, модель подстраивается под данные. Объективность и строгая повторяемость перестают быть единственной целью, допускается интерпретация, а значит возрастает роль исследователя, его насмотренности, опыта ^[7] и способности видеть значимые различия. При этом границы остаются: метод задаёт допустимые способы работы с различениями и ограничивает глубину их изменения.

К этому уровню относятся исследования, в которых обязательны интерпретация и постепенное уточнение различений в процессе анализа, хотя и в рамках заданной методологической логики, т.е. основанные на абдуктивном анализе, конструктивистской обоснованной теории Чармаз, рефлексивным тематическом анализе Браун и Кларк. При этом исследования, основанные на жёстко формализованных подходах, таких как качественный контент-анализ по Майрингу, сюда не попадают.

Типичные формулировки исследований этого уровня связаны с построением и уточнением моделей, например «построение модели принятия решений пользователем в контексте продукта» или «построение и уточнение концептуальной модели продукта, рынка или пользователей». В количественных исследованиях сюда можно отнести сегментацию ЦА в сложных продуктах, где отсутствуют однозначные решения и требуется исследовательская интерпретация: решение о применении факторного анализа для сокращения размерности, определение количества кластеров и интерпретация полученных сегментов.

Такие исследования принципиально реализуемы на LLM, но для этого требуется вмешательство в параметры модели, а не только работа на уровне входного текста, поэтому подходы, основанные на промптинге или Retrieval-Augmented Generation (RAG), здесь недостаточны. А вот LoRA (Low-Rank Adaptation) и Representation Engineering (RepE) выглядят подходящими кандидатами: они позволяют модифицировать веса или активации модели и тем самым уточнять уже используемую систему различений, то есть корректировать семантическое поле, в котором модель интерпретирует данные. Кроме того, эти подходы уже на существующем железе могут выполняться за разумное время.

Метод исследования вместе с неявным знанием исследователя, выраженным в интуиции ^[8] и насмотренности, позволяет в цикле обратной связи уточнять систему различений и приближать её к реальному миру, если предположить, что такой мир существует. Однако этот процесс имеет предел, поскольку сам метод уже является системой различений и тем самым задаёт границы того, какие изменения вообще возможны. О достижении этого предела свидетельствует ситуация, когда новые итерации перестают давать содержательные изменения: они либо воспроизводят банальности, либо производят глупости. При этом изнутри самой системы это невозможно проблематизировать: банальности воспринимаются как здравый смысл, а любая новизна как ошибка. В этом смысле, если бы LLM обладала сознанием, она также не смогла бы понять, что галлюцинирует, потому что, находясь внутри собственной семантической системы, она воспринимала бы свои ответы как корректные, а любые выходы за её пределы как бессмысленные или ошибочные. Понять, что ты «галлюцинируешь», можно только сделав объектом анализа не результат своей работы, а самого себя как исследователя, то есть включив в обратную связь собственную систему различений. Это и есть переход к следующему уровню

Уровень 3. исследования как создание матрицы знания

На этом уровне система различений перестаёт восприниматься как заданная или подлежащая лишь уточнению и сама становится объектом исследования. Исследователь работает не только с данными, но и с тем, через что они осмысляются, что позволяет ставить под вопрос исходные категории, пересматривать понятия и создавать новые различения. При этом он перестаёт стремиться к устранению собственной субъективности и начинает рассматривать её как неотъемлемую часть процесса познания. Исследование принимает форму герменевтического круга, в котором в обратную связь включается сама модель, а не только её результат, поэтому меняются не отдельные элементы, а система различений в целом, вместе с тем, какие факты вообще могут быть сформулированы.

В исследованиях этого уровня такие распространенные понятия как «проблема», «ценность», «продукт», не принимаются как заданные, а ставятся под вопрос и анализируются. Исследование направлено не на описание ситуации внутри существующей рамки, а на выявление и пересборку самой рамки, которая определяет, что вообще может считаться фактом. Типичные формулировки таких исследований связаны с анализом поля различений: «анализ того, как стратегические задачи трансформируются при переходе к операционным решениям», «анализ языка, через который в компании описываются успех и неуспех», «анализ культурных кодов, которые воспроизводит бренд в своей коммуникации». На практике исследования такого типа чаще встречаются в крупных и зрелых компаниях ^[9].

С методологической точки зрения ^[10] к этому уровню могут относиться исследования, основанные на мультимодальном семиотическом анализе Кресса, критическом дискурсивном анализе, фукоянском дискурсивном анализе и др. Однако сами по себе методы не определяют уровень, один и тот же подход может использоваться и на предыдущем уровне, если он используется, не затрагивая саму рамку, а лишь разворачиваясь внутри неё. Уровень определяется тем, становится ли объектом анализа сама система различений.

Реализация исследований этого уровня в LLM требует способности включать в обратную связь саму систему различений, то есть изменять семантическое поле в процессе работы. На текущей архитектуре LLM это технически невозможно, поскольку модель не имеет механизма, позволяющего делать собственную систему различений объектом устойчивой и управляемой трансформации в ходе одного и того же исследовательского процесса.

Можно попытаться симулировать такую обратную связь, связав две или более модели в замкнутый итеративный контур, где одна модель генерирует результат, а другая выполняет функцию критики, интерпретации или переосмысления и возвращает его на вход первой. Такие архитектуры уже реализованы и применяются на практике в виде self-reflection и multi-agent. Однако в этом случае возникает не полноценная обратная связь второго порядка, а её приближение, поскольку обе модели функционируют в рамках одной и той же системы различений. Это можно рассматривать как «обратную связь порядка 1.5». Поэтому современные LLM не могут самостоятельно проводить исследования этого уровня, например анализировать дискурсивные рамки организации и выявлять принципы того, как в компании формулируются проблемы. В то же время они могут выступать мощным инструментом для исследователя, который занимается таким исследованием.

Выводы

Если система, способна оперировать другими системами, то нет причин почему она не может построить репрезентацию системы самой себя. В терминах Дугласа Хофштадтера это можно рассматривать как форму сознания. Однако LLM в их текущей архитектуре принципиально не способны к этому, поскольку не могут сделать собственную систему различений объектом устойчивой трансформации и включить её в полноценную обратную связь.

В то же время уже в ближайшей перспективе LLM смогут полностью выполнять исследовательские задачи первого уровня, а позже и задачи второго уровня. При этом именно исследования первого и второго уровня составляют подавляющее большинство того, что сегодня в индустрии называется бизнес-исследованиями. Это означает, что основной объём текущей исследовательской работы будет автоматизирован.

Прогнозы

Построить прогноз того, что из этого всего следует для индустрии бизнес-исследований тянет на новую статью, здесь в качества тизера обозначу несколько как мне преставляется разумных прогнозов:

• большинство того, что сегодня называется исследованиями, станет коммодити и будет доступно за небольшие деньги широкому кругу компаний. Конкуренция сместится в сторону стратегических, брендинговых и культурных исследований, которые требуют работы с системой различений и сегодня доступны только крупным и зрелым организациям.

• утратит смысл текущее разделение исследовательских ролей. Вместо UX-ресёрчеров, CX-менеджеров, продуктовых аналитиков и маркетинговых исследователей появится новая роль, своего рода “филосов-исследователь”, занимающийся координацией ансамбля из LLM-агентов с разными профилями (CX, UX, PM, маркетинг и тд)

• будет размыта граница между практиками из бизнеса и теоретиками из академии. Работа на уровне систем различений предполагает активное конструирование знания, а не его пассивное извлечение из данных, и требует способности к философскому и методологическому мышлению ^[11]. В этих условиях традиционное разделение на «прикладные» и «теоретические» роли становится менее релевантным.

Литература

1. Anna Madill, Abbie Jordan and Caroline Shirley. Objectivity and reliability in qualitative analysis: Realist, contextualist and radical constructionist epistemologies, 2000.

2. Carla Willig. Introducing Qualitative Research in Psychology, 2008.

3. Louise H. Kidder, Michelle Fine. Qualitative and Quantitative Methods: When Stories Converge, 1987.

4. George Rossolatos. Handbook of Brand Semiotics, 2015.

5. Theo van Leeuwen. Introducing Social Semiotics, 2005.

6. Морозов А. За пределами фичей и метрик: место концептуализации в разработке продуктов, 2025.

7. Морозов А. Эпистемологические пределы искусственного интеллекта ^[12] в его современном понимании, 2025.

8. Морозов А. Уровни зрелости функции исследований в организациях, 2025.

9. Цоколов С. Дискурс радикального конструктивизма: Традиции скептицизма в современной философии и теории познания, 2000.

10. Ханс-Георг Гадамер. Истина и метод, 1960.

Регулярно пишу в Телеграм-канале Chief Philosophy Officer ^[13]  и VK группе ^[14] о философии бизнеса . Заходите.