На что реально способна LLM или «нестандартные подходы к промптам, которые дают неожиданный результат»

Дисклеймер: В этой статье я хочу кратко (насколько это возможно) на очень простом примере рассказать о том, о чем узнал сам методом экспериментов. Основная мысль статьи: самые лучшие результаты мы получаем не тогда, когда управляем текстом, а тогда, когда мы дерижируем «ритмом текста» и «эмоциями ^[1] читателя». Удивительно, но LLM это умеют делать «на ура».

Дано: В примере «Я — менеджер по продажам систем и методологий бюджетирования».

Задача: Написать письмо руководству о том, что меня достали требования внедрять ИИ в каждую задачу, особенно туда, где мне нравится работать руками.

Шаг 1. Базовая генерация

(этот шаг проходят все, и после него «опускают руки»)

Промпт: Составь мне письмо руководству: меня задолбали с требованиями пихать ИИ во все задачи, даже в те, которые мне нравится делать руками. Я продаю подсистемы и методологию бюджетирования.

Ответ ИИ: «Уважаемое руководство. Хочу обратить ваше внимание на избыточное внедрение ИИ в мои рабочие процессы. Продажа сложных систем бюджетирования требует индивидуального подхода, и мне гораздо эффективнее и комфортнее выполнять часть аналитических задач вручную».

Разбор ответа: Это ровно то, за что половина читателей уже хочет закрыть этот пост, а все посетители Хабра так утомились от ИИ-контента.
В чем же «пластиковость» этого ответа?

• Он банальный, предсказуемый

• Он «гладкий», в нем все слишком разжевано.

• Он безэмоциональный. Директор, прочитав такое письмо, поставит вам дизлайк и закроет письмо, скорее всего закинет его в папку спама

Шаг 2. Управляем структурой текста, «рвем его»

Любой ИИ-детектор анализирует в первую очередь «гладкость повествования». LLM, когда предсказывают следующий токен, всегда делают текст очень… ну та самая гладкость и разжеванность каждой мысли. Скуууучнооо…

А вот корректировка, на удивление, очень простая нужна. Так и попросите модель: «порви текст».

Промпт: Сделай текст не таким гладким, пусть в нем будет рваная структура человеческой мысли.

Ответ ИИ: «Слушайте, насчет этого тотального ИИ… Я продаю методологию бюджетирования, тут нужен живой контакт. А меня заставляют автоматизировать даже то, от чего я реально кайфую — это просто ломает весь процесс».

Разбор ответа: Что же сделала LLM? Она убрала длинные одинакового размера предложения, и начала писать простым человеческим текстом, где-то мысль чуть длиннее, где-то суть уложила в пару слов. Причем эмоциональные слова уже стали читаться ярче, но все еще… скучновато, так как в подаче почти нет никакой новизны. Модель взяла мой промпт и просто его развернула, чуть-чуть добавила человечности, но нет никакой «уникальности».

Шаг 3. Удаление «центроида»

Нейросети стремятся к «центроиду» — самым ожидаемым, усредненным и банальным формулировкам. И так устроена их «регрессивная натура предсказателя следующего токена». Обычно люди с этим предпочитают бороться тем, чтобы «Предложить модели какую-то роль», например «профессиональный маркетолог-зумер» или «продвинутый эксперт по фотожурналистике». Проблема такого подхода простая… Модель сможет занять роль, но выдаст она теперь центроид (банальный ответ) для новой роли. У этой проблемы есть более элегантное решение.

Промпт: Убери «центроид» (самый банальный ответ) и выбери один из ортогональных вариантов, более живых и цепляющих.

Ответ ИИ: «ИИ в каждой клиентской таблице — это перебор. Я продаю архитектуру финансов, а не шаблоны нейросетей, просто оставьте мне мои ручные расчеты».

Разбор ответа: Я бы сказал, что это очень «неочевидное изменение», и как по мне, одно из самых ценных. Модель уже не стала просто «распаковывать мой промпт в более длинный текст», она «кардинально сменила структуру мысли и текста». На этом шаге отлично смотрится вариант «убери центроид и предложи 3-4 полностью ортогональных варианта», тогда модель начнет предлагать реально разные подходы, а вы уже сами сможете выбрать среди них, отталкиваясь от своей авторской чуйки.

Шаг 4. Дирижируем эмоциями

Тут мы начинаем уже «думать нестандартно». Вместо того, чтобы пытаться «исправить текст», мы просто говорим «какую эмоцию ^[2] мы хотим этим текстом вызвать». И, для меня это было в первый раз неожиданностью, но LLM гораздо лучше следует за желанием пользователя, когда он говорит, что должен испытать читатель, в каком он должен быть состоянии, как он должен воспринимать написанный текст.

Промпт: Поправь посыл: сначала погрузи читателя в яркое возмущение, а к концу выведи эмоцию на абсолютный пик.

Ответ ИИ: «Я искренне не понимаю, зачем мы насильно ломаем то, что работает идеально! Заставлять меня генерить письма про клиентские бюджеты через робота — это прямой путь к тому, что я просто сойду с ума от этой синтетики!»

Разбор ответа: Вот этот ответ LLM уже лишен всех первых проблем (предсказуемость, гладкость, безэмоциональность). Тут читатель уже не просто читает, он «переживает» написанное. Начальник, прочитав такое, навряд ли просто закроет и отправит письмо в спам. Он задумается, либо над своим решением, либо над психологической уравновешенностью подчиненного… Да, не все письма будут восприняты так, как нам хотелось бы, но мы добились главного — «письмо цепляет!»

На этом этапе уже прям рекомендую «поиграться с разными эмоциями». LLM может сымитировать почти все, что угодно. Особенно это работает в постах в соцсетях, где пластиковый контент не приносит лайков.

Шаг 5. Переходы между эмоциями

А что еще можно сделать, если мы уже заставили читателя испытать эмоцию? Конечно же – испытать «перепад эмоций». При чтении это самый сильный инструмент, особенно тогда, когда он происходит внезапно.

Промпт: Перепиши так: сначала философское отстранение, потом внезапный переход в яркую эмоцию и резкий обрыв письма на ней.

Ответ ИИ: «Прогресс неизбежен, и алгоритмы рано или поздно заменят нас всех в привычной рутине. Но какого черта вы лезете со своим ИИ в мои любимые таблицы, просто отстаньте от них!!»

Разбор ответа: Вот тут начинается истинное «искусство промптинга». Заставляя модель «писать текст» и «добавлять отступления», вы никогда не сделаете текст эмоциональным. Так как модель все ваши желания просто «усредняет». Однако… стоит попросить модель погрузить читателя в одну эмоцию, а потом резко переключить его в другую… И, на удивление, она это с легкостью воспроизводит. Да, со своими особенностями, но уже в разы лучше, чем все то, что она пишет обычно в ответ на простые запросы. Вот тут уже включается реальная фантазия и управление повествованием. И на запрос «предложи новый вариант…» (с корректировкой состава эмоций и резкости перехода, или управляя силой погружения в эмоции… да-да, вот так просто и нужно писать, не обязательно понимать «как она это делает», чтобы этим пользоваться)… на такой запрос модель начнет предлагать варианты один лучше другого.

P.S. Не буду раздувать статью очень сильно. У меня есть много нестандартных подходов к промптингу, однако… аудитория Хабра очень утомлена такими статьями и навязываться точно не хочется. Посмотрю на обратную связь и подумаю, о чем следует писать (как бороться с галлюцинациями, как заставить модель «вспомнить все», как убрать вежливость и не сломать модели мозг ^[3], как избегать циклов в инструментах, как сделать слабую модель умнее сильной и т.п.)… ну и понять, следует ли писать вообще (вдруг помидорами закидают) =)