Как нанимаем, грейдируем и решаем типовые задачи prompt-инженеров в Точке

За два года в Точке мы построили свой департамент работы с ИИ, где создали новую роль — prompt-инженер. За первые полгода довелось поработать над самыми разными кейсами: от классификации данных до разработки ИИ-ассистентов. Для этого пригодился опыт и маркетолога, и копирайтера, и инженера АСОИУ. Даже довелось поучаствовать в генерации синтетических данных для ML-инженеров, где особенно важно понимать основы Data Science. 

И пришло понимание — пора нанимать ещё.

Привет! Меня зовут Екатерина Шихиева, я лидер prompt-инженеров в Точке. Сейчас у меня отлажен процесс найма, грейдирования и менторинга prompt-инженеров. Но всё это креативно и легко только на словах, в реальности эти процессы имеют много подводных камней, о которых и расскажу в статье.

Как мы работаем с LLM

LLM — это большие языковые модели, такие как ChatGPT, Claude, Gemini, Qwen, YandeхGPT.

Важно понимать, LLM — не универсальный инструмент, у него есть ограничения. Особенно если мы говорим про узкую тематику: например, российское законодательство и бухгалтерский учёт. Это специфичные знания, на которых даже коммерческие западные модели не обучались. Поэтому карта МИР для них — это географическая карта, а не платёжная система, а УСН, НДС и НДФЛ — примерно одно и то же. Конечно, можно использовать российские модели, но их всё равно нужно дообучать. 

• Ещё один момент связан с безопасностью. Мы довольно большая финтех-компания и строго следим, чтобы персональные данные клиентов и сотрудников не отправлялись в сторонние LLM и внутренние модели. Для этого используем инструменты маскирования данных. И это не наша внутренняя хотелка, а реальные требования законодательства — за нарушения может прилететь штраф.

Чем вообще занимаются prompt-инженеры

Многие до сих пор представляют prompt-инженера как персонажа с картинки, который сидит где-то на удалёнке в пижаме, переписывается с ChatGPT и делает «волшебные промпты» для контента Telegram-каналов.

На деле всё иначе. Prompt-инженер — это:

• Аналитик, который умеет разложить задачу по косточкам.

• Копирайтер, способный точно формулировать запрос.

• Исследователь, который не боится экспериментов.

• Разработчик, когда речь идёт о пайплайнах, синтетике, переработке данных или тонкой настройки моделей.

А главное — это человек, который работает на стыке задач: бизнеса, дизайна, ML и пользовательского опыта. Так что промптинг — это не просто болтать с моделью. Это про системное мышление, креатив и много тестов на реальных данных.

В Точке prompt-инженеры решают ряд прикладных задач:

• Исследуют гипотезы: проверяют идеи на жизнеспособность, определяют, можно ли закрыть задачу с помощью LLM и какие технологии будут нужны. Без этого команда потратит месяцы на нерентабельные гипотезы.

• Контролируют затраты: без оптимизации легко сжечь бюджет на ненужных токенах: например, из-за длинных промптов или бесконечных запросов в API. Prompt-инженер снижает эти затраты за счёт проектирования архитектуры взаимодействия с LLM, грамотной настройки запросов, кэширования и управления контекстом. 

• Выбирают модель: она напрямую влияет на стоимость и производительность. Многие берут OpenAI o3 для продвинутых рассуждений, не анализируя альтернативы, а prompt-инженер помогает подобрать LLM с нужным балансом качества, скорости и цены.

• Отвечают за гибкость и масштабируемость: LLM регулярно обновляются, а промпты, которые работали вчера, могут сломаться завтра. Prompt-инженер проектирует систему так, чтобы можно было легко адаптироваться к новым моделям без ущерба для бизнес-логики.

• Обеспечивают высокое качество ответов: LLM — это не поисковик и не Википедия. Она уверенно выдаёт ответы, даже если они ложные. Prompt-инженер настраивает модель так, чтобы свести количество галлюцинаций к минимуму (но не к нулю 😞).

• Работают с корпоративными знаниями: LLM не владеет внутренними данными. С помощью RAG можно загружать нужные знания, но без грамотной настройки (фрагментация, индексация, поиск) ответы всё равно будут нерелевантными. Здесь prompt-инженер работает с командой над разметкой данных и корректировкой текстов для модели.

• Занимаются тестированием и отладкой: это один из главных поглотителей времени. Prompt-инженер разрабатывает тестовые датасеты на сотни кейсов — до встраивания, после встраивания, когда уже выкатили на клиента и надо понять, что пошло не так. Анализ логов и проверка кода — обязательная часть работы. 

• Ведут документацию: важно передавать опыт и накопленные знания по работе с LLM, внутренними инструментами, поэтому стремимся документировать все исследования гипотез и разработку LLM-based решений, готовим методики по работе prompt-инженеров, по оценке качества ответов LLM для использования в командах.

Продолжать этот список можно ещё долго. Например, у нас практически нет задач, связанных с генерацией креативного контента. В основном prompt-инженеры занимаются автоматизацией бизнес-процессов и запуском LLM-based сервисов. 

Одна из типовых задач — это парсинг данных. У нас есть Точка Ассистент, который живёт в интернет-банке и автоматизирует рутинные процессы. Поэтому одно из тестовых заданий для кандидатов — написать промпт для извлечения структурированной информации из запроса пользователей: например, периода. Великий и могучий русский язык тут часто вставляет палки в колёса, потому что «с первого числа», «по первое число», «за первое число» — всё это имеет разный смысл 🙃

Ещё один пример продукта с большим количеством задач для prompt-инженера — Точка Ассистент для бухгалтера. С точки зрения пользователя всё просто: Ассистент обрабатывает вопрос по налогообложению и генерирует ответ со ссылками на правовые документы. Но за всем этим стоит развёрнутая архитектура: промпты для классификации запросов, оценки источников, обработки фактической информации и генерации ответов. Отдельное направление работы — подготовка текстов для RAG.

Для создания Точка Ассистента для бухгалтера нам нужен был человек с образованием в области лингвистики или филологии. Он должен был уметь работать с текстами, знать специфику взаимодействия с LLM, быстро разбираться в незнакомой теме, уметь проектировать схему работы продукта, находить общий язык с разработчиками и писать промпты на английском и русском языке. Но главное — осознавать, какую боль решает Ассистент и чего действительно ждёт от него бухгалтерская аудитория. 

Мы искали такого человека четыре месяца. Когда опубликовали вакансию под портрет, к нам посыпались повторные отклики кандидатов с прошлого найма. Тогда мы искали технарей с опытом в разработке, и многие не прошли по общей оценке хардов. Когда в новой вакансии мы снизили требования к технической подготовке, те кандидаты, у кого в портфолио есть пара-тройка статей с GPT, решили попробовать свои силы ещё раз. Но планка по навыкам промптинга единая для всех вакансий, так что эти соискатели снова не смогли пройти тестовое задание. А мы в итоге наняли профессионального редактора и билингва с родным английским языком. 

Почему так сложно найти хорошего prompt-инженера

Как вы уже поняли, идеальный prompt-инженер — почти что единорог. Он должен владеть языками (русский, английский), знать Python, RAG, при этом разбираться в бизнесе, чтобы работать с узкопрофильными задачами. И обязательно иметь базовые знания по архитектуре языковых моделей (LLM), основам машинного обучения, безопасности и этики ИИ.

Для удобства мы разделили prompt-инженеров на специализации: PE-архитектор, PE-разработчик, PE-редактор, PE-креатор, PE-универсал, PE-тренер. Подробнее об этом можно почитать в статье.

Обычно у джуна ярко выражена какая-то одна специализация. Чтобы поднять грейд и увеличить доход, нужно изучить другие. Пока у нас не было случаев, чтобы PE-редактор выучил Python и стал PE-разработчиком, но те же редакторы часто идут в тренеры или универсалы. Поэтому ребята уровня middle+ часто имеют уже три-четыре специализации.

Полное описание всех портретов и грейдов можно найти по ссылке.

Несмотря на то, что к джунам требования довольно лояльные, найти хороших специалистов всё равно трудно, потому что:

• Рынок плохо понимает, чем вообще занимаются prompt-инженеры: многие считают, что если я работал в ChatGPT и переделал свою фоточку в стиле куклы барби, то я prompt-инженер. На самом деле, конечно, этого мало. Нужно уметь работать с LLM по API, применять RAG, Function Calling, проектировать архитектуру решений и сценариев взаимодействия с LLM.

• Prompt-инжиниринг воспринимается как лёгкий вход в IT: несколько лет назад то же самое было с QA-инженерами. Все хотят попасть в IT-компанию, даже не имея базового понимания, чем придётся заниматься.

• Должность называется по-разному: prompt-инженер, AI-тренер, AI-продакт-менеджер, AI-разработчик, AI-инженер, AI-аналитик, AI-ресерчер, AI-креатор — все указывают по-своему, но по факту кандидат пишет промпты или системы промптов для LLM, проектирует решения и дополнительно выполняет обязанности по смежной роли. 

• В Точке есть разделение по специализациям: мы стараемся публиковать портретные вакансии и описываем, чем человек будет заниматься. Но всё равно часто случается так, что на вакансию PE-разработчика откликаются редакторы-универсалы с бизнес-опытом, которые плохо понимают код.

• Не все оценивают свой уровень реалистично: у нас есть грейдирование по разным специализациям. В вакансиях мы указываем вилку зарплат до middle+, но откликаются ребята, которые только-только начали работать и уже хотят получать как middle+, не обладая соответствующими навыками. 

Наши итоги найма

В 2024 году из 219 кандидатов до тестового задания дошли 67 человек, оффер получили 15 — в итоге все были приняты. 

Большинство кандидатов «отвалилось» на этапе звонка с рекрутером, потому что не вписались в портрет или не дотянули по навыкам. В таком случае мы даём обратную связь и говорим, над чем ещё нужно поработать. С перспективными ребятами остаёмся на связи и можем вернуться к ним в будущем, когда они немного прокачаются или у нас появится подходящая вакансия. 

За первые шесть месяцев 2025 года устроили пока только пять человек — большинство кандидатов не прошли этап тестового.

Вообще тестовое считается моветоном в IT-комьюнити, но оно помогает определить портрет кандидата и его актуальные навыки. У нас примерно 90-95% ребят соглашаются на тестовое. Многие воспринимают его как вызов и возможность проверить свои навыки, познакомиться с задачами и инструментами, о которых слышали отдалённо или только видели в спецификации. 

На выполнение тестового обычно даём одну неделю. За это время кандидаты успевают разобраться с инструментами, потренироваться в Playground, сравнить решение на разных моделях. Конечно, есть те, кто использует ChatGPT и просто копирует получившийся промпт. Но это видно сразу, потому что результаты от модели всегда примерно одинаковые.

Есть кандидаты, которые хотят сделать задание по-быстрому без нормальных тестов и проработки. И те, кто отсеивается из-за невнимательности, потому что все подсказки и пасхалки есть в ноутбуке с тестовым. В любом случае мы даём подробную обратную связь каждому кандидату и указываем на ошибки. 

Кандидаты с опытом ML-инженеров или Python-разработчиков часто акцентируют внимание на программировании, вместо того чтобы сосредоточиться на проработке промптов и тестировании. В ответах встречаются короткие и обобщённые инструкции — без детализации под конкретный бизнес-контекст и пользовательский сценарий, часто без форматирования и с орфографическими ошибками. Задачи на function calling воспринимаются как обычные функции, без учёта специфики взаимодействия с моделью. В итоге мы получаем полностью переписанный тестовый ноутбук, в котором практически нечего оценивать с точки зрения промптинга 😢

Если подытожить, абсолютному большинству кандидатов не хватает:

• Базовых знаний архитектуры языковых моделей и основ машинного обучения.

• Опыта работы с Playground и хотя бы OpenAI API, понимания и опыта использования Function Calling / Tools Calling, RAG, Structured outputs, других типовых подходов.

• Понимания бизнес-контекста и поведения пользователей.

• Умения работать с tone of voice и редполитикой.

• Базовых знаний программирования.

• Навыков тестирования, отладки, анализа и работы с метриками.

• Знания иностранных языков (английский нужен не ниже уровня B1).

• Грамотности, знания пунктуации и синтаксиса.

Последний пункт может показаться пустяком, но это не так. Многие слышали, что LLM «понимают с ошибками» — возможно, но это не работает, когда требуется добиться минимум 95% точности на большом трафике. Орфография и синтаксис — это не только про эстетику, но и про управляемость генерации.

Многие пока не считают prompt-инжиниринг полноценной профессией и «вешают» задачи промптеров на другие роли. Но мы в Точке убедились: эти специалисты — ключ к успешным LLM-решениям. Надеюсь, мне удалось поделиться с вами нашим опытом подбора prompt-инженеров и вы мудро воспользуетесь этой информацией!