Мало собрать корпоративную ИИ-песочницу. Надо ещё, чтобы ею начали пользоваться

Сначала о том, что такое песочница

Слово «песочница» у нас означает не одну программу, а набор opensource сервисов внутри периметра компании, вокруг общих вычислительных мощностей с видеокартами. Данные наружу не уходят, всё считается на своём железе. Все решения проверены и одобрены отделом информационной безопасности и устранены все критические замечания в коде каждого сервиса.

Что там есть.

Портал-витрина. Одна страница, на которой видны все сервисы и статус каждого. Звучит как мелочь, но именно она снимает главный вопрос новичка: куда вообще идти. До портала мы отвечали на него вручную, много раз.

Чат с моделями. Основной инструмент, через него проходит почти вся ежедневная работа. Внешне похож на любой знакомый чат-интерфейс: слева история и папки, сверху выбор модели, снизу поле ввода. Внутри чуть больше: можно перетащить PDF или DOCX прямо в диалог, разветвить разговор, задать один вопрос двум моделям сразу и сравнить ответы, собрать себе ассистента с готовым системным промптом и базой знаний. Там же генерация изображений.

Каталог моделей. Витрина всего, что развёрнуто: характеристики, под какие сценарии годится, текущий статус. Плюс калькулятор памяти ^[1], который отвечает на вечный вопрос «а эта модель вообще влезет с таким контекстом».

Доступ по API. Совместимость с привычным протоколом, так что любой инструмент, умеющий работать с внешними моделями, подключается сменой адреса и ключа. Ключи пользователь заводит себе сам, в интерфейсе.

Сервис генерации презентаций. Отдельная штука: на вход промпт, на выходе готовая структура и оформленные слайды.

Транскрибация. Расшифровка записей встреч и звонков. Плюс синтез речи, то есть текст можно и озвучить.

Низкокодовая автоматизация. Конструктор цепочек «событие, шаги, обращение к модели» без разработки. Мост для тех, кто хочет автоматизировать рутину, но не готов писать сервис.

Плюс распознавание текста на картинках, поиск по документам и прочая обвязка, которая нужна, чтобы всё вышеперечисленное работало.

Собиралось это постепенно, по принципу «сначала простое, но работающее». Первая версия была совсем скромной.

А потом наступила тишина

И вот всё готово. Портал открыт, модели крутятся, доступ у всех желающих.

Пользуется отдел, который это собрал, и человек 100 энтузиастов.

Знакомая картина, наверное, для всех, кто делал что-то внутреннее. Мы решили не растягивать её на год и сделали четырёхнедельный интенсив «Лето в ИИ-песочнице». Формально обучение ^[2]. Фактически распакова песочницы на всех, кто заинтересовался.

Почему рассылка бы не сработала

Стандартный сценарий внедрения такой: письмо «коллеги, у нас теперь есть ИИ», ссылка на портал, вебинар на двести человек, инструкция в базе знаний, галочка в плане.

Конверсия известная. Процентов пять, причём ровно те люди, которые и без вас бы разобрались.

Дело не в информировании. Между «я знаю, что инструмент есть» и «я решаю им рабочую задачу» лежит барьер, который берётся только руками. Человек должен один раз сам загрузить свой файл, получить в ответ ерунду, разозлиться, переформулировать и получить нормально. Всё, после этого он пользователь. До этого нет, хоть десять вебинаров проведи.

Поэтому мы делали не курс. Мы делали поводы открыть песочницу.

Как был устроен интенсив

Четыре недели, четыре спринта, каждый с нарастанием уровня владения ИИ.

Первая неделя: знакомство и навигация. Загрузить документ, задать первые запросы, разобраться, какие сервисы вообще есть.

Вторая: как модель обрабатывает запрос и как писать промпты. Почему разные модели по-разному хороши.

Третья: визуализация. Промпт под структуру презентации, генерация слайдов, создание изображений.

Четвёртая: ИИ как помощник. Работа с расшифровками встреч, системный промпт, свой ассистент с базой знаний, разговор про агентов.

В каждом спринте гайд, вебинар с внутренним экспертом, два-три задания. В конце проектный экзамен с жюри.

Важно, что маршрут проходил через разные сервисы. Первая неделя это чат, третья это генерация презентаций и картинок, четвёртая это транскрибация и ассистенты. К концу человек успевал потрогать почти всё, что есть на портале, причём не по инструкции, а решая свою задачу.

Уже после 2й недели начали получать такую обратную связь: «Интенсив уже ПУШКА! Простые (очень простые шаги), которые многие до сих пор не делали, потому что не знали с чего начать. Или им просто было неинтересно. А когда хоть немного попробуешь сам что-то сделать, хотя бы элементарное, то просыпается аппетит и уже осознанная тяга к продолжению! Причем, кайф именно в практике (потому что сухая теория – скучна всегда, а здесь теория скучна вдвойне, потому что очень сложная для понимания:)). Я начал рисовать картинки с помощью ИИ уже несколько лет назад – да, интересно, но в нашей работе это не применишь ведь. А все вокруг говорят про то, что ИИ скоро нас заменит. Как заменит, картинками? Нет. А как? А никто не понимает. Точнее, не понимал. Теперь начинаем понимать. Ура! Если мы научимся хотя бы что-то полезное делать на таких моделях, которые доступны нам сейчас, то позже на более современных моделях мы будем вообще кайфовать (потому что они реально умнее и делают всё лучше). Главное, что мы начали догонять уже уходивший поезд :)»

Что оказалось важнее содержания

Содержание, если честно, вторично. Гайд по промптингу можно взять любой. Работает механика.

Задания только на своих рабочих документах. Учебных кейсов мы почти не давали. Формулировка была такая: возьмите письмо, договор, инструкцию, презентацию или запись встречи, с которыми реально работаете. Второе задание первой недели так и называлось, «Сэкономь 30 минут в неделю».

Учебный пример учит проходить учебные примеры. Свой документ учит работать. Плюс человек сразу видит выгоду в своих часах, а не в возможностях технологии вообще.

Отдельно, крупно и несколько раз мы писали: работать с реальными рабочими файлами внутри контура безопасно, с ИБ согласовано. Без этой фразы половина принесла бы что-нибудь стерильное и ничего бы не поняла.

Проверял задания ИИ-бот. Участник отправлял историю диалога, бот оценивал и начислял баллы по прозрачной схеме: сделал, балл; успел к дедлайну, балл; использовал фрейм из гайда, балл; использовал все инструменты, ещё балл. Дополнительно расписывал обратную связь и давал рекомендации по улучшению. 

Ручная проверка съела бы команду целиком. Ну и получилась ирония, которая всем нравилась: задания про работу с ИИ проверяет ИИ.

Попытки были не одноразовые, можно переделать и сдать снова, в зачёт шёл лучший результат. Хотя балл за сам факт и за срок фиксировались по первой попытке, иначе все бы тянули до последнего.

Рейтинг и призы. Понимаю, что геймификация, слово, от которого многие морщатся. Но факт: публичная таблица и дедлайн заставляют открыть инструмент в понедельник, а не «как-нибудь потом». А после третьего раза человек открывает уже сам.

Пред-тест и пост-тест один и тот же. В начале короткий тест на понимание, как работает ИИ. Через месяц ровно тот же самый. Нам это дало измеримый результат вместо ощущения «вроде зашло», участникам возможность увидеть свой прогресс в цифрах. Второе мотивирует сильнее.

Рефлексия в конце каждого спринта. Три-пять минут, анонимно, без баллов. Что получилось, что нет, где застряли. Мы читали и правили следующий спринт на ходу. Этим интенсив и отличается от записанного курса: курс в середине не починишь.

Что вышло удачно скорее случайно

Весь дополнительный контент мы делали в самой песочнице. Саммари вебинара, расшифровку встречи, аудиоподкаст по ней же, статью для одного из заданий. И каждый раз публиковали промпт, которым это сделано.

Получилась непрерывная демонстрация: вот результат, вот как он получен, повторите у себя. Убедило сильнее любого вебинара про возможности. Одно дело слайд «модель умеет делать саммари». Другое, саммари той встречи, на которой ты вчера сидел, плюс подкаст по ней, который можно послушать по дороге.

Ещё завели общую базу промптов. Открытый борд, куда складывали свои примеры и лучшие находки участников. К концу интенсива это был уже работающий актив. Ради него, в общем-то, всё и затевалось: обучение кончится, а база останется.

Про экзамен

Финальное задание сделали проектным. Выбрать реальный процесс из своей работы, собрать под него ассистента с системным промптом и базой знаний, протестировать, доработать и сделать отчёт-презентацию «как я его создавал».

Критерии оценки важнее самого задания. Жюри (и да, тут уже подключились реальные люди) смотрело не столько на итог, сколько на процесс: как выбирались задачи, как ассистент тестировался, что участник сам увидел как плюсы и минусы, что планирует доделать. В анонсе мы написали прямым текстом: не делайте отчёт для галочки, ценится честная рефлексия, даже если помощник получился так себе.

Эффект был неожиданный. Люди перестали прятать неудачные итерации и начали показывать путь целиком: было так, протестировал, не работает, поменял ограничение, стало лучше.

А это ровно тот навык, ради которого всё затевалось. Промптинг, это не знание волшебной формулы. Это привычка итерировать.

Что бы я сделала иначе

Первое: сделала бы легче. Четыре недели плотных заданий поверх основной работы, это много. Обязательных надо было оставить меньше, бонусных больше.

Второе: раньше подключила бы разных экспертов. Вебинары у нас вели пять разных сотрудника: про песочницу, про то, как работают модели, про презентации, про безопасность, про агентов. Сработало заметно лучше одного спикера на весь курс, но поняли мы это к третьей неделе.

Третье: развела бы уровни. Тем, кто уже живёт в чатах с моделями, первый спринт был скучноват. Тем, кто открыл впервые, четвёртый оказался тяжёл. Два трека напрашивались, но мы не решились.

Главное

Собрать песочницу это примерно треть задачи. Остальные две трети образовательные.

Сервисы разворачиваются за недели. А привычка сотрудника начинать задачу с вопроса «что из этого можно отдать модели?» за месяцы. И только через практику на своих задачах, других способов пока не нашли.

И считать успех надо не по числу прошедших обучение. Считать надо, сколько людей продолжает открывать песочницу через месяц после того, как призы вручили. Вот эту цифру мы сейчас и смотрим.

Интенсив делали вместе: отдел ИИ, обучение и внутренние коммуникации. Спасибо коллегам, которые вели вебинары, и участникам за честную рефлексию, из которой мы планируем сделать второй этап марафона.