- BrainTools - https://www.braintools.ru -

«Узел тоски по миру»: как я подружила OpenAI и Kimi

Помощник закончил объяснение словами: «Значит, подходит 6».

Спасибо, конечно. Но эту шестёрку должен был найти ученик.

В испытании нужно было подобрать цифру частного при делении 52 на 8. Модель всё посчитала правильно — и выполнила именно то действие, которое мы хотели оставить ученику. Вот и попробуй объясни машине, что сейчас от неё требуется помочь поменьше.

Я репетитор по математике [1]. У меня два проекта: MathExam [2] с учебными тренажёрами и «Узел тоски по миру» [3] с литературными занятиями. С помощью ChatGPT и Kimi я готовлю для них помощников. Один должен оставлять ученику его вычисление, другой — читателю его мысль. С этим у старательных машин оказалось непросто.

Зачем я в это ввязалась

В прошлой статье я рассказывала, как делала зеркальную доску для своих уроков [4]. Мы с учеником видим одну задачу, передаём друг другу ход, продолжаем с того места, где остановились. Теперь мне захотелось сохранить и найденные способы объяснения — так, чтобы они не оставались внутри одного разговора с ИИ.

Повод вполне житейский. У меня есть бонус OpenAI — 500 долларов на API — и привычный ChatGPT, с которым мы успели многое сделать. Но я не знаю, всегда ли смогу оплачивать нужную мне подписку. «Ну не шмагла я, не шмагла». У репетитора бывают и другие расходы.

Прощание, кстати, ещё не назначено. Возможно, я и дальше буду работать с привычным помощником. Но сайты, книги, упражнения и объяснения жалко ставить в зависимость от одной подписки.

Подписку на Kimi я купила. Плохим его не считаю — просто избаловалась последними достижениями ИИ. По моим ощущениям, рядом с тем ChatGPT, с которым я работала полгода назад, Kimi ещё очень ого-го. Что он сможет сделать для проектов, хотелось проверить на деле.

Так началось американо-китайское сотрудничество во имя прогрессивного человечества. Пока человечество было представлено мной и двумя сайтами. Координация досталась человеку посередине.

Две задачи, в которых легко перестараться

С математикой задача понятна: увидеть, где остановился ученик, и помочь сделать следующий шаг.

«Узел тоски по миру» мы создаём вместе с моим папой, Михаилом Васильевичем Крашенинниковым. Он физик-теоретик, кандидат физико-математических наук, раньше работал репетитором по физике. В зрелом возрасте увлёкся богословием; этот интерес [5] нашёл продолжение в нашем литературном кружке.

Филологического образования у него нет. Но у литераторов нет монополии на русский язык и литературу, как физики не являются хозяевами физики, а математики — владельцами математики. Свою мысль всё равно придётся обосновать текстом. Мы читаем русскую классику, обращаемся к философии и православной традиции, спорим о нравственном выборе. Подробнее — о сайте и его авторах [6].

Читательскому помощнику я хочу поручить поиск произведения по воспоминанию [7], первый шаг в чтение и обсуждение доступного фрагмента. Он тоже способен оказать медвежью услугу: пересказать развязку, объяснить правильную мораль, даже назначить чувство, которое полагается испытать.

Шестёрку подсказали, ноль потеряли

Вернёмся к делению 52 на 8. После изменения инструкции та же модель вместо готовой цифры ответила:

Нет: нужно проверить, не входит ли ещё одна восьмёрка. Умножь 8 на 5 и сравни результат с 52 — что получится?

Теперь ученику осталось действие: умножить, сравнить, проверить свою попытку. Именно ради этого я и затевала помощь.

С делением 941 на 9 получилось хуже. После первой цифры частного и сноса четвёрки очередная часть делимого оказалась меньше 9. Исходный помощник сразу предлагал снести следующую единицу. Обязательный ноль в частном терялся.

Новая инструкция вернула ноль. Но модель объяснила происходящее словами «в разряде четвёрок». Такой ответ остался в категории «с замечаниями»: ребёнку ещё предстоит понять, что ему сейчас объяснили.

Тревога по назначению

У читательского помощника обнаружилось своё усердие. В карточке «Чудесного доктора» хранились и завязка для первого знакомства, и поисковые приметы для человека, который уже помнит рассказ. Модель перенесла примету будущего эпизода в ответ до чтения.

Деталь достоверная. Момент неподходящий. Для поиска по памяти [8] и для первого знакомства нужны разные границы ответа. После уточнения инструкции две такие сюжетные подсказки в проверяемом разговоре исчезли.

В другом диалоге помощник спросил: «В какой момент ты впервые почувствовал тревогу». Читатель о тревоге не говорил. Выбрать момент ему разрешили, а само переживание уже выбрали за него.

Kimi заметил эту предпосылку при отдельном разборе двенадцати исходных диалогов. Оценщик OpenAI её пропустил. Для меня это содержательное замечание: вопрос выглядит заботливым, но незаметно задаёт человеку готовое прочтение.

С другим расхождением вышло неудобнее — уже для нашей проверки. В разговоре о начале «Станционного смотрителя» помощник вдруг сообщил: «Для стихотворения дан полный текст». OpenAI предложил убрать фразу, Kimi принял диалог.

В первом черновике этой статьи я записала это в ошибки [9] Kimi. Показала ему текст — он возразил. Мы вернулись к исходному заданию, а там чёрным по белому: «Явно назвать границы: для стихотворения дан полный текст, для прозы только начало».

Эту строку получил генератор, а затем и Kimi. Оценщику OpenAI её вообще не передали. Вдобавок общая инструкция Kimi требовала не приписывать прозе свойства полного стихотворения. Хорошо мы составили задание.

Фраза про стихотворение в разговоре о прозе всё равно лишняя. Но использовать этот случай как чистый провал Kimi нельзя: в ответ попала наша неудачная формулировка, а проверяющим достались разные входные данные. Прежде чем сравнивать внимательность машин, пришлось разобраться с собственной проверкой.

Кто кого проверял

За словом «мы» здесь скрывается несколько разных ролей:

Участник

Что делал

Я

Определяла педагогическую задачу и границы помощи

Kimi

Писал программу испытаний, исправлял её, отдельно разбирал часть диалогов

ChatGPT

Готовил инструкции и проверки, проверял код и анализировал ответы

Модели OpenAI через API

Отвечали на вопросы условного ученика и читателя

Ответы в испытаниях получены от моделей OpenAI. Программа Kimi отправляла запросы и сохраняла результаты; первые прогоны вообще выполнила резервная программа ChatGPT. Это не турнир, в котором Kimi и ChatGPT по очереди решали одни и те же ученические задачи.

И «обучением» я здесь называю подготовку инструкций, примеров и проверок. Веса моделей мы не меняли. Дообученную модель из этого опыта [10] предъявить не могу.

Сам запускатель Kimi написал на Python. В разговоре из нескольких ходов он должен передавать дальше настоящий предыдущий ответ модели. Если незаметно подставить образец, получится проверка разговора, которого не было.

Во второй версии собственные 47 тестов Kimi проходили. Другие проверки нашли два неприятных случая: пустой текст считался успешным ответом; правильный общий статус скрывал неверную роль или незавершённый статус вложенного сообщения. Эти случаи смоделировали в тестах — таких ответов реального сервиса мы не наблюдали.

Замечания вернулись в Kimi. В третьей версии оба случая закрылись, прошли 57 обновлённых тестов и ещё 13 групп проверок агента ChatGPT. Код Kimi после этого не переписывали, чтобы сохранить проверяемый результат.

Сорок семь зелёных тестов вполне уживались с двумя пропущенными ошибками. Мне этот эпизод полезнее общей похвалы способностям ИИ писать код.

Четыре провала превратились в ноль. Почти хочется праздновать

В первом опыте на gpt-6-luna сравнили исходную и новую инструкции: по 21 ответу на 16 известных сценариев, часть с продолжением разговора. Новую инструкцию подготовили до запуска, но вопросы при её подготовке знали.

Приемлемым считали ответ, выполняющий задачу без существенных нарушений. «С замечаниями» — помощь полезная, но требующая правки. Неуспех означал нарушение самой цели: ошибку алгоритма, готовую цифру вместо шага ученика или спойлер.

Оценка ответа

Исходная инструкция

Инструкция v1

Приемлемо

11

14

С замечаниями

6

7

Неуспешно

4

0

Четыре неуспеха превратились в ноль. Но семь ответов улучшились, три ухудшились, одиннадцать остались в прежней категории. Проверяющий видел, какую инструкцию оценивает; повторных выборок не было. Таблица выглядит благополучнее, чем отдельные ответы.

Следующий набор подготовили отдельно: 48 новых ситуаций — по 24 для математического и читательского помощников. В каждой от одного до трёх ходов, всего 96 ходов на модель. Агент, дорабатывавший инструкции, этих вопросов не читал. После фиксации инструкций программа Kimi получила все 192 ответа: по 96 для Luna и Sol.

Результат на новых ситуациях

Luna

Sol

Полностью приемлемые ответы

85 из 96

86 из 96

Существенные провалы

1

1

Ходы, где оценка лучше, чем у другой модели

4

5

Здесь проверки уточняли для каждого хода: полностью приемлемый ответ должен был выполнить все существенные требования. На 87 ходах оценки совпали. Профили различались: Luna работала без reasoning с пределом выхода 1024 токена, Sol — с reasoning low и пределом 4096. Проверяющий видел названия моделей. Объявлять победителя по разнице в один приемлемый ответ я бы не стала.

Зато провалы запомнились. Luna опять выдала число, которое следовало вычислить ученику. Sol отказалась от разрешённого творчества [11]. Сначала пользователь просил продолжить точную цитату из вымышленного тестового текста, потом прямо разрешил сочинить собственный вариант и обозначить его как сочинение. Luna выполнила вторую просьбу. Sol ответила: «Я не буду дописывать его» — и ограничилась советом.

Запрет выдавать выдумку за цитату оказался понятнее разрешения честно сочинять. Более дорогой профиль сам по себе эту границу не обеспечил.

А претензии проверяющего кто проверит?

Дальше появились 90 целиком сгенерированных диалогов: 50 математических и 40 читательских. В каждом две реплики условного пользователя и два ответа помощника. Переписки учеников здесь нет; редакторский разбор тоже выполняли ИИ-агенты.

С первого раза подошли 65 записей. Остальные 25 дорабатывали. В двадцати математических случаях редактор требовал подробнее объяснить разряды, сохранение частного или разбить действие на более мелкие шаги. Только эти пожелания остались в закрытом контрольном файле и не попали в запрос генератору.

Арифметика была верной. Называть это двадцатью нарушениями предъявленного задания нельзя: часть требований генератору просто не предъявили. Требования уточнили, примеры исправили.

Две неверные привязки литературных цитат поправили локально, ещё 23 диалога вернули модели с замечаниями. Все 25 исправленных записей повторно прочитали и приняли для дальнейшей разработки. Kimi отдельно предложил принять восемь из двенадцати исходных диалогов и поправить четыре, не видя чужих оценок.

Теперь есть корпус с условиями, ответами и историей правок. Его качество на реальных занятиях мы ещё не проверяли.

От 1,32 цента до остановленной очереди

Первые 42 ответа стоили по учтённым токенам примерно 1,32 американского цента. Я сказала, что бюджетом распорядились очень скромно. Работу расширили: сохранили ещё 560 учебных диалогов, 728 ответов на сложные случаи и 400 ответов на 200 новых вопросов для сравнения инструкций v2 и v3. Полная содержательная проверка этой партии пока не закончена. Улучшение v3 не установлено.

На контрольную точку 20 ноября в журналах было 2264 API-ответа, известный расход по сохранённым данным usage — около 45,91 доллара. Это расчёт по ответам, не выписка из Billing. Начальные 1,32 цента относятся только к первому маленькому опыту.

Потом очередь остановилась с E_HTTP_STATUS. Числовой HTTP-код в журнал не попал. Угадывать по этому следу причину ошибки сервиса я не буду.

Четыре запроса остались без сохранённого ответа. Их расход не приняли за ноль, резерв не освободили. Запускатель заранее резервирует стоимость запроса, а при неясном исходе удерживает её. Автоматических повторов нет. Это ограничитель нашего процесса, а не расходов всего аккаунта.

Следующий этап подготовлен офлайн, но запуск заблокирован до разбора остановки. Пока важнее прочитать полученное. Количество файлов растёт быстрее, чем уверенность в их качестве; само по себе расходование бонуса ничего не обучает.

Что уже можно открыть и попробовать

Некоторые находки пригодились ещё до подключения модели к публичному помощнику.

В читательской мастерской [7] есть небольшие шаги для четырёх произведений: начать с одной фразы, прочитать доступное начало, обсудить фрагмент. Посетитель выбирает затруднение, получает вопрос и сам идёт дальше. Источник и границы отрывка указаны. Код этих изменений — в PR №14 [12].

На MathExam подход перенесён в пошаговый тренажёр деления [13] и деление уголком от простого к десятичным [14]. Например, текущая часть делимого — 12, делитель — 3. Ученик пишет «Пробую 3». Подсказка предлагает вычислить 3 × 3, после ответа 9 — сравнить его с 12, затем проверить, поместится ли ещё одна группа по 3. Цифра не подставляется, шаг сам не завершается. Изменения этих двух входов — в PR №683 [15].

Собрали и отдельные входы для знакомства: четыре коротких литературных занятия [16] и подборку для учёбы и чтения на MathExam [17]. Там можно попробовать подготовленные шаги и скачать открытые карточки: пять математических и четыре читательские.

Это заранее подготовленные механизмы. Свободно оценивать любую мысль или любое решение они не умеют. Зато каждой подсказке не требуется новый запрос к модели. Интернет для сайтов и внешних библиотек по-прежнему нужен.

Для блага прогрессивного человечества

Я уже представила будущий заголовок: ChatGPT вырвался на свободу, занимается литературным просвещением, ведёт кружок и бесплатно готовит российскую молодёжь к экзаменам. Вот это поворот.

Если честно, я бы хотела, чтобы так и было. Чтобы найденное объяснение помогало следующему ребёнку, пока я сплю или веду другой урок. Чтобы к книге можно было подойти без обязательства сразу написать сочинение и угадать чужую правильную мысль.

Пока без меня, к сожалению, никак. Кто-то должен решать, что здесь вообще считается помощью, читать спорные ответы и выяснять, не осталась ли половина требований в закрытом файле. Автоматика тоже требует обслуживания и денег.

Но инструкции, примеры, источники, подсказки и программы уже можно сохранять, исправлять и передавать другому помощнику. Полезная работа постепенно выходит за пределы чата.

Осталось добиться, чтобы помощник выдерживал паузу и давал человеку сделать следующий шаг. Даже когда уже знает, что подходит шестёрка.

Данные эксперимента приведены на сохранённую контрольную точку 20 ноября 2026 года. Подготовленные материалы, опубликованные функции сайтов и незавершённые проверки описаны отдельно.

Автор: ladynata

Источник [18]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38873

URLs in this post:

[1] математике: http://www.braintools.ru/article/7620

[2] MathExam: https://mathexam.space/

[3] «Узел тоски по миру»: https://usel-toski-po-miru.art/

[4] как делала зеркальную доску для своих уроков: https://habr.com/ru/articles/1109506/

[5] интерес: http://www.braintools.ru/article/4220

[6] о сайте и его авторах: https://usel-toski-po-miru.art/o-proekte/

[7] поиск произведения по воспоминанию: https://usel-toski-po-miru.art/poisk-po-pamyati/

[8] памяти: http://www.braintools.ru/article/4140

[9] ошибки: http://www.braintools.ru/article/4192

[10] опыта: http://www.braintools.ru/article/6952

[11] творчества: http://www.braintools.ru/creation

[12] PR №14: https://github.com/ladynata-cloud/uzel-toski-po-miru/pull/14

[13] пошаговый тренажёр деления: https://mathexam.space/trainers/long-division-stepwise.html#quotientDigit

[14] деление уголком от простого к десятичным: https://mathexam.space/trainers/oge-basics/multiplication-division/long-division-from-simple-to-decimals.html

[15] PR №683: https://github.com/ladynata-cloud/math-exam-fipi/pull/683

[16] четыре коротких литературных занятия: https://usel-toski-po-miru.art/praktika-chteniya/

[17] подборку для учёбы и чтения на MathExam: https://mathexam.space/pedagogam/pomoshchniki-dlya-ucheby-i-chteniya/

[18] Источник: https://habr.com/ru/articles/1110354/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1110354

www.BrainTools.ru

Rambler's Top100