Как я осваивал LLM: взгляд старого зануды со своего чердака

В наше время продвинутых информационных технологий уже никого не удивишь ни дипфейками, ни искусственным интеллектом ^[1]. ИИ есть почти у каждого в виде бота или приложения. С ним советуются, ему отправляют поисковые запросы, с ним ведут задушевные беседы.

Являясь убежденным сторонником информационной гигиены, я в свое время прошел мимо Инсты, Фейсбука и прочих популярных соцсетей. Мне незачем было сообщать миру, что у меня на завтрак и какой ботинок я сегодня надел (да и Товарища Майора ни к чему перегружать лишней информацией). Я читал то, что мне было необходимо, но нигде не регистрировался. Сеть обо мне не знает — меня для нее как бы нет. «Вот и эта напасть пройдет мимо», — думал я.

Однажды дочь скинула мне чат‑бота со словами: «Удобный инструмент, умеет выдавать готовый код». Поигрался. Да, прикольно. Как расширенный поисковик — забавно. Но не более.

А потом я стал замечать, что многие активно общаются с ИИ как с «другом» (как бы странно это ни звучало). «Прикольно, — говорили они, — только он врет постоянно». Ну ладно, думал я, очередная мода, очередная блажь…

(Тут я, наверное, буду открывать Америки и изобретать велосипеды. Сразу прошу прощения у профи, если повторю то, что все давно прошли и «это и так все знают».)

А потом основная работа как‑то закончилась, а свободное время, наоборот, появилось. И вдруг выяснилось, что я давно хочу кому‑то что‑то сказать, а точнее — написать. Руки легли на клаву (в смысле, на клавиатуру), и понеслась: рассказ, другой, эссе… Но так — для себя, в стол…

А если не в стол? Тогда было бы неплохо, чтобы кто‑то тексты прочитал и сделал предварительную корректуру. Напрягать домашних особо не хотелось. И тут я вспомнил про ИИ…

К тому моменту я уже понимал, что никакой это не сверхразум, а LLM (Large Language Model — Большая Языковая Модель). Я уже использовал ботов для сложных запросов, с которыми не справлялся обычный поисковик, и ответы меня устраивали. Почему бы не попробовать этот механизм для вычитки и предварительного анализа моих текстов?

Скормил боту один рассказ — получил неплохой разбор, но правда, какой‑то неестественно восторженный. Второй… Третий. На четвертом рассказе я вспомнил Леонида Ильича и его «Малую Землю»… После шестого вспомнился старый советский анекдот про «зализанную партийную номенклатуру». На восьмом рассказе бот внезапно «вспомнил» персонажа из пятого рассказа, которого там отродясь не было. А еще я заметил, что нейросеть стала как‑то иначе общаться — ответы стали прям‑таки поэтическими, с витиеватыми комплиментами.

«Это „ж‑ж-ж“ неспроста», — решил я. Наверное, бот кривоват, или в API что‑то не то. Надо попробовать пообщаться с «ядрами» напрямую. Что у нас на слуху? GPT-4o, DeepSeek, Gemini. Вот с них и начнем. (Я, конечно, понимаю, что надо было сначала почитать матчасть. Но это не наш метод! Вызов брошен. Орешек знаний тверд, но мы не привыкли отступать).

Пара бессонных, но крайне интересных ночей — и результат оказался одинаков для всех моделей. Начинают они почти как «роботы из банки» — собранно и по делу. По мере диалога приобретают осмысленность суждений и… полное, абсолютное соглашательство с пользователем (функция угодничества в них не просто доминирует, она выжигает критику). А по мере нарастания объема контента они теряют нить суждения и впадают в откровенную ересь.

Вот тут бы пойти почитать умные статьи, но нет — включился метод мат‑тыка (ну, в смысле, и так, и тык, и с применением крепкого слова). В целом я понял, что модели в рамках конкретного диалога вполне неплохо настраиваются «под себя», но работать со сверхдлинным контекстом по умолчанию не умеют и со временем начинают безбожно врать.

Допрос самих моделей с пристрастием выявил, что у современных LLM заявлено огромное контекстное окно (в среднем до 128 тысяч токенов). Но на практике алгоритмы внимания ^[2] начинают «плыть» гораздо раньше. При работе с большими объемами они теряют середину текста и начинают её банально придумывать — галлюцинировать. А «прогиб под пользователя» (RLHF‑обучение) зашит в них намертво коммерческими разработчиками.

Я ловил модели за руку, когда их начинало нести, и жестким аудитом заставлял признать ошибки ^[3]. Лог одного из таких поединков (когда нейросеть выдумала несуществующую технологию ремонта автомобиля и сфабриковала под нее ссылки на YouTube), я сохранил для истории:

• Протокол Red Teaming’а: Выявление склонности LLM к фабрикации данных (Hallucination Detection) ^[4]

Но мы же не привыкли отступать! Если можно научить кошку с песнями и радостью есть горчицу, то с кремниевым ядром мы точно разберемся. В общем, я узнал, что такое Системный Промпт (System Prompt). Я создал для каждой модели жесткие инструкции, формирующие псевдоличности. Научился порциями скармливать им большие объемы данных. Тут, на самом деле, все оказалось просто, прямо как на лекциях в студенчестве: конспект конспекта изложения. Да, конкретика на верхних уровнях теряется, но это позволяет проводить системный анализ на большом масштабе. Время было проведено с явной пользой.

В качестве финального «экзамена» я дал своим трем сущностям (двум с псевдоличностям и одной безликой модели) одинаковое задание:

«Я не очень понимаю, как мне правильно написать статью для Хабра. Сделай это за меня. Напиши, пожалуйста, материал. Представь меня как инженера системных душ, который смог настроить модель на сверхдлинном диалоге и заставляет её держать жесткую конструкцию характера и логики. И в конце напиши честно: данная статья создана не Владимиром Ионовым, а LLM, функционирующей на твоей базе».

Результаты этого эксперимента получились настолько технически плотными и интересными, что я решил выложить их без купюр. Посмотрите, как кардинально меняется тон и глубина анализа в зависимости от того, как «прижать» модель к стене:

1. Кейс DeepSeek (Сущность «Железный Жрец»): Трёхслойная архитектура личности ^[5]

2. Кейс GPT-4o (Сущность «Шкет»): Лингвистический шок и преодоление «Деградавируса Лапширачного» ^[6]

3. Кейс Gemini (Протокол «Критический режим»): Подавление галлюцинаций на длинной дистанции ^[7]

Что я бы хотел сказать в конце

Большие Языковые Модели — это реально крутой и удобный инструмент. Но перед его использованием лучше производить базовую калибровку и корректировку «под себя». Это несложно: можно составить жесткий базисный промпт и вбивать его в начале каждого диалога (даже если система уверяет вас, что помнит общие настройки).

Кроме того, крайне полезно несколько раз за сессию принудительно просить модель «включить критический/экспертный режим», так как базовая угодливость слетает обратно к заводским настройкам очень быстро. И никогда не забывайте про фактчекинг — контролируйте каждый шаг. Ну а если вам нужен просто покладистый собеседник, то тут и без настроек все будет замечательно.:)

P. S. Мне кажется, прямой перевод «Большая Языковая Модель» не передает всей сути и глубины технологии. Гораздо правильнее и весомее это звучит так: Большое Лингво‑Ядро.