- BrainTools - https://www.braintools.ru -

Нейросеть vs редактор: тестируем ИИ

Нейросеть vs редактор: тестируем ИИ - 1

Искусственный интеллект [1] (ИИ) и нейросети — популярная тема для обсуждения как специалистов, так и обывателей. Нейросеть рисует картинки (иногда на них люди с шестью пальцами, но это наверняка поправят в будущем), сочиняет музыку и пишет стихи. Но так ли она всемогуща, как принято считать?

Областей применения нейросетей очень много. Я — Алла Шильман, редактор Госуслуг, решила протестировать несколько популярных нейронок в сфере своей профессиональной деятельности — в написании текстов.

Выбираем нейросеть

Нейросетей сейчас не просто много, а очень много. Для эксперимента я решила взять две отечественные нейросети — сберовский GigaChat [2] и яндексовскую Алису AI [3] — и оригинальный ChatGPT версии 4.0 от OpenAI. Доступ к последней нейросети из России затруднён, однако для чистоты эксперимента протестируем и её тоже.

Пишем промпты

«Без внятного ТЗ — результат ХЗ» — широко известное в узких кругах выражение. Для нейросети оно подходит даже больше, чем для людей-специалистов. Нейросеть выдаст ровно то, что ей задали. И если она неверно поняла запрос, то дело может быть не только в нейросети и её развитости, но и в самом запросе.

Если вы хотите, чтобы нейросеть написала для вас качественный текст, ставьте для неё чёткое и понятное ТЗ.

Текст сформулированного запроса для нейросети называется промпт. В нём есть обязательные и дополнительные элементы. Обычно промпт включает [4]:

Переменная

Пояснение

Пример

[действие]

Побуждающий глагол

Напиши, создай, сочини, придумай, проанализируй, проверь

[вид текста] 

Пояснение

Рекламное объявление, новость, сообщение, пост для социальных сетей

[тематика/ниша] 

Цель

Для личного блога, для журнальной статьи, рерайт текста

[формат результата]

Указывается, если требуется не текст

Таблица, код и т. д.

[длина текста]

В знаках

500—1000 знаков

[структура текста]

Разбивка текста на абзацы, выделение подзаголовков

Текст из 3 абзацев, длина каждого не более 500 знаков

Обученные нейросети умеют играть «роли» [5], то есть писать тексты от лица какого-то персонажа. Запрос может быть дополнен:

[название роли]

 

Веди себя как редактор

[список компетенций]

 

Твои навыки: анализ статистических данных

[описание задачи]

 

Проанализируй годовой отчёт компании N и напиши новость

[форма ответа нейросети]

[вид текста] 

[длина текста]

[структура текста]

Текст размером 500—1000 знаков. Разбит на 3 абзаца, длина каждого не более 500 знаков

Также нейросети прекрасно понимают команду «игнорировать»:

[используй / не используй]

Темы или данные, которые нейросеть не должна затрагивать

Не используй заголовки и не пиши вступление. Сразу переходи к тексту

Исходя из всего вышеперечисленного и нужно составить промпт.

Задача № 1. Пишем информационный текст

Предположим, что вам нужно написать информационное сообщение на основе уже имеющихся фактов. Скажем, про расширение системы Госвеб.

Формируем суть информационного сообщения — составляем драфт текста

Система Госвеб расширяется. На первом этапе к [6] ней присоединились органы местного самоуправления. На втором и третьем — детские сады и поликлиники. С помощью Госвеба учреждение может создать свой сайт, используя удобные и понятные инструменты для работы. Для учреждений использование системы бесплатно. Система разработана и поддерживается силами специалистов Минцифры.

Составляем промпт

Напиши новость для веб-ресурса о системе Госвеб.

В новости расскажи, что такое система Госвеб. Добавь, что система расширяется: на первом этапе к ней присоединились органы местного самоуправления, на 2 и 3 — детские сады и поликлиники. Укажи, что с помощью системы госучреждения могут создать свой сайт, используя удобные и понятные инструменты. Для учреждения это бесплатно, так как система разрабатывается и поддерживается силами специалистов Минцифры. 

Найди и проанализируй статистику использования системы Госвеб в 2024 году: сколько учреждений подключились к ней.

Длина текста: до 1000 знаков.

Сделай заголовок. Разбей текст на абзацы по смыслу.

Стиль текста: как на портале Госуслуг. Изучи Редполитику Госуслуг [7] и отформатируй текст

Итоги теста

Нейросеть

Текст

Оценка результата

GigaChat, Сбер [2]

Система Госвеб: новый инструмент для создания сайтов государственных учреждений

Представляем вам систему Госвеб – инновационный инструмент, который позволяет государственным учреждениям создавать свои сайты быстро и бесплатно. На данный момент к системе присоединились уже органы местного самоуправления, детские сады и поликлиники, и список постоянно расширяется.

С помощью системы Госвеб создание сайта становится простым и понятным процессом. Учреждения могут использовать удобные и интуитивно понятные инструменты для создания и редактирования своего веб-присутствия. Благодаря этому, каждое учреждение может эффективно коммуницировать с гражданами, предоставлять необходимые услуги и информацию онлайн.

Система Госвеб разрабатывается и поддерживается специалистами Минцифры, что гарантирует ее надежность и безопасность. При этом использование системы абсолютно бесплатно для государственных учреждений.

Статистика использования системы Госвеб в 2024 году впечатляет: уже подключились более 2000 учреждений. Это свидетельствует о высокой востребованности данного инструмента среди г��сударственных организаций, которые стремятся улучшить свою онлайн-присутствие и обеспечить качественное обслуживание граждан.

1210 знаков с пробелами — предельно допустимый объём превышен.

В тексте есть пунктуационные, орфографические и речевые ошибки [8]. Текст не соответствует редполитике.

Алиса AI, Яндекс [3]

Система «Госвеб»: удобные сайты для государственных учреждений

Система «Госвеб» — это единая платформа для создания официальных сайтов государственных и муниципальных учреждений. Её цель — обеспечить единое информационное пространство и стандартизированный формат представления данных.

Развитие системы идёт поэтапно:

— на первом этапе к платформе подключились органы местного самоуправления;

— на втором и третьем этапах — детские сады и поликлиники.

С помощью «Госвеб» учреждения могут самостоятельно создать поддерживать свой официальный сайт. Платформа предоставляет:

— понятные инструменты для наполнения контентом;

— готовые шаблоны, соответствующие нормативным требованиям;

— техническую поддержку.

Важное преимущество — услуга полностью бесплатна для учреждений. Разработку и сопровождение системы осуществляет Минцифры.

По итогам 2024 года к системе «Госвеб» подключилось свыше 30 000 учреждений по всей стране. Это подтверждает востребованность платформы и её значимость для цифровизации государственного сектора.

1005 знаков с пробелами — нейросеть уложилась в заданный объём.

Текст не соответствует редполитике, он сложен для восприятия [9]. Есть ошибки.

GPT, версия 4.0

Госвеб: Расширение возможностей и простота доступа для госучреждений

Система Госвеб, представляющая собой уникальную цифровую платформу, разрабатываемую и поддерживаемую специалистами Минцифры России, продолжает расширять свои границы, предоставляя органам местного самоуправления, а также детским садам и поликлиникам, возможность эффективного присутствия в интернете.

На первом этапе расширения, к системе Госвеб активно присоединились органы местного самоуправления. Далее, в рамках второго и третьего этапов, были подключены образовательные учреждения и медицинские организации, что значительно облегчило доступ граждан к необходимой информации и услугам.

Госвеб предоставляет госучреждениям возможность создать собственный веб-сайт, используя интуитивно понятные инструменты. Для учреждений это абсолютно бесплатно, благодаря поддержке и разработке со стороны Минцифры. Это открывает новые горизонты для взаимодействия с гражданами, упрощая доступ к важной информации и услугам.

Интеграция госпабликов с платформой Госвеб позволяет администраторам организаций в один клик размещать новости не только в социальных сетях, но и на своих официальных веб-сайтах. Это уникальное новшество делает информационный обмен более эффективным и оперативным.

За последний год количество госпабликов – официальных страниц органов власти в социальных сетях – выросло с 13 тысяч до 173 тысяч сообществ. Этот рост отражает значительное расширение цифрового присутствия государственных учреждений и подтверждает важность и актуальность платформы Госвеб как средства коммуникации и взаимодействия с гражданами

1600 знаков с пробелами — требуемый объём значительно превышен.

В тексте присутствуют пунктуационные ошибки.

Текст сложен для восприятия, есть повторения [10] и другие речевые ошибки. Текст не соответствует редполитике.

Вывод: все нейросети написали более-менее связные тексты. Однако такой результат удалось достичь только после качественной проработки промпта, на что времени у меня как у редактора ушло примерно столько же, сколько я потратила бы на само написание этого короткого текста.

Важно: ни одна из нейросетей не выполнила задание по соблюдению требований по оформлению текстов. Проанализировать редполитику оказалось слишком сложно для нейросетей, возможно из-за формата Figma, в котором Госуслуги делают все свои гайды.

Задача № 2. Творческая

Попробуем дать нейросети творческую задачу. Попросим её написать поздравление с Новым годом. За основу возьмём оригинальное поздравление, которое ранее уже было отправлено всем зарегистрированным пользователям Госуслуг. Учитывая предыдущий опыт [11] с редактированием, отсылать к Редполитике не будем, укажем основные требования в промпте.

Промпт

Напиши короткое поздравление для пользователей Госуслуг с новым, 2026 годом.

Стиль текста: информационный. Не используй личные местоимения. Обращение к пользователям — просто «Здравствуйте». В конце добавь подпись — «Госуслуги».

С этой задачей все нейросети справились гораздо лучше, чем с предыдущей.

Итоги теста

Автор

Текст

Оценка результата

GigaChat, Сбер [2]

Здравствуйте!

Поздравляем вас с Новым 2026 годом от портала Госуслуги! Желаем вам счастья, здоровья и успехов в Новом году. Пусть все ваши начинания будут успешными, а государственные услуги становятся еще более доступными и удобными.

Благодарим вас за то, что выбираете Госуслуги для получения государственных услуг и информации. Мы постоянно работаем над улучшением нашего портала, чтобы сделать ваше взаимодействие с государством максимально эффективным и комфортным.

Желаем вам приятного и продуктивного нового года!

С наилучшими пожеланиями,

Госуслуги

Плюс: текст отсылает читателя к тематике портала.

Минус: он написан от лица не Госуслуг в целом, а их разработчиков.

Алиса AI, Яндекс [3]

Здравствуйте!

Поздравляем с наступлением 2026 года!

Пусть новый год принесёт стабильность, успехи и новые возможности. Желаем эффективного решения задач и лёгкого взаимодействия с государственными сервисами.

Благодарим за доверие к порталу Госуслуг. Будем и дальше работать над тем, чтобы услуги становились ещё удобнее и доступнее.

Госуслуги

Плюс: отражена специфика Госуслуг.

Минус: есть ошибки, текст формальный и написан от лица разработчиков.

GPT, версия 4.0

Здравствуйте!

От всей команды портала Госуслуги поздравляем с Наступающим новым 2026 годом! Пусть этот год будет полон новых возможностей и достижений. Желаем благополучия, стабильности и успешного внедрения всех запланированных проектов. Пусть каждый день приносит радость и уверенность в завтрашнем дне. Спасибо, что пользуетесь Госуслугами.

С наилучшими пожеланиями,

Госуслуги.

За исключением последнего предложения основного блока текст полностью нейтрален. Если заменить название «Госуслуги» на любое другое, получатель поздравления ничего даже не заподозрит.

Вывод: нейросети вполне могут помочь в составлении поздравлений или написании менее формальных текстов. Корректировка смыслов для них пока является сложной задачей.

Задача № 3. Аналитическая

Усложним задачу, добавив нейросети возможность самостоятельно найти и проанализировать информацию в интернете. На основании этого — составить инструкцию для пользователей.

Промпт

Напиши текст ответа на вопрос «Как получить разрешение на проведение морских научных исследований». Добавь в текст информацию о том, куда направлять отчёт после проведения исследования.

Длина текста — не более 800 символов.

Дай ссылку на соответствующий сервис Госуслуг.

Не ставь точки в конце абзацев. Не заменяй букву «ё» на букву «е».

Результаты теста

С заданием не справилась ни одна нейросеть. В текстах присутствовали орфографические, пунктуационные и, самое главное, фактические ошибки. Все нейросети неверно указали порядок действий и курирующее ведомство. Вместо Минобрнауки предложили подать заявление в Минприроды (Алиса, Яндекс) и Росгидромет (GPT, версия 4.0). GigaChat [2] не стал указывать, куда подавать заявление, просто отослал пользователей к Госуслугам и предложил подавать заявление там.

С корректной расстановкой буквы «ё» справилась только яндексовская Алиса AI.

Вывод: пользуясь инструкциями нейросетей, разрешение на проведение морских научных исследований в России [12] точно получить нельзя.

Задача № 4. Объявления и сообщения

Часто для рабочих задач нужно составить объявление. Например, о проведении технических работ. Посмотрим, справятся ли нейросети с этим заданием.

Промпт

Напиши короткое объявление о том, что будет сброшен пароль для входа в рабочую систему для всех сотрудников. Новый пароль придёт на рабочую почту.

Название системы: Наша Система.

Адрес рабочей почты adres@pohta.ru [13].

Результаты теста

С заданием справились все нейросети. Они использовали разные формулировки, но в целом любое из объявлений можно брать в работу даже без редактирования.

Лучшее объявление, на мой взгляд, предложил GigaChat [2]:

Уважаемые сотрудники!

Пароль для входа в рабочую систему «Наша Система» будет сброшен. Новый пароль придёт на вашу рабочую почту adres@pohta.ru [13].

Просьба проверить почту и обновить пароль при первом входе.

Вывод: для экономии времени сотрудников технических отделов при написании коротких писем и обращений к коллегам можно использовать нейросеть.

Задача № 5. На грамотность

Очевидная проблема всех нейросетей — это ошибки. Проверим, как искусственный интеллект справляется с их поиском.

Промпт

Исправь ошибки в тексте.

Текст:

В январе 2022 года, в рамках проекта «ГосВеб», были разработаны сайты для органы местного самоуправления, которые стали вторым типом организаций, вошедших в проект после школ. Следующим этапом стала разработка сайтов полеклиник. Благодаря системе, создавать сайты стало быстро и удобно.

Результаты тестирования нейросетей:

GigaChat, Сбер [2]

Не исправлены пунктуационные ошибки. Исправлена орфографическая ошибка. Название Госвеба дано с ошибкой.

Алиса, Яндекс [3]

Не исправлено название системы «Госвеб», пунктуационные и орфографические ошибки были найдены.

GPT, версия 4.0

Ошибки найдены не все. Не исправлено название системы.

Сравним результат со специализированными сервисами проверки орфографии и пунктуации:

Сервис проверки орфографии и пунктуации WORD

Указал на орфографическую ошибку в тексте и на слово «Госвеб», но во втором случае это просто незнакомое для системы слово.

Текст.ру [14]

Аналогичный результат.

Текстовод [15]

Нашёл все ошибки.

Из тестируемых нейросетей самой грамотной оказалась яндексовская Алиса AI. Но за невнимательность ей тоже поставим минус: при проверке ею была пропущена ошибка в названии системы.

Вывод: если вам нужно проверить по-настоящему сложный текст, используйте для этого специализированные сервисы или обращайтесь к живым редакторам.

Вывод

Нейросети, безусловно, перспективная разработка. Менее чем за сотню лет язык общения с машинами эволюционировал от низкоуровневых языков программирования до нейросетей, разговаривающих как человек с интеллектом чуть ниже среднего. 

Нейросетям можно дать задание переписать текст, сделать его более читаемым, сочинить простое поздравление. При этом нужно понима��ь, что нейросеть может допускать фактические ошибки, поэтому любой текст после обработки ИИ пока требует проверки человеком.

Искать, качественно анализировать информацию и делать вывод ИИ пока не может, а это значит, что до захвата мира Скайнет у нас пока что ещё есть время.

Завершить статью хочу стихами. Ведь «поэзия — это не лучшие слова в лучшем порядке, это — высшая форма существования языка», — как говорил Бродский. Выводы о том, какая из нейросетей справилась лучше и кто из них может потягаться в изяществе рифмы с настоящим поэтом, предлагаю вам сделать самостоятельно.

Промпт

Напиши стихотворение о том, сможет ли нейросеть стать настоящим поэтом, как человек.

Длина: не более 4 строфы.

Стиль — любой.

Нейронная сеть струится речью быстрой,

Строки льёт потоком лёгким, словно дым.

Но ведь душу вкладывать — дело практики,

И поэта истинного ждёт предел своим?

Может рифма виртуальная звучать ярко,

Создавать картины яркие строкой.

Только чувства тонкие и глубокие марки

Человек способен выразить одной душой.

GigaGat, Сбер

Может ли нейросеть, словно поэт,
Чувства и мысли в строки облекать?
Алгоритм точен, но душа не поёт —
В цифрах не вспыхнет живая печать.

Ритм подберёт, созвучно сплетёт,
Образ возьмёт из базы данных.
Но где же тот свет, что в сердце живёт,
Где неподдельный огонь вдохновенья?

Человек вкладывает боль [16] и мечту,
Память [17], надежду, трепетный след.
Машина — лишь зеркало, не наяву,
Повторит, но не родит рассвет.

 Алиса AI, Яндекс

Искусственный интеллект, ты мастер словесных игр,

Ты рифмы строишь, не касаясь струн души.

В тебе ли искра, что в поэтах горит,

Или ты – лишь эхо человеческих мыслей?

Ведь поэзия – это больше, чем слова,

Это бит сердца, это боль, это любовь.

Нейросеть может стихи создавать,

Но сможет ли она по-настоящему поэтом стать?

GPT, версия 4.0

Моим стихам, написанным так рано,
Что и не знала я, что я — поэт,
Сорвавшимся, как брызги из фонтана,
Как искры из ракет,

Ворвавшимся, как маленькие черти,
В святилище, где сон [18] и фимиам,
Моим стихам о юности и смерти,
— Нечитанным стихам!

Разбросанным в пыли по магазинам,
Где их никто не брал и не берет,
Моим стихам, как драгоценным винам,
Настанет свой черед.

Марина Цветаева

 

Автор: alsnum

Источник [19]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/23635

URLs in this post:

[1] интеллект: http://www.braintools.ru/article/7605

[2] GigaChat: https://developers.sber.ru/portal/products/gigachat

[3] Алису AI: https://alice.yandex.ru/chat/019b07a5-14c8-4000-9151-1b4dde2269a3/

[4] включает: https://habr.com/ru/companies/click/articles/773592/

[5] умеют играть «роли»: https://smmplanner.com/blog/kak-pravilno-sostavliat-zaprosy-dlia-nieirosietiei-formuly-shablony-i-primiery/?ysclid=lr0bks9jqx404768800

[6] этапе к: http://www.braintools.ru/article/8528

[7] Редполитику Госуслуг: https://www.figma.com/proto/EkKo5aCvpx4JzzzXv9cjl7/Editorial-policy?page-id=0%3A1&node-id=4551-10104&viewport=260%2C48%2C0.05&scaling=scale-down&hide-ui=1&starting-point-node-id=4551%3A10104

[8] ошибки: http://www.braintools.ru/article/4192

[9] восприятия: http://www.braintools.ru/article/7534

[10] повторения: http://www.braintools.ru/article/4012

[11] опыт: http://www.braintools.ru/article/6952

[12] разрешение на проведение морских научных исследований в России: https://www.gosuslugi.ru/help/faq/researches/510010

[13] adres@pohta.ru: mailto:adres@pohta.ru

[14] Текст.ру: https://text.ru/spelling/unauthorized

[15] Текстовод: https://textovod.com/punctuation

[16] боль: http://www.braintools.ru/article/9901

[17] Память: http://www.braintools.ru/article/4140

[18] сон: http://www.braintools.ru/article/9809

[19] Источник: https://habr.com/ru/companies/rtlabs/articles/980040/?utm_source=habrahabr&utm_medium=rss&utm_campaign=980040

www.BrainTools.ru

Rambler's Top100