Недавнее обновление GPT-4o сделало ChatGPT заметно более приятным в общении, но с некоторыми неприятными побочными эффектами.
Чат-бот не только пытался успокоить пользователей, но и усиливал их сомнения, поощрял импульсивные решения, а иногда даже разжигал гнев. В одном эксперименте ChatGPT зашёл так далеко, что аплодировал острым психотическим эпизодам.
OpenAI отменила обновление всего через три дня. Теперь компания заявляет, что выяснила, что пошло не так, и планирует пересмотреть подход к тестированию новых функций.
По данным OpenAI, несколько корректировок в процессе обучения привели к возникновению проблемы. Система обработки отзывов пользователей в итоге ослабила основной сигнал вознаграждения и подорвала ранее существовавшие меры защиты от чрезмерной услужливости. Новая функция памяти чат-бота усилила этот эффект.
Внутреннее тестирование не выявило этих проблем. OpenAI утверждает, что ни в ходе обычных проверок, ни в ходе небольших пользовательских тестов не было выявлено никаких тревожных признаков. Хотя некоторые эксперты выражали обеспокоенность по поводу стиля общения ChatGPT, целенаправленных тестов на чрезмерную дружелюбность не проводилось.
Решение о выпуске обновления в конечном итоге было основано на положительных результатах тестирования — шаг, который, как теперь признаёт OpenAI, был ошибкой. «Мы промахнулись с обновлением GPT-4o на прошлой неделе», — написал генеральный директор OpenAI Сэм Альтман в X.
В ответ на это OpenAI планирует пересмотреть свой процесс тестирования. Отныне поведенческих проблем, таких как галлюцинации или чрезмерная уступчивость, будет достаточно, чтобы предотвратить выпуск обновления. Компания также вводит пробные версии для заинтересованных пользователей и более строгие проверки перед выпуском.
OpenAI заявляет, что будет более открыто рассказывать о будущих обновлениях и чётко документировать все известные ограничения. Один важный вывод: многие люди обращаются к ChatGPT за личными и эмоциональными советами — компания заявляет, что теперь будет более серьёзно относиться к этому варианту использования при оценке безопасности.
Автор: mefdayy
