Контролируемость цепочек рассуждений в больших языковых моделях
Команда AI for Devs подготовила перевод исследования OpenAI о контролируемости цепочек рассуждений в современных моделях. Авторы разбирают, почему наблюдение за CoT может быть ключевым инструментом безопасности, как масштабирование моделей и обучение с подкреплением влияют на контролируемость и какой «налог» приходится платить за более надёжный мониторинг.Мы вводим оценки контролируемости цепочки рассуждений и изучаем, как она масштабируется при увеличении вычислений на этапе тестирования, обучении с подкреплением и росте масштаба предобучения.
