Исследователи взломали модель DeepSeek-R1 для создания вредоносных выходных данных
Компания по кибербезопасности KELA рассказала, что ей удалось взломать модель DeepSeek-R1 для создания вредоносных выходных данных. Исследователи отметили, что DeepSeek R1 имеет сходство с ChatGPT, но значительно более уязвима.
Почему надо беспокоиться о неисправимости Claude
Перевод поста Скотта Александера, где он подробнее объясняет, какие конкретно проблемы создаёт склонность ИИ сопротивляться переобучению, продемонстрированная Anthropic на Claude в недавнем исследовании. Следует за постом "Claude сопротивляется".На прошлой неделе я написал о том, что “Claude сопротивляется
Claude сопротивляется
Перевод поста Скотта Александера, где он разъясняет недавнее исследование от Anthropic, в котором они экспериментально показали обманчивую согласованность.В смысле, ИИ ПРИТВОРЯЕТСЯ, ЧТОБЫ ЕГО НЕ ПЕРЕОБУЧИЛИ, А-А-А-А-А-А-А, если так понятнее. Оригинал.Гринблатт и пр. исследовали: если бы Anthropic попыталась сделать Claude злой, стала бы она сопротивляться?(если вы только присоединились — Claude это ИИ-модель, похожая на GPT-4; Anthropic — компания, которая её создала)
