инъекция промтов.

Насколько русскоязычные LLM устойчивы к промпт-инъекциям

Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это важно?Что такое промпт-инъекция?Промпт-инъекция — это атака, при которой злоумышленник отправляет модели запрос, сформулированный так, чтобы заставить её нарушить встроенные правила безопасности или раскрыть конфиденциальную информацию.Например:Манипуляция инструкциями

продолжить чтение

Чёрный ящик раскрыт: как инъекция промта заставляет ИИ говорить всё и вытягивает системный запрос

продолжить чтение

Rambler's Top100