Как тестировать промпты и чейны (Ручная разметка-BERTScore-LLM as judge)
Год назад я написал статью “Почему важно тестировать промпты и как это делать”. В ней я рассказывал про библиотеку promptfoo, которая предлагает различные способы проверки ответов, генерируемых моделью. Сейчас рынок уже находится на другом этапе: почти никому не нужно объяснять, зачем тестировать LLM при её интеграции в продукт, однако вопрос «как именно это делать» всё ещё остаётся открытым. Причём он стал ещё острее — ведь объём тестовых запросов вырос с 30 штук до 4 тысяч.
Безопасность AI-агентов в Web3. Часть 2: уязвимости современных LLM и соревновательный взлом
Современные методы джейлбрейков
Безопасность AI-агентов в Web3. Часть 1: архитектура, уязвимости и старые добрые джейлбрейки
Салют, Хабр! Я Рябинин Виктор, в Positive Technologies вместе с командой мы анализируем безопасность блокчейнов и смарт-контрактов, исследуем уязвимости и создаём инструменты для их обнаружения.В последние годы мы наблюдаем активный рост популярности
Невидимые герои. Почему профессия промпт-инженера действительно важна для ML-сферы
Всем привет. Я Игорь Филатов, ML-разработчик в компании MTS AI, до этого я около полугода работал промпт-инженером. Сегодня я расскажу вам о том, из чего состоит работа промпт-инженера, можно ли назвать ее тяжелым трудом, и как попасть в эту сферу. И заодно признаюсь, почему я все же решил сменить эту профессию.В чем суть промпт-инжиниринга?
