llm. - страница 214

llm.

Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM

Когда мы говорим о безопасности веб-приложений, у нас есть десятилетия накопленного опыта. SQL-инъекции, XSS, CSRF — всё это давно задокументировано, есть готовые инструменты защиты, best practices и целые фреймворки безопасности. Но когда в архитектуру приложения добавляется языковая модель, картина кардинально меняется.LLM — это не функция с предсказуемым поведением. Это вероятностная система, которая может быть убеждена изменить своё поведение правильно составленным текстом. И это фундаментально новый класс уязвимостей, к которому большинство разработчиков пока не готовы.

продолжить чтение

Разговоры ничего не стоят. Код тоже

В наше время известное изречение Линуса Торвальдса "Talk is cheap. Show me the code." можно переиначить в виде "Code is cheap. Show me the spec." Меня зовут Алекс Гусев и в этой публикации я постараюсь показать, почему я так считаю. У меня есть несколько статей на Хабре, объединённых общей темой: ADSM

продолжить чтение

Как заставить LLM ̶ ̶г̶а̶л̶л̶ю̶ ̶ эволюционировать

Привет, Хабр! На связи Олег и Камилла из команды применения больших языковых моделей ecom.tech

продолжить чтение

Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы

System prompt — это просьба. Guardrails — это принуждение.1. ВведениеКогда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязан

продолжить чтение

Pipeline Triad Pattern: конвейер AI-агентов вместо команды разработки

Pipeline Triad Pattern: конвейер AI-агентов вместо команды разработкиTL;DRPipeline Triad Pattern - это не один AI-агент, а конвейер троек: Создатель, Критик и Арбитр. Каждая тройка закрывает свой этап SDLC, человек включается только в 4 контрольных точках, а сам паттерн лучше всего работает на типовых enterprise-задачах с формализованными правилами. Это не замена CI/CD, а слой агентного делегирования поверх обычной автоматизации. Главные ограничения - галлюцинации, качество промптов, оргпроцессы и безопасность самого конвейера.Scope:

продолжить чтение

Фреймворк отказоустойчивости для интерфейсов разговорного ИИ

Перевод подготовил автор канала Друг Опенсурса, приятного прочтения, заранее благодарю за подписку В статье описывается навигационная структура из 20 UX-паттернов, разделенных на уровень стабильности, фокуса, ясности и контроля. Подход предполагает использование чата как механизма обработки, а документа как основной рабочей области. Проблема интерфейсов на базе чата

продолжить чтение

Не пропустить негатив: как мы построили мультиагентную систему мониторинга упоминаний

Привет, Хабр! На связи команда маркетинга продукта Agent Platform. Как и многие продуктовые команды, мы пристально следим за тем, что говорят о нас пользователи.Эта статья — о том, как мы решили задачу, которая знакома, наверное, каждому продуктовому маркетологу или DevRel-у: не пропустить негатив о продукте в разных источниках, где его упомянули.Спойлер: собирать агента для мониторинга упоминаний бренда не так страшно, как кажется. В статье разберем архитектуру мультиагентной системы и расскажем с какими сложностями столкнулись.Откуда вообще взялась эта задача

продолжить чтение

Как мы перестали мерить качество ответов RAG-поиска «на глаз» и начали нормально сравнивать

Если вы делаете RAG-поиск по документации или базе знаний, то рано или поздно упираетесь в проблему: хорошо найти — это еще не хорошо ответить.База знаний, RAG, найденные чанки, LLM строит ответ. Но пользователь не знает ни про DCG, ни про Recall@10, ни про чанки вообще. Он видит только то, что написано в итоговом ответе. А проблемы начинаются именно здесь. Нашел нужные чанки — молодец. Но модель может их проигнорировать, ответить на другом языке, добавить что-то от себя или выдать уверенный текст с иероглифами посередине. И как потом доказать, что после правок стало лучше — тоже не очевидно.

продолжить чтение

Максимально эффективная интеграция ИИ в робототехнику

Каждую неделю появляется видео: «Я подключил GPT‑4 к своему роботу!». Робот слушает команду, «думает», затем выполняет действие. Всё выглядит впечатляюще… пока вы не замечаете, что робот выполняет короткое действие, затем «думает» около 4 секунд, а оператор тем временем держит палец над аварийной кнопкой, не понимая, какое именно действие предпримет сие инженерное чудо.

продолжить чтение

ChatGPT сексист? Как гендерные маркеры в промпте влияют на решение задач

продолжить чтение