Mythos от Anthropic — тревожный сигнал для всех, а не только для банков
Mythos, новая модель искусственного интеллекта, которую компания Anthropic PBC представила как слишком опасную для публичного использования, поначалу казалась проблемой для банков. Через несколько дней после того, как компания анонсировала новую технологию, министр финансов США Скотт Бессинт вызвал руководителей Уолл-стрит, чтобы убедиться, что они принимают меры предосторожности для защиты своих систем, обеспечив тем самым Anthropic бесценную рекламу и подняв вопрос о том, кто получит эксклюзивный доступ к этому опасному детищу.
Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы
System prompt — это просьба. Guardrails — это принуждение.1. ВведениеКогда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязан
OpenAI выпускает GPT-5.4-Cyber для ограниченного круга пользователей, соревнуясь с Anthropic PBC
OpenAI предоставляет избранной группе пользователей доступ к новой модели искусственного интеллекта, которая, как ожидается, будет лучше выявлять уязвимости в программном обеспечении. Это произошло через неделю после того, как конкурирующая компания Anthropic PBC объявила о выпуске ограниченной версии инструмента на основе искусственного интеллекта под названием Mythos.
Yandex B2B Tech запустила Академию Yandex AI Studio
Подразделение «Яндекса» Yandex B2B Tech (разрабатывает решения для цифровой трансформации бизнеса) запустило Академию Yandex AI Studio
OpenAI приобрела стартап в сфере персональных финансов Hiro
Компания OpenAI купила стартап в сфере личных финансов Hiro Finance. Стартап получил поддержку от ведущей венчурной компании в сфере финтеха Ribbit, а также от General Catalyst и Restive.
Pipeline Triad Pattern: конвейер AI-агентов вместо команды разработки
Pipeline Triad Pattern: конвейер AI-агентов вместо команды разработкиTL;DRPipeline Triad Pattern - это не один AI-агент, а конвейер троек: Создатель, Критик и Арбитр. Каждая тройка закрывает свой этап SDLC, человек включается только в 4 контрольных точках, а сам паттерн лучше всего работает на типовых enterprise-задачах с формализованными правилами. Это не замена CI/CD, а слой агентного делегирования поверх обычной автоматизации. Главные ограничения - галлюцинации, качество промптов, оргпроцессы и безопасность самого конвейера.Scope:
Фреймворк отказоустойчивости для интерфейсов разговорного ИИ
Перевод подготовил автор канала Друг Опенсурса, приятного прочтения, заранее благодарю за подписку В статье описывается навигационная структура из 20 UX-паттернов, разделенных на уровень стабильности, фокуса, ясности и контроля. Подход предполагает использование чата как механизма обработки, а документа как основной рабочей области. Проблема интерфейсов на базе чата
Не пропустить негатив: как мы построили мультиагентную систему мониторинга упоминаний
Привет, Хабр! На связи команда маркетинга продукта Agent Platform. Как и многие продуктовые команды, мы пристально следим за тем, что говорят о нас пользователи.Эта статья — о том, как мы решили задачу, которая знакома, наверное, каждому продуктовому маркетологу или DevRel-у: не пропустить негатив о продукте в разных источниках, где его упомянули.Спойлер: собирать агента для мониторинга упоминаний бренда не так страшно, как кажется. В статье разберем архитектуру мультиагентной системы и расскажем с какими сложностями столкнулись.Откуда вообще взялась эта задача
Как мы перестали мерить качество ответов RAG-поиска «на глаз» и начали нормально сравнивать
Если вы делаете RAG-поиск по документации или базе знаний, то рано или поздно упираетесь в проблему: хорошо найти — это еще не хорошо ответить.База знаний, RAG, найденные чанки, LLM строит ответ. Но пользователь не знает ни про DCG, ни про Recall@10, ни про чанки вообще. Он видит только то, что написано в итоговом ответе. А проблемы начинаются именно здесь. Нашел нужные чанки — молодец. Но модель может их проигнорировать, ответить на другом языке, добавить что-то от себя или выдать уверенный текст с иероглифами посередине. И как потом доказать, что после правок стало лучше — тоже не очевидно.
Максимально эффективная интеграция ИИ в робототехнику
Каждую неделю появляется видео: «Я подключил GPT‑4 к своему роботу!». Робот слушает команду, «думает», затем выполняет действие. Всё выглядит впечатляюще… пока вы не замечаете, что робот выполняет короткое действие, затем «думает» около 4 секунд, а оператор тем временем держит палец над аварийной кнопкой, не понимая, какое именно действие предпримет сие инженерное чудо.
