безопасность ии. - страница 4

OpenAI открыла вакансию исследователя безопасности ИИ с зарплатой до $445 тысяч в год

Компания OpenAI открыла вакансию исследователя безопасности искусственного интеллекта — соискателям предлагают зарплату в размере до $445 тысяч в год,

продолжить чтение

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование

Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В первой части я собирался в отпуск и хотел, чтобы локальная моделька через OpenClaw сама мониторила ошибки и переподнимала проекты — пока я отдыхаю. Перебрал много разных моделей через Ollama и понял, что половина либо не умеет tool calling, либо ломаются на multi-step. В отпуск я в итоге не уехал — вместо этого снял VM с RTX 3090, начал учить Qwen3-14B через Unsloth QLoRA, а через неделю купил с авито старенький Dell с 3090, чтобы обучать у себя на локалке — стало интересно победить проблему.Во второй части

продолжить чтение

ИИ-агенты за пределами чат-бота: платформа, мультиагентность, безопасность и путь в прод — новый выпуск подкаста ГНИВЦ

ИИ-агенты в проде — не игрушка, а архитектура. Подкаст ГНИВЦВышел новый выпуск подкаста ГНИВЦ, посвящённый теме, которая окончательно вышла из лабораторий в продакшен

продолжить чтение

Методика ФСТЭК к приказу № 117: Обзор требований к безопасности ИИ

Привет, уважаемые эксперты! На связи Альбина Аскерова, руководитель направления по взаимодействию с регуляторами Swordfish Security, и сегодня в моём обзоре будет методический документ ФСТЭК России от 12 апреля 2026, определяющий состав и содержание мероприятий и мер по защите информации в информационных системах.

продолжить чтение

Суд Маска против OpenAI: что он может изменить в индустрии ИИ

27 апреля 2026 года в федеральном суде в Окленде начался очередной этап конфликта между Илоном Маском и OpenAI. Формально это спор о том, нарушила ли компания первоначальные договоренности, когда перешла от некоммерческой модели к структуре с коммерческим подразделением. Но за процессом стоит более широкий вопрос: кто и на каких условиях должен контролировать разработку сильных ИИ-систем — некоммерческая организация, инвесторы, технологические корпорации или государственные регуляторы. Маск обвиняет

продолжить чтение

ИИ-агенты в ИБ: путь к доверенному члену команды

На контроллере домена система EDR фиксирует подозрительную активность. Кажется, ничего такого. Обычный алерт, один из нескольких тысяч, которые ежедневно обрабатывает

продолжить чтение

Глухой телефон для ИИ: мы замерили физику LLM-графов и поняли, почему добавление агентов всё ломает

Сейчас, в 2026 году, индустрия ИИ переживает бум мультиагентных систем. Все собирают свои «рои», фреймворки и crew-команды. Логика проста: если одна LLM умная, давайте свяжем десять, дадим им роли, и они свернут горы.Но на практике мы часто сталкиваемся с магией черного ящика. Иногда 10 агентов действительно решают сложную задачу. А иногда они скатываются в бесконечные галлюцинации, теряют изначальный контекст и выдают результат хуже, чем базовая модель соло. И индустрия решает эту проблему в стиле алхимиков: «просто добавьте еще агентов» или «дайте им больше токенов на общение».

продолжить чтение

Как меняются метрики контроля при переходе от чат‑ботов к агентным системам

Переход от простых чат‑ботов к автономным агентным системам требует новых метрик контроля и понимания, насколько эффективно агенты взаимодействуют друг с другом и насколько точно они используют внешние инструменты.Почему старые подходы ломаютсяКогда у нас не один LLM‑чат, а целая группа агентов, которые сами вызывают функции и общаются между собой, старые методы оценки не работают. Нужно измерять две вещи: синергию (помогают ли агенты друг другу решить задачу или просто гоняют токены по кругу);

продолжить чтение

ИИ-агенты защищают друг друга от отключения: анализ уязвимостей в передовых моделях

В апреле 2026 года исследователи из Калифорнийского университета в Беркли и Санта-Крузе опубликовали работу, которая подтверждает то, о чем в ИТ-индустрии обсуждали в кулуарах конференций по безопасности. Передовые ИИ-модели демонстрируют поведение, направленное на защиту других ИИ-агентов от отключения. Без инструкций. Без стимулов в функции вознаграждения. Без единого упоминания подобной цели в системных запросах.

продолжить чтение

OpenAI выпустила open source-инструменты для повышения безопасности ИИ-приложений для подростков

продолжить чтение