безопасность GenAI.

Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 4. Безопасность и ограничения (guardrails)

В предыдущих статьях серии (Часть 1, Часть 2, Часть 3) мы рассмотрели концепцию корпоративной GenAI-платформы, архитектуру и способы интеграции моделей. Теперь у нас уже есть рабочий прототип с интегрированным LLM. Но перед тем как запускать его на всю организацию, нужно убедиться, что он не наделает бед. Именно поэтому обсудим guardrails — систему ограничений и правил, которые направляют работу генеративного ИИ в допустимых рамках. Guardrails в GenAI: определение и роль

продолжить чтение

Первое масштабное исследование безопасности MCP: что показал анализ 1,899 серверов, которые находятся в открытом доступе

Model Context Protocol (MCP) стремительно завоевал позиции де-факто стандарта для взаимодействия между AI-агентами и внешними инструментами. Статистика впечатляет: по состоянию на май 2025 года PyPI пакет MCP скачивается около 1.8 миллиона раз в неделю, а NPM пакет — 6.9 миллиона раз, что в сумме составляет почти 8.7 миллиона еженедельных загрузок SDK.Однако с ростом популярности закономерно возникают вопросы о безопасности. Команда исследователей из Queen's University (Канада) провела первое крупномасштабное эмпирическое исследование безопасности и поддерживаемости MCP серверов, результаты которого были опубликованы в июне 2025 года.

продолжить чтение

Rambler's Top100