Обнаружение уязвимостей ИИ агентов. Часть II: Исполнение кода
Основные выводы· В этом исследовании мы рассмотрели уязвимости, которые влияют на любые агенты на базе Large Language Model (LLM), которые могут выполнять код, загружать документы и получать доступ в Интернет.· Они могут позволить злоумышленникам запускать несанкционированный код, вставлять вредоносный контент в файлы, получать контроль и допускать утечку конфиденциальной информации.· Организациям, использующим искусственный интеллект (ИИ) для математических вычислений, анализа данных и других сложных процессов, следует проявлять бдительность в отношении связанных с этим рисков безопасности.
Топовый инвестор OpenAI пал жертвой синдрома Шершавого Кабана
У основателя венчурного фонда Bedrock Джеффа Льюиса потёк чердак в прямом эфире. Это системная проблема того, как устроены LLM.Джефф Льюис и его общение с ChatGPT
Обнаружение уязвимостей ИИ агентов. Часть I: Введение в уязвимости
Этот вводная часть открывает серию статей о уязвимостях агентов ИИ, в которых изложены ключевые риски безопасности, например инъекция подсказок ввода и исполнение кода. Также заложены основы для будущих частей, где будут подробно рассмотрены недостатки исполнения кода, утечки данных и угрозы доступа к базам данных.От автора
Ключевые понятия LLM
Современные языковые модели (large language models) стали ключевым элементом в развитии искусственного интеллекта и обработки естественного языка. Модели, основанные на глубоком обучении и архитектуре трансформеров, способны генерировать текст, отвечать на вопросы, писать код, создавать художественные произведения и даже участвовать в логических рассуждениях.
Grok 4 — «AGI у нас дома» или просто хайп?
Как известно, вчера вышла новая итерация ИИ от xAI — Grok 4.Пока в техсообществе считалось хорошим тоном нахваливать Claude Opus, немного — GPT‑4o, и снисходительно хихикать над творением Илона Маска, Grok ворвался и внезапно взорвал танцпол. По крайней мере — в бенчмарках.Humanity’s Last Exam
Туториал: запускаем Hunyuan-A13B модель на vLLM и на llama.cpp
Недавно вышла новая модель - Hunyuan-A13B:https://huggingface.co/tencent/Hunyuan-A13B-Instruct-GPTQ-Int4 (это уже квант)
Как мы построили свой инструмент для работы с LLM
Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи.В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ?Data Studio
Подвинься, LLaMA! Новая open‑source LLM от Tencent — Hunyuan‑A13B — уже доступна для самостоятельного хостинга
Tencent только что выпустила новую open‑source модель под названием Hunyuan‑A13B‑Instruct. Весы модели открыты (насчёт кода — пока неясно), и она может работать локально (если у вас есть GPU уровня NVIDIA DGX B200). Если вам интересно, как она себя показывает, и вы хотите попробовать её в деле — ниже инструкции, как можно её быстро развернуть на арендованной видеокарте за несколько минут.📎Перевод, оригинальная новость здесь.Что такое Hunyuan‑A13B?
