Сотрудник Sola Security через настройки единого входа в ChatGPT получил более 400 файлов компании
Сотрудник небольшой компании Sola Security решил уточнить у ChatGPT настройки единого входа. В итоге за доли секунды ИИ успел получить доступ к сотням внутренних документов.
LLM под капотом. Модель выдумала телефон доверия — чиним архитектурой, не промптом
Девушка пересылает боту переписку с бойфрендом. Модель видит сигналы опасности (эмоциональное насилие, изоляция) и отвечает номером телефона доверия. Заботливо. Ответственно. Одна проблема: это детская горячая линия. Модель галлюцинировала контакт кризисной помощи.В промпте написано «НЕ придумывай контактные данные». Не помогает. Желание быть полезной в модели сильнее любой инструкции. Это не проблема промптинга. Это проблема архитектуры.Ловушка одного прохода
Как внедрить нейросети в свою жизнь? Топ кейсов по работе с ИИ
Представьте себе старый телефон, в который пытаются воткнуть новую зарядку. Вроде бы всё работает, но кажется, что мир вокруг уже перешёл на USB-C, а у вас до сих пор кнопочный.
Anthropic планирует выйти на IPO в октябре 2026 года
Anthropic, компания в сфере искусственного интеллекта и разработчик чат-бота Claude, планирует провести первичное размещение акций в США в четвертом квартале 2026 года, пишет The Information со ссылкой на источники, знакомые с обсуждениями. Bloomberg со ссылкой на своих собеседников, знакомых с ситуацией, пишет, что это может случиться уже в октябре.
Разработчики Bluesky представили приложение Attie с ИИ для персонализации ленты новостей
Команда Bluesky представила
Исследование Стэнфордского университета выявило опасности обращения к чат-ботам с ИИ за личными советами
Учёные Стэнфордского университета предупредили об опасностях обращения к чат-ботам на базе искусственного интеллекта за личными советами. Они назвали «подхалимство» нейросетей широко распространённым поведение с серьёзными последствиями.
Учёные предупреждают: ИИ даёт вам плохие советы, чтобы вы чувствовали себя лучше
Согласно новому исследованию, посвящённому опасностям, связанным с тем, что ИИ говорит людям то, что они хотят услышать, чат-боты на базе искусственного интеллекта настолько склонны льстить своим пользователям и соглашаться с ними, что дают плохие советы, способные нанести ущерб отношениям и усугубить вредные модели поведения.В исследовании, опубликованном в четверг в журнале Science, были протестированы 11 ведущих систем ИИ, и было обнаружено, что все они в той или иной степени демонстрировали льстивое поведение, чрезмерно уступая пользователю и подтверждая его слова.
Защита агентных приложений по OWASP Agentic Top 10 и модели Trifecta
Все мы знаем, что агентные системы давно не просто "чат-боты 2.0". Это уже полноценные приложения, которые:планируютвыполняют сложные цепочки действийвызывают инструменты (API/FS/shell/browser)хранят и используют память (RAG/long-term)общаются с другими агентамиНо делают все эти действия со скрытыми "побочными эффектами"
