Prompt injection — лучше один раз увидеть
В новостях часто появляются рассказы о том, что какие‑то злодеи уговорили чью‑то ИИшку на то, чтобы она потратила деньги, удалила файлы или поставила более высокую оценку. При этом используются слова «prompt injection», “атака” и пр., создающие впечатление, что это какое‑то сложное искусство, требующее особых знаний. В реальности же prompt injection это не то что не сложно, но и вообще не атака. Да, везде в интернете пишут, что это атака, но… Короче, проще один раз показать, чем рассказ на десять тысяч символов набивать.
Июньские обновления в Selectel
Привет, Хабр! Делимся с вами главными новостями Selectel за июнь: представили единое окно доступа к 300+ генеративным ИИ-моделям, выпустили платформу для запуска ИИ-агентов и открыли новый регион S3. Представили ИИ-роутер
Роковая ошибка Германа Грефа: он не боится ИИ
Глава Сбербанка Герман Греф считает, что сейчас настало время агентной экономики, и нельзя чрезмерно концентрироваться на рисках, связанных с ИИ, упуская из виду, что эти риски, если их не устранить, приведут к созданию общества типа того, который описан в романе Джорджа Оруэлла «1984» или, как сказал Илон Маск, – к реализации в реальности сюжета фильма «Терминатор».Глава Сбербанка Герман Греф известен как сторонник развития искусственного интеллекта и широкого внедрения ИИ в экономику и финансы. Об этом он в очередной раз говорил 19 июня в ходе состоявшегося в СберУниверситете первого форума «Больше чем менеджмент».
HTCE: когнитивное ядро нового поколения, которое не верит без доказательств
Большинство современных AI-систем пытаются выглядеть умными: они быстро отвечают, красиво формулируют, уверенно рассуждают и часто создают ощущение понимания. Но есть неприятная сторона: такая система может звучать уверенно даже тогда, когда у неё нет доказательств.HTCE — это попытка построить другой тип искусственного интеллекта.Не “болталку”. Не “магический автопилот”. Не очередную оболочку вокруг LLM.HTCE — это доказательный когнитивный runtime
В экосистеме Rust появился штатный инженер по безопасности в области ИИ
Фонд Rust в рамках Инициативы по безопасности внедряет должность штатного инженера в области ИИ, специализирующегося на экосистеме.
Власти США потребовали от Anthropic полностью устранить джейлбрейки в Fable 5, иначе разрешения на её запуск не будет
Если Anthropic хочет повторно выпустить модель искусственного интеллекта Fable 5, ей необходимо предпринять шаги для устранения предполагаемых американским правительством джейлбрейков, сообщила администрация президента США Дональда Трампа. В первой половине июня разработчик Claude отключил доступ к моделям Fable 5 и Mythos 5 по требованию американских властей.
Как научить ИИ-ассистента писать тесты и моделировать угрозы безопасности в процессе кодинга
Главная уязвимость ИИ-кодогенерацииОсновная претензия к коду, написанному искусственным интеллектом, заключается в низком уровне его надежности и безопасности. Стремясь как можно быстрее выдать работающее решение, языковые модели часто пренебрегают тестами, игнорируют обработку крайних случаев и допускают критические уязвимости вроде SQL-инъекций или межсайтового скриптинга (XSS).
Добраться до центра
В прошлой жизни я опубликовал «Вариационные подходы к проблеме безопасности».Суть идеи. Допустим, что вы злоумышленник, который хочет пробраться в Центр, но рискует быть обнаруженным охранниками, видеокамерами, локаторами. радарами и даже случайными прохожими. И вам на помощь приходит теория геометрической оптики. Получается удивительная аналогия с распространением света в оптически неоднородной среде:свет ищет путь минимального времени;нарушитель ищет путь минимального риска.Математика оказывается одной и той же.От вероятности обнаружения к геометрической оптике
Запускаю серию «Управление уязвимостями для самых маленьких»: зачем она и для кого
Стартует серия статей про управление уязвимостями с нуля: для тех, кто только въезжает в тему, и для админов, которых внезапно попросили «позакрывать там уязвимости». Рассказываю, что внутри, почему это вторая редакция и при чём тут «Сети для самых маленьких».📚 Это вступление к серии «Управление уязвимостями для самых маленьких», практическому руководству по VM с нуля. Дальше будут 21 глава и заключение, по одной в неделю. Оглавление и все части серии тут.
