Снижаем стоимость инференса. Часть 2. IBM KServe ModelMesh, vLLM Production Stack и что внутри у нашего решения
Привет, Хабр! На связи снова Данила Гудынин, DevOps-инженер направления Evolution ML Inference в Cloud.ru. В прошлой статье про снижение стоимости инференса мы пробежались по теории того, что и на каких уровнях стека можно подкрутить, чтобы повысить утилизацию своих GPU. Там вы могли определиться, какой подход в принципе подходит для ваших задач.
Пожилой зумер о том, как ИИ сломал карьерный путь разработчика
Команда AI for Devs подготовила перевод статьи о том, как искусственный интеллект изменил карьерный путь молодых разработчиков. Для поколения Z «золотой билет» в айти уже не выглядит таким надёжным: стажировки исчезают, вакансий меньше, а конкуренцию джунам теперь составляют не только выпускники топ-университетов, но и ИИ-инструменты. Вопрос остаётся открытым: ждёт ли зумеров безработица или новая роль в мире, где код пишут вместе с машинами?
Short Sleeper Syndrome: как я узнал, что высыпаюсь за 5 часов
Я инженер душей и телом, специализируюсь больших данных и real-time. Но так я представляюсь, в самом же деле, я, наверное, - самый раздражающий человек в любом здании, я специализируюсь на всем, от IoT, веба и даталейков, до архитектуры, девопс и роботов - всегда устремленный завалить коллегу вопросами и подготовить страничное эссе в ответ на вопрос “Да/Нет”.
Рецепт vLLM с мистралем. Часть 1
На первом этапе нашей заготовки модели мы займемся ее 4-х битным квантованием, а во второй части будем использовать vLLM для запуска парралельных запросов к ней.Поехали!
Видеоаналитика в реальном времени: что делать, если нет GPU
Когда у вас несколько десятков моделей компьютерного зрения, тысячи камер на заводах по всей стране и только несколько секунд, чтобы успеть оповестить оператора — важна каждая миллисекунда.Но что делать, если вы работаете не в IT-гиганте с дата-центрами и парком GPU, а в промышленной компании с изолированными сетями, ограниченными ресурсами и жёсткими требованиями к отказоустойчивости? Расскажу:почему разработка видеоаналитики в промышленности отличается от БигТеха;какие ограничения приходится учитывать: отсутствие GPU, изолированные сети и жёсткие требования к отказоустойчивости;
Rules File Backdoor. Как атакуют GitHub Copilot и Cursor и почему «это ваша проблема»
Продолжаем серию статей о взломах ИИ. В прошлый раз было про ИИ-агенты, а сегодня не менее интересный кейс. В начале 2025 года исследователи Pillar Security обнаружили новый вектор атаки, который переворачивает представление о безопасности AI-ассистентов вроде GitHub Copilot и Cursor. Под видом безобидных конфигурационных файлов – тех самых, что задают ИИ правила написания кода – хакерам удалось протащить бэкдоры, вызвав цепную реакцию утечек и ошибок. Давайте разберемся, как безобидный файл с «правилами» превратился в оружие против цепочек поставок.
