Reddit использует большие языковые модели для решения проблем LLM
В Reddit разработали инструменты с использованием больших языковых моделей для борьбы со спамом, большая часть которого изначально создавалась с помощью LLM. По данным платформы, ежедневно они блокируют 23 млн спам-просмотров и отлавливают около 25 тысяч новых спам-сообщений и комментариев.
«Четыре шага — и точка» Я сам придумал главное ограничение своего приложения
Пару недель назад я рассказывал здесь, как три ночи чинил рендер, который не был сломан
Облачные модели Apple не запускаются из скриптов через новую утилиту fm
Разработчик Пит Голдсмит (Pete Goldsmith) выяснил, что облачные модели Apple не запускаются из скриптов через новую утилиту fm. Для автоматизации в macOS 27 можно использовать только локальные нейросети, запущенные на Mac.
Можно ли лучше? Activation Steering, pt 2: repeng, pyreft и другие способы найти вектор правильнее
У статьи есть 1 часть: Стягивай куда нужно: Activation Steering Tutorial Привет, друзья! В первой части мы разобрали базовую идею steering-а и реализовали её тремя способами: через сырые PyTorch hooks, через nnsight и через pyvene. Сработала ли наша база? Да — мы это видели. Нормально ли? Нет — и это мы тоже видели: вектор оказался инвертирован, эффект был умеренным, а на некоторых промптах не было никакого. Что с этим делать и как это сделать на питоне — и есть тема второй части.
Как мы строили свою базу данных о киберугрозах для LLM-агентов и SOC
ВведениеСначала задача звучала просто: складывать PDF, CVE и статьи по кибербезопасности в одну базу, затем давать LLM-агенту подходящие фрагменты через HTTP API. На доске это помещалось в одну цепочку: загрузка, извлечение текста, разбиение на части, построение векторов, поиск.Рабочий прототип появился быстро. Настоящая работа началась потом.
Всё, что вы хотели знать про локальные LLM, но боялись заинференсить
Хардкорный NIAH или почему у Gemma 26B память рыбки, какой Qwen лучше, и что показали 8 моделей на RTX 5090Привет, Хабр.Меня зовут Артём Хакимов, я работаю в команде GPUGO.Большая часть наших пользователей, которая не создаёт ИИ-подружек, работает с LLM — кто-то дообучает, кто-то гоняет инференс. И у всех одни и те же вопросы: «что быстрее?», «сколько контекста влезет?», «какой квант брать?».
Как компании строят MLOps без собственной ML-платформы: workflow-фреймворки
Всем привет! Меня зовут Катерина Цаплина, я AI Architect и программный эксперт курса «MLOps для разработки и мониторинга моделей». Работаю на стыке ML, инфраструктуры и корпоративной архитектуры в крупной промышленной компании и на практике вижу, насколько непросто выстраивать такие процессы в реальной организации. Это третья статья цикла о том, как компании реализуют MLOps. В предыдущих частях мы разобрали три архитектурных подхода и рассмотрели Uber Michelangelo
Как я построил систему, внутри которой AI пишет код [Сгенерировано]
Последние полгода я почти не пишу код руками. И, пожалуй, это лучшее изменение в моём процессе разработки за последние годы.Нет, я не перестал быть разработчиком. Просто моя работа изменилась. Раньше большую часть времени я писал код сам. Теперь я проектирую инженерную систему, внутри которой этот код пишет AI. Моя задача — не объяснить модели, что нужно сделать, а создать среду, в которой она физически не сможет принять неправильное решение.В этой статье я покажу, как устроена моя система разработки и почему именно такой подход позволяет использовать AI в реальных проектах без потери качества.Вы узнаете:
