Как 17B активных бьют 70B плотных: анатомия Mixture-of-Experts (MoE)
Если вдруг вы моргнули на моменте, когда разработчики нейросетей мерились у кого больше цифра рядом с названием модели, а выморгнув, обнаружили, что теперь модно флексить скромными размерами активных параметров, эта статья для вас. Сегодня объясняю, как же так произошло, что все флагманы опенсорса внезапно стали MoE, почему Qwen3.5 на 397 миллиардов параметров строчит токены, как будто ей 17 и почему никто не разорился на видеокартах.Ну и для тех, кому «только спросить» откроем тайну: в каком же кабинете у MoE живет эксперт по медицине.
Shadow AI в CI-CD: почему ИИ-агенты становятся угрозой
Привет, сегодня решила поделиться переводом
H-Neurons: 0.1% нейронов, из-за которых LLM врут
А вы когда-нибудь задумывались, почему ваша любимая LLM-ка на 70 лярдов параметров, обученная на всем интернете, может с уверенностью университетского профессора выдать, например, что Наполеон изобрел электричество? Откуда это берется?Долгое время индустрия списывала галлюцинации на плохие данные, кривой RLHF или декодинг. Но группа ученых из Университета Цинхуа
Открылась регистрация на GoCloud Tech 2026. Ждем всех, кто создает технологии в эпоху ИИ
Хардовая конференция GoCloud Tech 2026 про техническую внутрянку современных облачных решений и ИИ-инструментов все ближе.
Квантизация LLM: как запихнуть 70B модель в свою видюху
Ну что, думаете что для запуска LLaMA 3 70B вам нужна серверная стойка за лярд рублей? Поздравляю, вас обманули маркетологи GPU-вендоров. Модели с сотнями миллиардов параметров — LLaMA 3 70B, DeepSeek-V3 с его 671 лярдом параметров — жрут vRAM как не в себя, но есть способ запихнуть это все в обычную потребительскую видюху.Сегодня в статье разберем, как работает чудо квантизации под капотом, чем отличаются PTQ и QAT, почему MoE-модели (DeepSeek-V3, Mixtral, LLaMA 4 Scout) квантизовать сложнее и как выбрать между GPTQ, GGUF и AWQ.
Как я автоматизировал сборку образов с Ansible и Packer и попал в community.ansible
Полночь, деплой горит, а ты вручную поднимаешь десятый сервер за неделю: копируешь ISO, тыкаешь Enter в консоли анаконды, правишь fstab, чинишь grub и на утро выясняешь, что забыл gpg-ключ репозитория на трех машинах из десяти. Признавайтесь, бывало? Эта статья для тех, кто устал платить временем и нервными клетками за ручную сборку образов.
Нейросети ускоряют все, кроме вашего мозга: как я борюсь с ИИ-выгоранием
Весь последний год я живу с ощущением, что мир вокруг нереально разогнался, а я не поспеваю, хотя гребу изо всех сил. ИИ пишет код, собирает прототипы, строчит саммари, задачи щелкаются в два раза быстрее. Только вот пропускает все это через себя все тот же человек, у которого физиологически ничего не поменялось: те же глаза, руки, ноги, голова, те же навыки концентрации, все те же 24 часа в сутках. При этом порог входа практически в любой домен ну о-о-очень сильно снизился.
Как QA я все равно пишу документацию, но с ИИ трачу на нее часы, а не дни
Привет! Меня зовут Никита, с недавнего времени работаю в Cloud.ru на позиции QA-инженера, отвечаю за качество продукта для совместной разработки под названием Repo. В этой сфере я уже четыре года и успел поработать на проектах в GameDev и веб-разработке.
Что общего у советских НИИ, суперкомпьютеров и гиперскейлеров
Что такое гиперскейлер и в чем его неотъемлемая связь с облачными вычислениями?
