Развернул Gemma 4 31B на одной 4090 48GB — и проверил, нужен ли Q8
В прошлой статье я собрал бенчмарк под свою работу, и в практике победила Gemma 4 31B — мгновенный отклик, дёшево, почти как у 744-миллиардного гиганта. Логичный следующий шаг: поднять её у себя в контуре и ответить на два вопроса, которые все задают и никто не меряет.→ Нужен ли «честный» Q8, или хватает 4-бит? → Переживает ли нормально tool-calling квантизацию?Спойлер: Q8 не дал ничего, а tool-calling держится — но не из-за кванта. Дальше — как разворачивал, на чём споткнулся, и цифры.Железо и стекОдна RTX 4090 на 48 ГБ (спот), llama.cpp
Средовой подход вместо системного: как проектировать ИТ-продукты, которые растят сами себя
Привет, Хабр! В своей прошлой статье про будущее ИТ я писал о важности формулирования новых вызовов в индустрии:
Внедрение вайб-кодинга вызвало раскол в инженерных командах
Партнёр венчурной фирмы Menlo Ventures Диди Дас рассказал, что внедрение ИИ-инструментов для вайб-кодинга спровоцировало глубокий внутренний раскол в инженерных командах. В итоге у опытных специалистов развивается депрессия, отметил он.
80% мирового HBM. Как Корея захватила рынок памяти для ИИ
Какой главный корейский продукт? Многие назовут автомобили, электронику и бытовую технику, сериалы, косметику или даже K-Pop. Но главный корейский продукт другой. Без него не работали бы смартфоны и ноутбуки, не было бы ИИ-бума, а весь мировой прогресс серьёзно бы замедлился. Эта корейская суперсила - память. В этой статье мы разберемся, как небольшая азиатская страна, отнюдь не сверхдержава, подмяла под себя главную драгоценность мировых технологий.Начнём с одной новости. В мае Samsung вошёл
Как эволюционировал ИИ в разработке и что теперь нужно уметь начинающему программисту
Хабр, привет! Меня зовут Сергей Бережной, я директор по взаимодействию с разработчиками и CTO в Яндекс Практикуме. Занимаюсь обучением в IT, наблюдаю за тем, как меняется рынок, — и вижу изнутри, как эволюционирует работа с ИИ в командах разработки. В этом посте хочется порассуждать, как меняется подход к ИИ-инструментам, что это значит для начинающих программистов и какие навыки становятся критичными прямо сейчас.Вместо предисловия: «индустриальных стандартов» не существует
