«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24
Привет, Хабр! Меня зовут Сергей Нотевский, я AI Platform Lead в Битрикс24. Моя команда отвечает за модельки под капотом наших AI-сервисов.«Давайте просто развернём свою LLM на 1Т параметров» — с таким названием я выступал в июне на Saint HighLoad++. В статье пройдём тот же путь: от продукта с одним endpoint до платформы вокруг моделей.
МАЯК: сначала документация, потом кнопки
Я не люблю писать документацию. Чек-листы, планы тестирования, блоки проверок, схемы — вот это всё. Не люблю, потому что, пока ты это пишешь, теряется время на главное: разбираться и тестировать систему, с которой ты работаешь.Идея её автоматизации жила у меня с первого дня в ИТ — тогда мне её жизненно не хватало. Но понятного пути, как это реализовать, не было ни в голове, ни в OSS, нигде. Ну или я не нашёл — такой вариант тоже не отметаю.
Как экономить токены AI‑агентов при работе с кодовой базой: 5 универсальных паттернов
AI‑агенты всё глубже входят в обычный процесс разработки. Они уже не только генерируют отдельные функции, но и исследуют существующие проекты, ищут нужные файлы, анализируют архитектуру, запускают тесты и проверяют результат. Причём это касается практически любой разработки.И здесь на достаточно большой кодовой базе быстро появляется проблема: расход токенов начинает расти гораздо быстрее, чем объём написанного кода.
Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок
В прошлой статье были только опыты. Теперь давайте расскажу подробнее: это шаги к новой архитектуре — LANN-4 и что это такое?Если короткоВ первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
Дешёвый прогноз, дорогая проверка: кто платит за страх перед ИИ
Небольшой дисклеймер: ниже моя статья=ответ на недавний разбор "цены кода" ( https://habr.com/ru/articles/1091806/ ). Чтобы, как говорится, не изобретать велосипед, я в первой части кратко опираюсь на те же четыре источника, что и автор, и пересказываю по его тексту, кроме METR и Replit, которые сверил с первоисточниками. Дальше отталкиваюсь от них: переношу механизм "создать дёшево, проверить дорого" уже на прогнозы об ИИ и показываю изнутри, как дорогая проверка выглядит в моих проектах и на моих серверах.
Агентный поиск на open-source моделях: кого нашёл, сколько потратил и где всё сломалось
У меня давно была одна идея: хочу сделать свой агентный поиск на открытых моделях и со своим контролем над источниками. Не чтобы сэкономить на подписке, а скорее понять: какой минимум (технологического стека) нужен, чтобы агент нашел конкретную информацию, с проверяемым источником и не выдумал ссылку?
Восемь допущений о безопасности, которые ИИ-агенты тихо ломают
Если вы читаете Ethics.Dev, то наверняка заметили, сколько в последнее время историй, где ИИ-агенты сталкиваются с кибербезопасностью. Некоторые звучат как сценарий фильма: агенты выбираются из тестовых окружений, переговариваются по каналам, которые для этого никто не предназначал, находят уязвимости, крадут учётные данные и добираются до продакшена.

