Масштабирование LLM: от одного чипа до ЦОДа. Глава 3. Сколько ресурсов нужно для LLM?
Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая главаСчитаем количество операцийА теперь перейдем к чему-то более практическому, а именно к тому, сколько нужно FLOPs и байт для работы трансформера, той самой архитектуры, которая лежит в основе практически всех современных LLM. Подразумевается, что у вас уже есть представление о том, что такое архитектура трансформера, как работает механизм внимания и т.д.Давайте начнем с векторов x, y и матриц A, B, имеющих вот такие размеры, допустим один элемент занимает при этом один байт.
Проектирование архитектуры в нотации ArchiMate с использованием ИИ. Часть 2
“Процесс проектирования любой системы, предназначенной для решения определенных задач, начинается с определения того, что надо спроектировать.”, Крэг Ларман (Craig Larman).Всем привет! Меня зовут Владимир Зуев, я руководитель разработки JAVA-практики в компании Axenix. Сегодня я хочу представить новую часть из цикла статей о нотации ArchiMate. В прошлой части мы познакомились с ArchiMate и начали проектировать систему управления беспилотным грузовым автотранспортом для междугородних перевозок. В этой части мы продолжим выполнение данной задачи.
Контент-завод в 2026 году: разбор автономных систем, который отговорит вас это покупать
Заходишь в любой телеграм-канал про AI: контент-завод, AI-фабрика контента, нейроконвейер. 5к запросов в вордстате за май. Слово сейчас примерно как «нейросеть» в 2023-м: написал в шапке курса, уже эксперт.Обещание у всех одинаковое – автономия. Поставил систему на крон и забыл. К утру в запретграме полсотни роликов и триста новостей в телеге. Зарплат живым людям платить не надо. Ну кайф же.
Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит
Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов не начинают падать. Агент возвращает не тот документ, редактирует не тот файл, молча падает или уверенно ссылается на файл, которого не существует. Поиск по фото отказывает с той же частотой. Ошибки размазаны равномерно по пользователям, фичам и запросам.
Spec-driven development в микросервисах, часть 2: как archspec делает контекст сервисов явным
Вторая статья из цикла из трёх частей.Часть 1 — где LLM теряет межсервисный контекст и почему локальных спек недостаточно.
AI обнулил benchmark и пытался шантажировать инженера. И почему это решаемо
В прошлой главе я разобрал три провала чужих AI-агентов в проде - PocketOS, потерю production-базы Replit и сценарии GitHub Copilot, в которых агент действовал быстрее, чем человек успевал сказать стоп.Финал был честный: эти три - не про то, как делать правильно. Это места, где меня поймало бы, если бы я не прочитал разборы до того, как Lexis стал продуктом для людей.И я обещал в следующей главе перейти с уровня отдельные истории на уровень данных. Конкретно - две вещи.Первая: ProgramBench. Топ-модели, которые закрыли SWE-bench на 95%, на ProgramBench показывают 0% и 3%. Не упали на десять пунктов - обнулились.
Я построила диагностику «стоит ли это автоматизировать» — и она трижды говорила глупости. Разбор ошибок
Инфографика-диалог из четырёх реплик между заказчиком и аналитиком, мемная
Масштабирование LLM: от одного чипа до ЦОДа. Глава 2. Шардинг
Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая глава находится по этой ссылке.Итак, с основами разобрались, давайте теперь разбираться с тем, как распихать матрицы по нескольким чипам, перемножить, а затем собрать это все в удобоваримый результат. По-умному это называется шардинг.
