Как работает инференс в больших языковых моделях
Когда вы вводите промпт в большую языковую модель (LLM), машина преобразует ваш текст в числа, обрабатывает их, а потом возвращает ответ токен за токеном. В этой статье мы разберём, что такое инференс (логический вывод) в LLM и посмотрим, как он работает.Что такое большие языковые модели?LLM — это просто нейронные сети, построенные на основе трансформерной архитектуры
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Материал подготовлен в рамках курса «MLOps».Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как снизить стоимость инференса LLM на собственных GPU, не меняя
Почему fallback между LLM может сломать семантику ответа
Когда проектируешь обычный backend, fallback обычно воспринимается как довольно понятный механизм.Есть основной upstream. Если он недоступен, переключаемся на резервный. Если один pod умер, запрос обслужит другой. Если один PostgreSQL read replica недоступен, читаем с другой. Если основной endpoint партнёра отвечает ошибкой, можно попробовать резервный.В большинстве таких случаев мы предполагаем, что резервный исполнитель реализует тот же контракт.С LLM это предположение начинает ломаться.Две модели могут принимать один и тот же JSON, возвращать JSON по одной и той же схеме и при этом фактически выполнять задачу по-разному.
Дискретная диффузия: цепи Маркова с непрерывным временем
Этот материал, задуманный как первый в серии статей о дискретных диффузионных моделях, уже несколько месяцев лежал у меня в черновиках. Выход модели Gemini Diffusion от Google показался мне отличным поводом наконец его опубликовать.
Гореть и не выгореть: психиатр о выгорании в IT
Burnout GIFsДергается ли у вас глаз от уведомлений в рабочих чатах? Код-ревью ощущается как дополнительная нагрузка на уже перегретую систему? Продукт больше не вызывает интереса, а любая новая задача воспринимается с раздражением и желанием «послать ее на небо за звездочкой»?
Flow Matching: обучение и дистилляция
Рисунок 1. Примеры возможностей генеративных моделей: из шума появляются изображения, видео, звук и другие сложные объектыFlow Matching
Jev: модель, которая не пишет текст, а принимает решения
Последний год я слежу за LLM-шным хайпом, и каждый день появляется что-то новое. На этот раз хочу рассказать про Jev — модель TypeSafe System One, которую я изучал последние пару недель. Она сразу меня зацепила: это не очередная LLM, а штука с принципиально другой механикой. Сразу обозначу: не будет «это меняет мир» и «всё гениально просто». Будет сухой разбор от первого лица: что это, как работает и во сколько реально обходится.
AI-native организация начинается с неопределенности: что меняется в структуре, ролях и управлении
Привет, Хабр! Летом у нас была закрытая рабочая сессия технологических руководителей C-Level клуба Онтико. Сессию помогали вести топ-менеджеры из Сloud.ru Анастасия Тафеенко, директор блока разработки платформы Cloud.ru Evolution, и Алексей Молчанов, директор блока разработки облачной платформы. Участники обсуждали, как генеративный ИИ и агенты меняют организационный дизайн, роли, компетенции и работу руководителя на горизонте до 2027 года.
Глава Microsoft считает, что сокращения в Xbox — это «замечательно»
Генеральный директор Microsoft Сатья Наделла назвал «замечательной» оптимизацию в Xbox Game Studios, которую проводит глава этого подразделения Аша Шарма. По его словам, сокращения направлены на создание более качественных игр для Xbox и ПК. Своим мнением Наделла поделился во время интервью на YouTube‑каналах Sources Podcast и Alex Heath.
Три ИИ-направления, за которыми стоит следить в 2027 году
Большие языковые модели остаются главной темой ИИ-рынка. К OpenAI, Anthropic и Google добавляются китайские Moonshot AI и DeepSeek, а в Европе — Mistral. Но в 2027 году инвестору не стоит ограничиваться историями языковых моделей — стоит следить и за другими направлениями: продуктами для конкретных задач бизнеса, инфраструктурой для ИИ, прикладным ИИ в производстве и логистике (Physical AI).Мы проанализировали рынок и разобрались, какие сектора могут оказаться наиболее востребованными в гонке за первенство в ИИ, а также выделили наиболее перспективные имена в рамках каждого из сегментов.
