Внутри vLLM: Анатомия системы инференса LLM с высокой пропускной способностью
Привет! Этот пост — перевод очень хардовой статьи про внутренности vLLM и того, как устроен инференс LLM. Переводить было сложно из-за англицизмов и отсутствия устоявшегося перевода многих терминов, но это слишком классная статья, и она обязана быть на русском языке! А дальше — слово автору:От paged attention, непрерывного батчинга, кэширования префиксов , specdec и т.д. — до мульти-GPU и мультинодового динамического сервинга LLM под нагрузкой.
От LangChain к LangGraph: детально разбираемся с фреймворками и всей Lang-экосистемой
LangChain или LangGraph? Какой фреймворк для ии-агентов выбрать? А может быть LangSmith? Или LangFuse? LangFlow? Если вы сходу не отличаете все эти Lang между собой или просто хочется побольше узнать о внутренностях LangChain и LangGraph, то добро пожаловать в эту статью, которую мне хотелось сделать фундаментальной, чтобы ответить сразу на все возникающие вокруг LangChain вопросы.Поговорим про архитектурные различия между LangChain и LangGraph, их подходы, посмотрим как это выглядит в коде, поищем лучшие точки применения и взглянем на сформированную экосистему вокруг.
За гранью человеческой интуиции: как ИИ создает странные, но сверхэффективные аналоговые микросхемы
Прорыв, который поставил инженеров в тупикИнтегрированные схемы и микросхемы миллиметрового и терагерцового диапазонов, как ожидается, станут основой будущих беспроводных сетей и систем высокоточного зондирования. Однако их проектирование - это вовсе не «щёлк-щёлк в CAD и готово». Это многолетний опыт, бесконечная ручная настройка топологий, совместное проектирование с заранее выбранными шаблонами электромагнитных структур и горы симуляций.
Оглушающая музыка тишины
ВведениеВ уже далеком 2000 году посчастливилось мне побывать на всероссийском слете экологов в Пушкиногорье. Много интересного там приключилось, но остановлюсь на одном воспоминании.
Пожиратель токенов (или нет): анатомия протокола MCP для ИИ-агентов
Поводом написания этой статьи послужил подслушанный диалог:— А на чем у вас агенты написаны?— У нас на MCP!Для меня MCP всегда был просто протоколом, то есть именно способом отправки и обработки запросов. А когда я слушал выступления или читал некоторые статьи о том, как плох/хорош MCP, меня не покидало ощущение чего-то странного. Но я все же решил, что это от незнания и я чего-то не понимаю. А когда не понимаешь, но очень хочешь понимать, то самый лучший способ — это взять и разобраться.
ЗАВОД НА ВСЕ 100! КАК ПОЛУЧИТЬ КОНКУРЕНТНОЕ ПРЕИМУЩЕСТВО ЗА СЧЕТ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ ДЛЯ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
Часть 1. «Цифровая пена» всё сильнее затягиваетС одной стороны за несколько сотен лет принципиально не изменилась логика производства продукта: оборудование и рабочие на основании технологических карт/рецептур перерабатывают сырье и материалы в полуфабрикаты и готовую продукцию, передавая результат своей работы дальше по участкам до склада готовой продукции для отгрузки покупателям, при этом собственники ожидают максимальной отдачи от инвестиций.
Как российским властям привлечь на свою сторону IT-шников и прочих интеллектуалов?
Попытаться найти общий язык никогда не поздно!Давайте признаем, что у российской власти есть некоторые проблемы с лояльностью российских же IT-шников
Три кита управляемого ИИ: От хаоса «чёрного ящика» к прозрачности и прибыли
Введение: Иллюзия эффективности, или почему ваш ИИ учится вам лгать
