ai.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая главаНу и наконец рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки, потому что теперь приходится учитывать еще один фактор - задержку. Так что давайте разбираться, как устроен инференс LLM и как его правильно масштабировать.Основы инференсаИтак, мы натренировали трансофрмер и теперь хотим использовать его по назначению - принимать на вход промпт и генерировать в ответ всякие разные новые последовательности токенов/букв.
Кого обслуживает твой сайт на старте, юзеров или ботов? Как оценить нужную производительность? Реальные измерения
Началось все с ИИ. Решил я начинать внедрять ИИ во все что возможно свои проекты так как начиная с 2026 года они стали настолько толковыми, что можно уже стало реализовывать довольно большие проекты вообще не привлекая кодеров. Конвертируя задачу в код посредством только ИИ. Про другие не скажу но у меня работает Claude. Ну и поскольку появился рабочий инструмент то понадобилось иметь про него максимум информации при том что именно сейчас крайне высока динамика и знать постоянно все новинки с рынка это просто профессиональная необходимость. И сделал я сайт для сбора новостей об ИИ силами ИИ. И тут выяснилось интересное.
Что такое RAGFlow и с чем его едят
Если вы хоть раз пользовались LLM, то почти наверняка сталкивались с двумя ее классическими болячками: галлюцинациями и устаревшими знаниями. А когда дело доходит до рабочих задач, появляется еще одна проблема — как использовать внутренние документы компании, не выкладывая их в открытый доступ.
TrueForge: открытая обвязка, которая превращает LLM в полноценного агента
Собрать демо-агента сегодня несложно. Подключаешь модель, добавляешь пару инструментов — и она уже читает файлы, вызывает API и бодро обещает выполнить любую задачу.Сложности начинаются, когда такого агента нужно запустить в проде.Кто будет хранить состояние между запросами? Как пережить перезапуск? Где выполнять сгенерированный код? Как не передать ему секреты? Когда запрашивать подтверждение пользователя? Что делать, когда контекст разрастается до сотен тысяч токенов?Обычно каждая команда собирает эту обвязку самостоятельно. TrueFoundry решила открыть свою реализацию — TrueForge.
Превращаем сгенерированные ассеты в анимации часть 1
В предыдущем эксперименте мы сравнивали между собой три модели, генерировавшие ассеты по одному промту Гроком и Nano Banana Pro. А что будет, если собрать некоторые из них в анимации? Хоть я и не аниматор, я попробовал справиться со столь одиозным таском и посмотреть что получится.БроневичокСпрайт-лист Nano Banana Pro
Почему мы не нашли готового PII-детектора для русского языка: грабли боевого контура перед LLM
Меня зовут Андрей Непряхин, я технический директор AGIMA. Этот текст — разбор контура, который мы построили и держим в бою: что в нём устроено так, а не иначе, и чем мы за это заплатили.
Агенты пишут код, а кто его проверяет?
AI-агенты постепенно меняют привычный процесс разработки: человек всё меньше пишет код напрямую и всё больше выступает в роли оркестратора — ставит задачи, направляет агентов, проверяет результат и выстраивает вокруг них целую экосистему инструментов.
Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель
Есть компании, где вопрос «какую модель выбрать» отходит на второй план, а первым встаёт другой: выйдут ли данные за периметр. Банк, госкорпорация, оборонный подрядчик, медицинский холдинг. И если ответ «выйдут, но мы всё обезличим» — начинается тяжёлый разговор. Обезличивание не даёт технической гарантии: достаточно одного не вычищенного поля в выгрузке или сочетания признаков, по которому человек восстанавливается. А отвечать за это решение будет конкретный человек — и чем выше цена ошибки, тем охотнее он выбирает вариант, где данные просто никуда не уходят.
AI‑агенты в крупном бизнесе: где сейчас рынок, что построили мы и как внедрять, чтобы взлетело
Привет, Хабр! Я, Катрушенко Максим, занимаюсь внедрением ИИ в Первой Грузовой компании — крупном железнодорожном операторе на рынке грузовой логистики. Последние полгода активно изучаю тему использования ИИ‑агентов в больших компаниях. Многие рассказывают захватывающими истории, как раньше ничего не работало, а теперь «полетело», кто‑то смело делится провалами. Хочу поделиться, что получилось сделать у нас за довольно ограниченный срок и какой опыт мы извлекли.
[4-8] Semantic Context: как LSP помогает LLM понять код
Fill-in-the-Middle: как модель дописывает код в середине файла Autocompletion: как LLM создает подсказки кода Context Ranking: как выбрать полезные фрагменты из репозиторияВ предыдущей заметке обсуждалось как искать похожий код в репозитории. Для этого мы брали код около курсора, превращали его в поисковый запрос, находили кандидатов через BM25 и добавляли наиболее релевантные фрагменты в контекст модели.
