llm.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая главаНу и наконец рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки, потому что теперь приходится учитывать еще один фактор - задержку. Так что давайте разбираться, как устроен инференс LLM и как его правильно масштабировать.Основы инференсаИтак, мы натренировали трансофрмер и теперь хотим использовать его по назначению - принимать на вход промпт и генерировать в ответ всякие разные новые последовательности токенов/букв.
753B на одной видеокарте: разбор FreeToken
Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке
Сложность через сжатие. Разбираю проект нейросимвольного ИИ Сергея Шумского
Инженеров раздражает крайне низкая интерпретируемость нейросетей на базе трансформеров. Бизнес раздражает отсутствие гарантий правильного ответа. И всех пользователей весьма беспокоят галлюцинации LLM.Именно поэтому исследователи работают над альтернативными архитектурами ИИ, пытаясь устранить недостатки LLM. Одно из направлений таких исследований, это использование принципов символьного ИИ.В этой статье я рассматриваю концепцию кандидата физико-математических наук, известного IT-исследователя Сергея Шумского.Символьный ИИ
Почему Java-разработчики слишком доверяют рекомендациям ИИ
Представьте: в пятницу вечером руководитель уверенно сообщает, что переход со Spring Boot 3.5 на 4.0 будет простым и его можно закончить за выходные. Скорее всего, вы уточните, на чём основана такая оценка, и напомните о несовместимых изменениях.Теперь заменим руководителя на GitHub Copilot или другую большую языковую модель (LLM). Она предлагает рефакторинг метода, новую зависимость или готовый шаблон реализации. Ответ выглядит аккуратно и звучит уверенно. Модель не предупреждает, что может ошибаться. Возникает вопрос: проверяем ли мы такой код столь же строго, как заявление руководителя, или сразу принимаем его?По данным
INDB: когда все лгут, помнит, что вы видели
В любой записи в базу зашито допущение: у факта одно значение. Два несовпадающих наблюдения об одном объекте — конфликт, который положено разрешить до коммита, и разрешается он UPDATE. Пока данные генерирует ваш же код, допущение верное.Ломается оно на наблюдениях. Сенсоры расходятся в показаниях, и оба показания настоящие. Агент пишет о состоянии файла, который человек уже поправил руками. Два источника сообщают разное, и разрешить противоречие в момент записи нечем — контекст, в котором одно из них весит больше, появляется только в момент вопроса.INDB стоит на этом:
(Не)видимая цена интеллекта: почему экономия на LLM убивает ваши агентные системы
Разработчики агентных систем оказались в странной ситуации. Модели становятся дешевле, но задачи решают хуже. Провайдеры соревнуются в снижении цены за токен, а команды радостно переходят на облегчённые версии, экономя на вычислениях. Экономия очевидна — до первого столкновения с реальной задачей.
Что нового в Claude Code: разбор восьми августовских релизов
С 13 по 21 августа Anthropic выкатила восемь версий Claude Code, с 2.1.232 по 2.1.239. Список читается как обычные патчи CLI, пока не замечаешь, что почти всё в нём про одно: агентов у вас будет много, и работать они будут долго.Ниже — что реально приехало. Часть я прогнал на своей машине с 2.1.239 под Linux, часть взял из официального changelog, и я отмечаю, где что.Агенты перестали быть одиночкамиГлавное изменение серии лежит в 2.1.232, и его легко пропустить за строчкой про subagent forking.Субагент, запущенный с subagent_type: "fork", теперь наследует весь контекст текущего разговора и prompt cache
Что такое RAGFlow и с чем его едят
Если вы хоть раз пользовались LLM, то почти наверняка сталкивались с двумя ее классическими болячками: галлюцинациями и устаревшими знаниями. А когда дело доходит до рабочих задач, появляется еще одна проблема — как использовать внутренние документы компании, не выкладывая их в открытый доступ.

