llm.
PAD+ AI v4.0: исследовательская когнитивная архитектура поверх LLM
Что происходит между запросом пользователя и ответом языковой модели?За последние несколько лет большие языковые модели совершили настоящую революцию. Сегодня они способны писать код, анализировать документы, помогать в исследованиях, создавать тексты и решать сложные задачи.Однако подавляющее большинство современных AI‑приложений имеют практически одинаковую архитектуру:Запрос → Prompt → LLM → ОтветВся интеллектуальная работа фактически сосредоточена внутри языковой модели, а внешняя система лишь подготавливает запрос и отображает результат.
Запускаем LLM локально на майнинг ферме из 4 GPU
В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были).В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске. Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.
Возвращение аспектно-ориентированного программирования
Привет, Хаброжители!Только подумайте, сколько всего программисту необходимо учитывать при написании кода:1) Корректность: обеспечение того, чтобы программа работала правильно, удовлетворяла всем требованиям, соблюдала все важные инварианты, реализовывала бизнес-логику должным образом и т. д.
От REST к MCP: как LLM меняют принципы проектирования API и архитектуры систем. Часть 1
Привет, Хабр! Говорит Avito Tech. Меня зовут Дмитрий Бондарев, я backend-разработчик, в Авито занимаюсь проектами на стыке разработки и машинного обучения. Из каждого утюга поют о том, как ИИ скоро нас всех заменит. Однако в этой статье я хочу зайти в эту тему с более технической стороны и поговорить о существующих методах интеграции и якобы неизбежном использовании ИИ-агентов в бизнесе и повседневных задачах.
Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите
Это очень интересный длиннопост о том, что именно показывают 5-ти часовые и недельные лимиты в Claude / GPT / Gemini и что происходит под капотом
Как C-level команда за три дня собрала мультиагентного AI-аналитика и выиграла хакатон
В июне в Красной Поляне прошёл пятый South HUB, ежегодный кэмп для C-level в ІТ, который собрал более 500 CTO, CEO, CIO и CPO крупнейших российских компаний. В этом году добавили новый формат – хакатон AI South Hack, оператором которого выступила GIGASCHOOL. Участниками стали руководители, которые в своих компаниях принимают решения о внедрении AI и ставят задачи инженерным командам. На три дня они сами погрузились в разработку: проектировали архитектуру и собирали мультиагентные системы на синтетических данных.
Декодирование в LLM как эволюция стратегий
Привет, Хабр! Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Мы привыкли оценивать большие языковые модели
Большое обновление Meta-Spider. Ручка неуверенности, сторож и фабрика обвязок, а так же новый модификатор поведения
Косплей обложки книги Нейромант ГибсонаЭто статья-продолжение про фреймворк Meta-Spider, который был описан здесь.
Как я учил AI‑аудитора проверять сайты и не ломать отчеты
В общем, базовая история с аудитом страниц: мы каждый месяц отправляли подрядчику несколько страниц на проверку. Отбирали несколько максимально разных. Если находились проблемы на одной, мы также правили и на однотипных. В месяц так проверяли 4–6 страниц. И тут, из очевидных минусов — оплата подрядчика и ожидание.Учитывая, что по сути нужно проверять однотипные вещи, вроде title, description, H1 и, например, ошибки в консоли, то я подумал, почему бы не попробовать отдать это агенту. Да, в деталях всё не так просто, но общая процедура каждый раз плюс‑минус одинаковая, а значит, можно настроить сценарий.
