llm.
Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах
Есть простая практическая задача, из-за которой я вообще все это затеял. Вы берете маленькую модель, квантуете ее, чтобы она влезла в ноутбучную видеокарту, и хотите заранее понимать, насколько просядет ее способность вызывать инструменты. Обычно для этого смотрят на BFCL или ToolACE: там все измерено, есть таблицы, есть готовые цифры деградации по уровням квантования. И кажется логичным, что этими цифрами можно пользоваться.
Дискуссия «Дивный новый SDLC: с какой реальностью мы столкнулись, «ускорив» разработку»
Год назад IT-индустрия начала массово внедрять кодинг-ассистентов. За это время разработчики успели их полюбить, возненавидеть и сделать частью ежедневной рутины. Но что изменилось на самом деле? Растет ли эффективность? Нужно ли заставлять программистов пользоваться ИИ? Кто теперь пишет код, а кто его только ревьюит?Делимся хайлайтами с технической дискуссии Conversations. В главных ролях: ВТБ, Т-Банк, Dodo Engineering и S7 TechLab.
Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне
Иногда самое опасное в исследовании — получить слишком красивый результат.Мы собрали training-free детектор галлюцинаций для RAG, получили хорошие метрики и наткнулись на группу примеров, где все шесть LLM единогласно спорили с эталонной разметкой. Сначала мы решили, что нашли общую слепую зону LLM-as-a-Judge — переносимый, заголовочный результат. Потом открыли первоисточник. И оказалось, что ошибались вовсе не модели.Дальше — история о том, почему несущим здесь оказалась не находка и не детектор, а процедура проверки, которая поймала нас самих.Что работает — и это мы не отзываем
Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment
На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment, какие у него есть подводные камни.В этой статье - чеклист по GPT-like моделям, prompt engineering, этапам обучения LLM и alignment. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.Содержание:
JetBrains добавляет командное управление ИИ-инструментами для разработки
JetBrains объявила о запуске JetBrains AI for Teams and Organizations — набора возможностей для команд и компаний, которые уже используют ИИ в разработке, но сталкиваются с разрозненными инструментами, контекстами и расходами.Идея не в том, чтобы заставить всех разработчиков перейти на один ИИ-инструмент. Напротив, JetBrains делает ставку на более гибкую модель: разработчики продолжают работать в привычных IDE, терминальных агентах и внешних сервисах, а организация получает общий слой управления, контекста, политик и аналитики.Зачем это нужно
Как я разработал легковесный Guardrails для русского языка
Всем привет, меня зовут Максим. Я автор Telegram‑канала Максим Максимов // IT, AI. В этой статье расскажу о том, как я реализовал свою идею создать guardrails, который будет простым, работать быстро, но в то же время готовым к внедрению в производство. Поехали!СодержаниеЧто такое GuardrailsИдея lite‑guardrails Основная бизнес логикаAPI‑сервисИнтеграция с LiteLLMПанель администратораSDK для взаимодействия с сервисом
От REST к MCP: как LLM меняют принципы проектирования API и архитектуры систем. Часть вторая
Привет, Хабр! На связи Дмитрий Бондарев, я backend-разработчик Авито — занимаюсь проектами на стыке разработки и машинного обучения. В первой части этого материала мы обратились к истокам API и существующим ограничениям интерфейса в работе с агентами.
Под капотом у MOLOT’а: обзор ML-модели для обнаружения вредоносного кода
Всем привет! На связи Максим Митрофанов, руководитель ML-команды Application Security в Positive Technologies.
