llm. - страница 71

llm.

Кто нашёл больше багов — агент или человек? Мои замеры 11 недель работы с AI-тестировщиком

Одиннадцать недель я вёл дневник каждой рабочей сессии с Claude Code: сколько часов работал агент, сколько я был рядом, кто нашёл каждый дефект и что случилось с каждым кандидатом — подтверждён, снят или ушёл вопросом. Вместо впечатлений — таблица: 277 агентских часов, 213 моих, 94 подтверждённые находки. Первая версия этого счёта оказалась завышенной почти вдвое — куда делась половина, тоже расскажу.Это четвёртая статья про paranoid-qa — опенсорсный пак скиллов, который заставляет Claude Code тестировать с доказательной дисциплиной. В первых трёх я показывал методику: вердикты только с пруфами,

продолжить чтение

Сторонние MCP: троянский конь для ИИ-агента

продолжить чтение

Почему MVP и тесты гипотез — это плохо: адаптация lean startup под бигтехи

В любой компании нужно решать, над чем и как работать. Одна из широко распространённых методологий для принятия таких решений в IT — lean startup, то есть небольшие итерации с тестированием гипотез. Этот подход настолько привычен для индустрии, что многие команды даже не отдают себе отчёт, что используют его.Проблема в том, что lean startup не работает «в лоб», если вы не стартап:: я знаю много команд, чье использование MVP и тестов гипотез обернулось впустую потраченным ресурсом и привело к разочарованию в подходе.

продолжить чтение

Инженерный ИИ: контекст проекта, математическое ядро, проверяемыерасчеты и ответственность

Современное инженерное программное обеспечение давно перестало быть одним расчетным инструментом.В одной среде инженер может разрабатывать компьютерные модели изделий, их составных частей и связанных с ними процессов, выполнять расчет компьютерных моделей численными методами, проводить виртуальные эксперименты, анализировать результаты, разрабатывать алгоритмы и генерировать исходный код для встроенных систем.Именно в таком смысле далее используется выражение инженерная платформа

продолжить чтение

Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов

Привет, Хабр! На связи команда R&D в Just AI, мы занимаемся исследованиями в области NLP и GenAI, чтобы продукты компании держали статус SOTA на рынке. В частности мы отвечаем за guard-модели и бенчмарки для продукта Jay Guard, о которых и пойдет речь в этой статье.

продолжить чтение

Почему нельзя просто загрузить историю с фитнес-браслета в LLM и попросить оценить здоровье

Исследователи из Meta и KAIST решили проверить очевидный на первый взгляд вопрос: если дать большой языковой модели реальную историю измерений с фитнес-трекера — пульс, сон, шаги за полгода — сможет ли она разобраться в этих данных так же уверенно, как рассуждает о здоровье вообще? Результат оказался неожиданным. Модели гораздо хуже справлялись с простыми вычислениями по самим цифрам, чем с клинической интерпретацией того же ряда. GPT-4o правильно считал тренды и аномалии лишь в четверти случаев, а вот рассуждал о рисках для здоровья на основе тех же данных вдвое увереннее.

продолжить чтение

Давай по новой, Миша: speculative decoding от черновика до проверки

Маленькая модель быстро генерирует несколько следующих токенов, а большая проверяет их сразу одной пачкой. Подходящие токены принимаются, а с первого расхождения большая модель продолжает генерацию сама. При корректной реализации итоговое распределение остаётся тем же, что и при обычном декодировании. В speculative decoding большая модель буквально говорит черновой: «Давай по новой, Миша».На первый взгляд кажется, что ускорение здесь обязательно покупается ценой качества. Но нет: это как раз тот случай, когда можно ускорить генерацию без такого компромисса.

продолжить чтение

Промпт — не контракт: замерил, как часто модель нарушает жёсткие правила, и вынес их в код

У меня в проде работает ИИ-консультант на сайте. У него есть два правила, которые нарушать нельзя вообще: не называть цены и не называть клиентов, которые под NDA. Оба правила были написаны в системном промпте капслоком, с объяснением почему.Я замерил, как они соблюдаются. Получилось так:правило «не называй цен» модель срывает примерно раз на восемь прогонов;имя клиента под NDA проскакивало раз на пять.

продолжить чтение

Как я понял, что делаю x16 на Cursor — и почему убрали цену

Холмс, у меня к вам дело, и начинается оно, как все скучные дела, с бухгалтерии.Я плачу за Cursor $60 в месяц. На днях я открыл страницу расходов, чтобы посмотреть, много ли я потратил за неделю, и обнаружил, что смотреть там абсолютно не на что. Вижу 321 запрос, и напротив каждого — слово «Included», то есть «включено», и ни одной суммы.Сначала я решил, что это глюк сайта. Потом выяснил, что нет: цифры убрали намеренно, полтора месяца назад, и компания объяснила, почему. Объяснение взволновало меня. Доллары в реальных расходах часто оказывались больше, чем стоит сам план, и это смущало людей.

продолжить чтение

Как я строю нейросимвольное извлечение условий из тендерных документов

Почему лучший кандидат не всегда правильный Рабочее название прототипа: Tender Semantic Engine (TSE)Если фрагмент оказался неправильным ответом на один вопрос, сначала стоит проверить, не является ли он правильным ответом на другой.Задача, которая только кажется простойЯ разрабатываю настольную систему для работы с тендерами. Один из ее модулей должен читать комплект закупочной документации и переносить в карточку тендера конкретные условия: порядок оплаты, аванс, срок и место поставки, гарантию, обеспечение, штрафы и другие обязательства сторон.

продолжить чтение