Эвалы для LLM-фич. Часть 1: зачем они нужны
Всем привет!Меня зовут Тарас Малиновский, я бэкенд‑разработчик, работаю на Go. Последний год почти целиком ушёл на проекты в сфере искусственного интеллекта: делал ассистентов, агентов, разные инструменты и навыки.Недавно участвовал в хакатоне от Podlodka AI Club — мы собирали систему памяти для агентов. Саму память реализовали довольно быстро, а вот доказать, что она реально работает, оказалось куда сложнее. На это и ушло больше всего времени.
Haiku поставила PASS и указала существенную ошибку: как мы разбирали отчет ревью
Проверка замечаний в отчете ревьюПри вычитке десяти статей для блога мы получили от Haiku такой отчет. Фрагмент сокращен:{ "verdict": "PASS", "meaning_preserved": true, "issues": }
Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM
Вот результат обработки искусственного документа нашим локальным Pii-Mask:{{PERSON_1}}, инженер. Номер в отраслевом реестре: Z-99-65432104. Маскер закрыл ФИО, но оставил номер. Здесь он вымышленный; в настоящем документе такой идентификатор может позволить найти человека в открытом реестре. Успешное завершение маскера этого не исключает.Перед передачей текста в модель мы ищем в нем известные идентификаторы документа. Список для этой проверки составляется по исходному материалу: если брать только найденные маскером сущности, пропущенный идентификатор не попадет в список для проверки.Что проверяем
Как Cursor заменил мне Stack Overflow, ускорил отладку и вернул интерес к пет‑проектам
1. Стадия первая: скептицизмВ самом начале, когда начали появляться первые ИИ‑агенты и плагины для IDE‑шек, я думал: а, очередная новомодная фишка. Надо будет как‑нибудь посмотреть, когда время будет. Тогда я еще не подозревал, насколько мощные эти инструменты, а ChatGPT и прочие генеративные нейросети воспринимал как «прикольную игрушку».В то время я искал решения на Stack Overflow, адаптировал и вставлял в код, вручную отлаживал. Тогда ИИ для меня был просто нейросетями на Keras, которые еще надо обучать и которые годятся только для кредитного скоринга или подобных задач.
Claude забанил: AI‑сервисы с подпиской, работающие из России
Всем привет! Нет, я не навайбкодил очередную обёртку над OpenRouter и не буду продавать её в этой статье. Повод не случайный: очередная массовая волна банов от Anthropic — на этот раз банят даже давно живущие, трастовые личные аккаунты.Кто я: Лёша Жиряков, амбассадор агентной AI‑разработки, веду воркшопы, делюсь опытом. Меня на них часто спрашивают, на чём жить, если основные инструменты отвалились. Код писать надо вчера, а что вообще пускает с российского IP, толком никто не знал. Я взял curl и прошёлся по 25 сервисам.TL;DR: с домашнего IP, без VPN и прокси, по 25 сервисам: живых 9
Зелёный пайплайн ничего не доказывает. Семь способов, которыми quality gate пропускает брак в прод
Каждая секунда на счету, когда надо запускать manual джобуif roc_auc < 0.85: exit 1
Как перестать ревьюить правки, о которых никто не просил
С приходом ИИ‑агентов в разработку, кода стало больше, а вместе с ним и шума. Пулреквесты растут, держать агента в рамках задачи становится сложнее, а через голову человека проходит всё больше кода. Ревью превращается в основную нагрузку и зелёные цифры добавленных строк в заголовке начинают напрягать ещё до того, как его откроешь.Типичная картина: пулреквест на небольшую фичу, а в нём правки в десятке файлов, которые к задаче не относятся. По отдельности они могут быть полезными, но вместе они превращают пулреквест в солянку.Проблема: агент видит больше, чем успевает сделать
Фабрика кода с выключенным светом: почему Хорти зовет обратно читать код, и что у меня с этим сходится
Разбор эссе Dex Horthy (HumanLayer) “Why Software Factories Fail (or: harness engineering is not enough)”: GitHub.Обсуждение на Hacker News.О чем спор
Я сказал агенту сделать ревью кода, а он пропустил в кодовую базу инъекцию. Насколько это реально и как защищаться
Чем дольше я пользуюсь ИИ агентами, тем ленивее я становлюсь. Сперва ИИ писал мне отдельные небольшие кусочки кода. Потом стал писать весь код, а я делал ревью. Затем делать ревью мне самому стало лень, и я для этого тоже стал использовать ИИ. «‑ Эй, Клод, глянь‑как вот этот пулл‑реквест, все ли там в порядке? Если да, то вмерджи». Вкалывают роботы — счастлив человек!
