Нужна ли умная модель для рутины? Дал четырём моделям пять одинаковых задач и сравнил
На этой неделе на Хабре спорили, нужны ли программисту самые умные модели: «Я перестал пользоваться самыми умными ИИ‑моделями». Автор считает, что для рутины хватает дешёвых, а упирается всё теперь в скорость. Под статьёй почти триста комментариев. Я прочитал, наверное, половину: мнений много, замеров на одинаковых задачах не нашёл ни одного. Стало интересно, сел и проверил на своих.Что мерилВзял пять задач из тех, что обычно скидываю агенту и иду за кофе. Всё на Python, от одного до пяти файлов:Off-by-one в пагинации, тест падает, надо починить.
ИИ в тестировании: разбираем падения автотестов, оцениваем LLM и строим обвязку агентов
В августе прошёл Bugs Busters — митап для QA-специалистов от ЮMoney. Спикеры компании рассказали, как применяют ИИ для анализа причин падения e2e-автотестов, как устроен инструмент для подбора оптимальной LLM-модели под конкретную задачу и как строить обвязку вокруг агентов. Пропустили митап? Собрали главное из докладов и приложили записи выступлений.Разбираем падения автотестов с помощью ИИ
Как проверяющий ИИ испортил правильные ответы: разбор генератора учебных заданий
В задании на сортировку было слово «маши…ый». Генератор положил его в корзину «Две НН», и это верно. Проверка переложила слово в корзину «Одна Н». Вот ответ модели-арбитра, после которого это случилось, без правок, из сохранённого JSON:{ "n": 4, "a": "Одна Н", "why": "Прилагательное от «машина» с суффиксом -н-: корень оканчивается на н? Нет — «машин-» + -н- даёт «машинный»? В школьной норме пишется «машинный» (две НН), но по данному заданию основа «машин»+н… — фактически верно «машинный»." } Ответ в поле a неверный, а в объяснении модель сама приходит к «машинный». Код читал только a.
Anthropic внедрит функцию для управления личными финансами Claude Money
Компания Anthropic тестирует новую функцию для управления личными финансами под названием Claude Money. Она позволит напрямую подключать банковские счета к ИИ Claude, чтобы лучше понимать свои финансовые дела.
Сорок раундов ревью на код, который уже был отревьюен: что два ИИ-ревьюера нашли друг за другом
В прошлой статье про skillmem — локальную память для кодовых агентов — я рассказывал, как чужой README мог стать правилом пользователя, и как мы закрыли это в 0.10. Тогда код прошёл два независимых ревью, и я считал, что дыра одна и она закрыта.Вчера вышел 0.11.0. Между ними — сорок раундов ревью двумя моделями с разных сторон (одна на стороне Claude, другая на стороне GPT), каждая читала код враждебно и обязана была воспроизвести находку командой, а не рассуждением. Ниже — что из этого вышло и почему я теперь не верю ни одному «чистому» ревью, пока за ним не стоит ещё одно.Правило стопа
Новый стек, новые задачи, новые навыки: 42 бесплатных урока сентября
Новые инструменты появляются быстрее, чем успевают сформироваться привычные рабочие процессы: искусственный интеллект меняет подходы к разработке и аналитике, инфраструктура становится сложнее, а от специалистов ждут всё более глубокого понимания технологий.При этом часто возникает практический вопрос: что изучать дальше, чтобы решать более сложные задачи в работе? Как выбрать тему, которая поможет развиваться в текущей роли и подготовиться к следующему карьерному шагу?
Completion gate для локальных моделей: как отделить завершённый ответ от оценки качества
В одном из сравнений локальных моделей я получил результат, который приятно показывать в таблице: три маршрута выполнили по десять сценариев из десяти. Медиана быстрого маршрута составила 28,9 секунды. Более тяжёлому потребовалось 99,1 секунды, смешанному — 71,0.Если смотреть только на колонку «принято», маршруты равны. Если добавить время, победителем выглядит быстрый. Если учесть ремонты результата, картина снова меняется: маршрутам потребовалось соответственно три, два и одно исправление.
Как использовать облачные AI модели внутри контура компании и не получить по шее от ИБ?
Или пример того, что будет, если роль пакетного менеджера доверить AI.Короткий ответ — используйте шаблоны.Шаблон
5,75 миллиарда токенов за полгода: как я перестал жечь контекст в Claude Code
Полгода назад я начал писать веб-лист персонажа для D&D 5e. Сейчас это D1MANYCH/dnd-app: ванильный JS без сборщика, 44 модуля, ~70 000 строк, 597 коммитов, версия 3.91.0. Код в нём почти целиком написан Claude Code — я держу архитектуру, ревью и решения по контенту. Текст этой статьи тоже написан ей — по моим замерам, структуре и правкам. Раз уж за такое иногда прилетает, говорю сразу, в первом абзаце.Проблема, ради которой всё затевалось: лимиты подписки заканчивались к обеду. Не потому, что я много просил, а потому, что просил неправильно. Ниже — как я это измерил, что нашёл и что поменял.
Что изучить в начале осени: 34 открытых урока для тех, кто развивает карьеру в IT
Начало осени часто становится точкой перезапуска: хочется вернуться в рабочий ритм, обновить знания и разобраться с технологиями, которые уже влияют на профессию. Но когда появляются новые инструменты, фреймворки и подходы, бывает сложно понять, чему уделить внимание в первую очередь.Мы собрали открытые уроки на конец августа и первую половину сентября — от разработки и инфраструктуры до искусственного интеллекта, аналитики и управления.
