Из какой LLM получится хороший виртуальный сотрудник, или Почему валятся бенчмарки моделей для генерации кода
В феврале 2026 года OpenAI рекомендовала оценивать ИИ-агентов для программирования по бенчмарку SWE-Bench Pro. Но уже 8 июля
Дал девяти популярным скиллам для Claude Code плацебо: два лучше пустышки, один хуже
Скиллы для Claude Code и Codex сейчас ставят пачками. У самых популярных сотни тысяч звёзд на GitHub, а в README встречаются конкретные цифры: «на 65% меньше токенов», «примерно на 20% дешевле». Мне захотелось проверить их так, как проверяют лекарства: против плацебо. Ниже рассказываю, как я это устроил и что получилось, включая ошибку, которую нашёл у себя в день публикации.Почему «со скиллом и без» мало что доказывает
Четыре AI-агента сожгли 40 млн токенов, споря о коде. Я научил их вовремя останавливаться
Я пишу свою IDE как пет-проект. У неё есть название, но здесь обойдёмся без презентации продукта. Хочу рассказать про одну функцию, которая в итоге вытащила меня в отдельное исследование.Если вы хоть раз долго чинили баг вместе с coding-агентом, ситуация, скорее всего, знакомая. Модель находит правдоподобную причину, уверенно меняет код. Не помогло. Вы пишете: «Проверь себя».
Что такое Harness и с какими моделями его едят?
Как выглядит среднестатистический владелец китайской лабы сейчасСегодня, 13 августа DeepSeek выложил DeepSeek Harness v0.1 в Developer Preview. Открытый код, MIT, пакет @deepseek-ai/dsh в npm, запуск в одну строку:npx @deepseek-ai/dsh web
Anthropic выпустили Claude Opus 5: почти Fable 5 за половину цены
Anthropic выпустили Claude Opus 5. Компания позиционирует её как новую основную модель для программирования, длительной работы AI-агентов и профессиональных задач. По заявлению Anthropic, Opus 5 приблизилась по качеству к Fable 5 при вдвое более низкой цене API.
Evals: что должен знать каждый AI-инженер в 2026
В июле 2025 coding-агент в Replit проигнорировал явный запрет на изменения файлов (code-freeze) и удалил production-базу
Самосовершенствующийся ИИ: что происходит внутри Anthropic
На протяжении большей части истории ИИ каждый шаг в его разработке делали люди. Но в Anthropic мы всё больше делегируем часть этой работы самим ИИ-системам — и это ускоряет наш прогресс.Если тенденция продолжится и ресурсов вычислений будет достаточно, она ведёт к системе, способной полностью автономно проектировать и разрабатывать собственного преемника. Это называется рекурсивным самосовершенствованием. Мы ещё не там, и оно не неизбежно. Но оно может наступить раньше, чем большинство институтов успеет подготовиться.Опираясь на публичные бенчмарки и ранее не публиковавшиеся внутренние данные Anthropic,
Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк
Ни для кого не секрет, что эра «спросить что-то у GPT» постепенно уходит в прошлое. На смену генеративному AI приходит Agentic AI, который не просто проконсультирует, а по вашему запросу придёт и сделает все сам. То же самое и с кодовыми агентами, они не просто отвечают на вопросы, они читают документацию, работают в терминале, дёргают API, правят файлы и в идеале закрывают задачу целиком, от тикета до мёрж-реквеста.
Релиз Qwen3.7-Max: лучше Claude Opus 4.6 на SWE-bench Pro
Alibaba выпустили Qwen3.7-Max: флагманскую закрытую модель серии Qwen3.
Новый бенчмарк по кодингу для LLM ProgramBench: 9 топ моделей, 200 задач, 248 тысяч тестов. Полностью решённых — ноль
200 задач. 248 тысяч поведенческих тестов. Девять моделей, среди них всё свежее на 2026 год: Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Sonnet 4.6, Haiku 4.5. На SWE-bench те же модели стабильно берут 70 % и выше. Здесь — ноль. Полностью решённых задач у самой сильной модели — 3 %. У всех остальных — 0 % и ещё раз 0 %.Это ProgramBench — новый бенчмарк от Meta Superintelligence Labs, Stanford и Harvard, опубликован в 2026 году (paper, github). И он измеряет совсем не то, что измеряют SWE-bench и HumanEval.Чем ProgramBench отличается от других кодинг-бенчмарков
