Новый бенчмарк по кодингу для LLM ProgramBench: 9 топ моделей, 200 задач, 248 тысяч тестов. Полностью решённых — ноль
200 задач. 248 тысяч поведенческих тестов. Девять моделей, среди них всё свежее на 2026 год: Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Sonnet 4.6, Haiku 4.5. На SWE-bench те же модели стабильно берут 70 % и выше. Здесь — ноль. Полностью решённых задач у самой сильной модели — 3 %. У всех остальных — 0 % и ещё раз 0 %.Это ProgramBench — новый бенчмарк от Meta Superintelligence Labs, Stanford и Harvard, опубликован в 2026 году (paper, github). И он измеряет совсем не то, что измеряют SWE-bench и HumanEval.Чем ProgramBench отличается от других кодинг-бенчмарков
Как я превратил Codex в персонального Джарвиса
Эта статья написана от моего лица и отредактирована вместе с Джарвисом.За последние годы я перепробовал много AI-инструментов для разработки: от более “чатовых” сценариев до агентных сред вроде Cursor и Claude. В итоге остановился на Codex. Не потому, что он магический, а потому что это, на мой взгляд, самая сильная система в тот момент, когда ты понимаешь, что именно она делает, где заканчиваются ее возможности и какими рамками ее нужно ограничивать.
Иллюзия логики: как я доказал, что LLM-агенты игнорируют факты, и почему Chain-of-Thought делает только хуже
Сейчас каждый второй стартап пилит ИИ-агентов. Мы оборачиваем LLM в цикл Промпт -> Вызов инструмента (API/Поиск) -> Чтение -> Ответ и ждем, что нейросеть сама расследует инцидент, найдет баг или напишет фичу. Но на практике автономные агенты часто ходят по кругу, галлюцинируют и застревают в бесконечных циклах.Индустрия пытается лечить это экстенсивно: наращивает контекстное окно до миллионов токенов или пишет в системном промпте заклинания вроде «подумай шаг за шагом и будь максимально объективен».
Вышел бенчмарк ARC-AGI-3: люди набирают 100%, GPT-5.4 — 0,26%
ARC Prize Foundation опубликовала
GPT-5.4 mini, Tesla строит свой TSMC, омары в Китае и $100 за буллинг ИИ
Привет, это новый выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий.Я Вандер
Галлюцинации недели: GPT-5.4, MacBook на M5 Max и 630 строк, которые автоматизируют ML-ресёрч
Очередной флагман от OpenAI с миллионным контекстом, Claude делает code review, Google обновляет свою быструю малютку, новый MacBook для локального инференса. А что Титов?OpenAI
OpenAI встроила ChatGPT в Excel и подключила к нему данные Bloomberg, Moody’s и S&P
OpenAI официально представила новую модель GPT-5.4 и специализированный аддон ChatGPT для Excel, предназначенный для глубокой автоматизации офисной работы. Инструмент позволяет строить сложные финансовые модели и использовать данные ведущих мировых провайдеров прямо внутри электронных таблиц.
