1C Code Bench — спустя 5 месяцев
Бенчмарк разработан в Управлении экспериментальных систем машинного обучения Sber Al. Мы учим собственные модели, активно продвигаем науку в области, ставим уникальные эксперименты, пишем статьи уровня А* и создаем собственные бенчмарки. 1C Code Bench создан командой GigaCode R&D и командой разметки УЭСМО.
Cursor пишет вам unit‑тесты за минуту. 5 паттернов, на которых эти тесты пропустят любой баг
Cursor пишет тесты быстро. Открыл класс, нажал Ctrl+I, кинул промпт «напиши unit‑тесты» — через минуту в файле сорок строк с моками, ассертами и красивыми именами вроде shouldReturnUserWhenIdIsValid. Прогнал — зелёные. Закоммитил, замержил, побежал дальше. Покрытие в проекте растёт, скорость написания тестов раза в три‑четыре выше, чем руками.А потом замечаешь, что тесты есть, а толку от них всё меньше. Регрессия пролетает мимо них и падает в проде. Открываешь тот самый тест, который должен был это ловить, — формально зелёный, но если присмотреться, не проверяет вообще ничего.
Анатомия Claude Code. Первичный анализ и наполнение контекста
Каждый, кто программирует с агентами (Claude Code, Codex и т.д.), знает: перед тем как приступить к задаче, агент исследует проект. Это кажется логичным, естественным и закономерным, ведь люди делают так же. Обычно говорят: «агент наполняет контекст».Для агента такой контекст должен содержать не только полезные сведения, но и не включать лишних, которые могут оказать влияние на конечный результат. Но добиться этого не так-то просто, поскольку:задача определена в общем виде (кто знает, что имел в виду автор)пути исследования не детерминированы (в общем виде не используется специфика фреймворка)
Знания без практики — мертвы | Разница между «декларативной» и «процедурной» памятью у LLM
Дисклеймер: Я думаю, что любой человек понимает и чувствует на кончиках пальцев разницу между «заучить» и «набить руку». Каждый это проживал много раз, каждый знает, как это происходит и почему именно так и никак иначе прививаются «навыки и экспертиза». В этой статье я попытаюсь:1) поднять вопрос о том, почему текущие подходы к обучению LLM заставляют модель «заучивать ответ»2) объясню со своей точки зрения, где и в каком виде я вижу разницу между «декларативной» и «процедурной» памятью у LLM3)
После ИИ писать код руками ощущается уже не как норма
TL;DR: ИИ не заменяет инженерный контроль, но меняет базовую планку разработки. С ним проще удерживать скоуп, тесты, техническое качество и в режиме дедлайна. Главный риск - потерять ownership, поэтому уровень автономности должен зависеть от проекта, стадии и зрелости инженерного процесса.У меня есть один личный проект
«Больше никто не читает книги по программированию»: разработчики выбирают для обучения чат-ботов и другие источники
Автор блога unix.foo поделился взглядом на рынок образовательных книг по программированию. За последние несколько лет они стали доступнее, но одновременно с этим появились чат-боты на базе LLM. Новое поколение разработчиков всё чаще обучается с помощью нейросетей.
AI обнулил benchmark и пытался шантажировать инженера. И почему это решаемо
В прошлой главе я разобрал три провала чужих AI-агентов в проде - PocketOS, потерю production-базы Replit и сценарии GitHub Copilot, в которых агент действовал быстрее, чем человек успевал сказать стоп.Финал был честный: эти три - не про то, как делать правильно. Это места, где меня поймало бы, если бы я не прочитал разборы до того, как Lexis стал продуктом для людей.И я обещал в следующей главе перейти с уровня отдельные истории на уровень данных. Конкретно - две вещи.Первая: ProgramBench. Топ-модели, которые закрыли SWE-bench на 95%, на ProgramBench показывают 0% и 3%. Не упали на десять пунктов - обнулились.
За пределами LLM, часть 2: якорная таблица Кэли, которая не является ни полем, ни моноидом
В первой статье я высказал простую идею: если вычисление можно свести к конечной таблице операции, его можно проверять, а не угадывать. То есть его можно свести не к "модель выдала вероятность 0,67", а просто открыть таблицу и сказать: вот ячейка, вот результат, rc=0.
От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде
Агент 1С-консультант: от RAG-прототипа до агента в продакшнеНа связи Сергей Смирнов, AI-инженер LLMStart.ru

