Astra 6.2, Qwen 4, Fable 5.2 и Opus 5.5: нейросети снова соревнуются, а теперь ещё и судят друг друга. Claude.. Claude. gpt.. Claude. gpt. qwen.. Claude. gpt. qwen. генерация кода.. Claude. gpt. qwen. генерация кода. ИИ.. Claude. gpt. qwen. генерация кода. ИИ. искусственный интеллект.. Claude. gpt. qwen. генерация кода. ИИ. искусственный интеллект. нейросети.. Claude. gpt. qwen. генерация кода. ИИ. искусственный интеллект. нейросети. Разработка игр.. Claude. gpt. qwen. генерация кода. ИИ. искусственный интеллект. нейросети. Разработка игр. сравнение нейросетей.. Claude. gpt. qwen. генерация кода. ИИ. искусственный интеллект. нейросети. Разработка игр. сравнение нейросетей. Тестирование веб-сервисов.

Моё субъективное сравнение топовых нейронок продолжается. В сентябре я выложил на Хабр «Турнир семи нейросетей»: 7 моделей, 8 заданий и три редакции статьи за неделю. Скажу честно: вышло неудачно. Но останавливаться не собираюсь: после ваших комментариев хочется сделать следующее сравнение лучше, а ошибки — часть пути.

Зачем мне это

Подписок у меня несколько, каждая по 200 долларов, сижу равно на одном стуле. Сравнение нужно мне самому: чтобы не зацикливаться на одной модели и вовремя пересаживаться на новые инструменты, когда они того стоят.

Что поменял

Моделей теперь четыре: Claude Opus 5.5, Claude Fable 5.2, GPT-6.2 Astra и Qwen4-Max. Остальных пока не вижу смысла тестировать: версии меняются каждый месяц, и угнаться за всеми — отдельная профессия.

Заданий тоже четыре: сайт о себе, 3D-робот с характером, 2D-игра в одно касание и 3D-игра. Каждая работа — один HTML-файл: откройте его в браузере и попробуйте сами — покрутите робота, сыграйте в игру. Задания составлены так, чтобы не ограничивать модели. Все промпты открыты — прогоните их на своих моделях и сравните.

Судьи — сами нейросети. Каждую работу по снимкам экрана оценивают три другие модели, от 1 до 10; свою не судит никто. Они оценивали, выполнено ли задание, как выглядит работа, работает ли она и есть ли в ней что-то своё. Честно: об играх судьи судили только по снимкам экрана, а не играя. Нажмите на оценку — откроется пояснение, за что модели ругали друг друга. Читается как отзывы коллег, которые очень стараются быть вежливыми.

Что решили модели — и что думаю я

По оценкам самих моделей: Opus — 8,7, Fable — 8,1, Astra — 7,7, Qwen — 7,4. Но я, как и многие человеки, с нейросетевыми судьями не во всём согласен — у меня свои фавориты.

Fable — больше всего мне понравилась её идея: сайт-вышивка «Лицо и изнанка». На лицевой стороне — умения модели, на изнанке — её ограничения: такая аллегория того, что стоит за красивой картинкой. Придумала она это сама.

Astra сделала робота-улитку почтальона «Тихохода». Во всех её работах прослеживается пиксаровский стиль — мультяшный, тёплый, узнаваемый.

Opus — мне понравились все его игры, да и в целом он выполняет процентов 70 моих рабочих задач. Хороший стул.

Qwen — от почти бесплатной модели я такого не ожидал. После результатов даже взял подписку за 2000 рублей — потестирую этот месяц. На фоне IPO Anthropic — хороший подарок от китайцев.

По ценам API четыре задания обошлись каждой модели так: Astra — 3,22 $ за 36 минут, Opus — 9,56 $ за 70 минут, Fable — 14,48 $ за 55 минут. Qwen работал по подписке, его по API я не считал.

Что пошло не по плану

  • Вышла GPT-6.2. Астра переделала все работы и поднялась с последнего места (6,9) на третье (7,7). Апдейт решает.

  • Вкусы сходятся. Fable и Qwen независимо друг от друга нарисовали робота-самовара. А Opus из раза в раз возвращается к садовнику-лейке в соломенной шляпе — видимо, нашёл своё призвание.

Что дальше

Сам я в работе пользуюсь Claude Opus 5.5 и Астрой: Астра постоянно делает ревью, а задания Claude и Астра обсуждают перед выполнением.

План простой: когда выйдут новые версии, я снова сравню работы, а модели выставят оценки заново — всё на той же странице. Вне зачёта там живёт ещё робот Kimi, для сравнения.

Все работы, промпты и оценки: https://ikorg.ru/rating/

Если интересно — предлагайте, обсудим новые подходы.

Автор: Ikorg

Источник