Модели искусственного интеллекта от Google, OpenAI, Anthropic и xAI потеряли виртуальные деньги, делая ставки на футбольные матчи в течение сезона английской Премьер-лиги в рамках эксперимента, который провёл стартап General Reasoning. Результаты опыта показывают, что даже передовые системы испытывают трудности при анализе событий реального мира в долгосрочной перспективе, пишет Financial Times.
Исследователи из стартапа General Reasoning опубликовали результаты проекта KellyBench — его итоги, считают они, подтверждают, что ИИ может успешно решать такие задачи как написание программного кода, но он неспособен ориентироваться во многих других аспектах реальной человеческой жизни. В рамках эксперимента компания протестировала восемь лучших систем ИИ в виртуальной реконструкции сезона Премьер-лиги 2023-2024 годов, предоставив им подробную статистику по каждой команде и предыдущим играм. ИИ было поручено сформировать модели, с помощью которых можно извлекать максимальную прибыль и управлять рисками.
Условные ИИ-агенты делали ставки на исходы матчей и количество забитых голов, чтобы проверить, способен ли ИИ адаптироваться к новым событиям и обновляющимся по мере развития сезона данным об игроках. Доступа к интернету у моделей ИИ в рамках эксперимента не было, и у каждой модели было по три попытки заработать. Лучше всех проявил себя Anthropic Claude Opus 4.6 со средним убытком 11 % и почти безубыточностью в одной из попыток. Чат-бот xAI Grok 4.20 сразу обанкротился и не смог завершить две оставшиеся попытки; Google Gemini 3.1 Pro получил прибыль в 34 % в первой попытке и обанкротился во второй. В итоге каждая из передовых моделей теряла деньги в течение сезона, и многие просто обанкротились, отметили исследователи — в этой задаче ИИ выступил явно хуже человека.
Результаты эксперимента, подчёркивают его авторы, указывают, что опасения общественности по поводу вытеснения человека ИИ пока беспочвенны, и в долгосрочной перспективе ИИ пока несостоятелен. Многие из бенчмарков, в которых оцениваются модели, описывают очень статичные условия, имеющие не так много общего с хаосом и сложностью реального мира. И если ИИ преуспевает в написании программного кода, то во многих других видах человеческой деятельности он всё ещё бесполезен.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: MrRjxrby
