Бывший инженер Google и влиятельный исследователь в области искусственного интеллекта Франсуа Шолле стал соучредителем некоммерческой организации, которая помогает разрабатывать тесты для проверки искусственного интеллекта на «человеческом уровне».
Некоммерческую организацию ARC Prize Foundation возглавит Грег Камрадт, бывший технический директор Salesforce и основатель студии по разработке AI-продуктов Leverage. Камрадт станет президентом и членом правления.
“Мы превращаемся … в настоящий некоммерческий фонд, который будет выступать в качестве полезной полярной звезды в области AGI, – написал Шолле в посте на веб-сайте некоммерческой организации. – Мы пытаемся стимулировать прогресс, способствуя сокращению базовых человеческих возможностей”.
Фонд ARC Prize расширит ARC-AGI – тест, разработанный Шолле, для оценки того, может ли система AI эффективно приобретать новые навыки, выходящие за рамки данных, на которых она обучалась. Он состоит из задач, похожих на головоломки, в которых AI должен сгенерировать правильную «ответную» сетку из набора квадратов разных цветов. Задачи были разработаны таким образом, чтобы заставить AI адаптироваться к новым задачам, с которыми он раньше не сталкивался.
В 2019 году Шолле представил ARC-AGI, что расшифровывается как «Абстрактный и логический корпус для искусственного общего интеллекта». Многие системы искусственного интеллекта могут успешно сдавать математические олимпиады и находить потенциальные решения задач для аспирантов. Но до этого года самый эффективный AI мог решить лишь чуть менее трети задач из ARC-AGI.
«В отличие от большинства передовых тестов AI, мы не пытаемся измерить риск, связанный с AI, с помощью сверхчеловеческих экзаменационных вопросов, – написал Шолле в своём посте. – Будущие версии теста ARC-AGI будут направлены на сокращение разрыва между возможностями человека до нуля».
В июне прошлого года соучредитель Chollet и Zapier Майк Кнооп запустил конкурс по созданию AI, способного превзойти ARC-AGI. Невыпущенная модель o3 от OpenAI первой набрала необходимое количество баллов, но только при использовании невероятного количества вычислительной мощности.
Шолле ясно дал понять, что у ARC-AGI есть недостатки — многие модели смогли добиться высоких результатов с помощью грубой силы — и что он не верит, что o3 обладает интеллектом на уровне человека.
«Первые данные свидетельствуют о том, что предстоящий преемник ARC-AGI всё равно станет серьёзным испытанием для o3, потенциально снизив его оценку до менее чем 30% даже при высокой вычислительной мощности (в то время как умный человек всё равно сможет набрать более 95% без обучения), – заявил Шолле в декабре прошлого года. – Вы поймёте, что искусственный общий интеллект уже здесь, когда создание задач, которые легко даются обычным людям, но сложны для AI, станет просто невозможным».
Кнооп говорит, что планируется запустить тест ARC-AGI второго поколения «в первом квартале» вместе с новым соревнованием. Некоммерческая организация также приступит к разработке третьего издания ARC-AGI.
Пока неясно, как фонд ARC Prize отреагирует на критику в адрес Чолле за то, что он переоценил ARC-AGI как ориентир на пути к достижению СИИ. Само определение СИИ сейчас вызывает горячие споры, один из сотрудников OpenAI недавно заявил, что СИИ «уже» достигнут, если определять СИИ как AI, «превосходящий большинство людей в большинстве задач».
Интересно, что в декабре генеральный директор OpenAI Сэм Альтман заявил, что компания намерена сотрудничать с командой ARC-AGI для создания будущих эталонных моделей. В сегодняшнем объявлении Шолле не сообщил о возможных партнёрских отношениях.
Однако в серии постов на X фонд ARC Prize заявил, что создаст «академическую сеть» для дальнейшего развития и оценки AGI, а также «коалицию партнёрских лабораторий по передовому искусственному интеллекту» для совместной работы над отраслевыми стандартами AGI.
Автор: mefdayy
