Разработан тест NoReGeo для проверки геометрии у ИИ

Российские ученые разработали новый тест NoReGeo, который позволяет оценить, насколько нейросети понимают геометрию и пространственные отношения, и представили его на конференции AAAI по искусственному интеллекту ^[1] в Сингапуре, сообщили ТАСС в пресс-службе Центрального университета.

«Российская исследовательская группа представила новый тест для ИИ. С его помощью можно оценить способность нейросетей ^[2] понимать геометрию», – говорится в пресс-релизе.

Разработку подготовили ученые из лаборатории FusionBrain Института AIRI, Центрального университета и других российских университетов. Авторы NoReGeo отметили, что он задуман как проверка пространственного понимания без использования алгебраических вычислений и без опоры на способности моделей к рассуждениям.

Тест проверяет базовые геометрические ситуации – например, находится ли точка внутри фигуры или пересекаются ли две прямые. Он включает 2,5 тыс. задач по 25 темам школьной геометрии. Задания могут быть только текстовыми или сопровождаться изображением, а ответ нужно дать за один шаг.

С помощью NoReGeo исследователи протестировали более 45 современных моделей, чтобы выявить их пространственную слепоту. По итогам тестирования максимальная точность среди всех 2,5 тыс. задач составила 65%, то есть даже лучшие модели, как отмечается в пресс-релизе, заметно уступают человеку.

Создатели теста подчеркивают, что более точная оценка геометрического восприятия ^[3] важна для применения ИИ в сферах, где требуется геометрическая точность и способность воспринимать пространство, в том числе в медицине, робототехнике и строительстве. Также, такой подход позволит расширить перечень задач, которые можно будет доверить нейросетям.

Делегируйте часть рутинных задач вместе с BotHub! ^[4] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[6]