Российские ученые разработали новый тест NoReGeo, который позволяет оценить, насколько нейросети понимают геометрию и пространственные отношения, и представили его на конференции AAAI по искусственному интеллекту в Сингапуре, сообщили ТАСС в пресс-службе Центрального университета.
«Российская исследовательская группа представила новый тест для ИИ. С его помощью можно оценить способность нейросетей понимать геометрию», – говорится в пресс-релизе.
Разработку подготовили ученые из лаборатории FusionBrain Института AIRI, Центрального университета и других российских университетов. Авторы NoReGeo отметили, что он задуман как проверка пространственного понимания без использования алгебраических вычислений и без опоры на способности моделей к рассуждениям.
Тест проверяет базовые геометрические ситуации – например, находится ли точка внутри фигуры или пересекаются ли две прямые. Он включает 2,5 тыс. задач по 25 темам школьной геометрии. Задания могут быть только текстовыми или сопровождаться изображением, а ответ нужно дать за один шаг.
С помощью NoReGeo исследователи протестировали более 45 современных моделей, чтобы выявить их пространственную слепоту. По итогам тестирования максимальная точность среди всех 2,5 тыс. задач составила 65%, то есть даже лучшие модели, как отмечается в пресс-релизе, заметно уступают человеку.
Создатели теста подчеркивают, что более точная оценка геометрического восприятия важна для применения ИИ в сферах, где требуется геометрическая точность и способность воспринимать пространство, в том числе в медицине, робототехнике и строительстве. Также, такой подход позволит расширить перечень задач, которые можно будет доверить нейросетям.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: MrRjxrby
