США опередили Китай в разработке лучшего AI: новая модель из Сиэтла превосходит DeepSeek V3

Уступите место, DeepSeek. В городе появился новый чемпион по искусственному интеллекту ^[1] — и он американец. В четверг Ai2, некоммерческий исследовательский институт искусственного интеллекта из Сиэтла, выпустил модель, которая, по его утверждению, превосходит DeepSeek V3 ^[2], одну из ведущих систем китайской компании DeepSeek.

Модель Ai2 под названием Tulu3-405B также превосходит GPT-4o ^[3] от OpenAI по некоторым показателям AI, согласно результатам внутреннего тестирования Ai2. Более того, в отличие от GPT-4o (и даже DeepSeek V3), Tulu3-405B имеет открытый исходный код ^[4], а это значит, что все компоненты, необходимые для его воспроизведения с нуля, доступны бесплатно и имеют разрешённую лицензию ^[5].

Представитель Ai2 сообщил TechCrunch, что, по мнению лаборатории, Tulu3-405B «подчёркивает потенциал США в качестве лидера в мировой разработке лучших в своём классе моделей генеративного AI».

«Эта веха — ключевой момент для будущего открытого AI, укрепляющий позиции США как лидера в области конкурентоспособных моделей с открытым исходным кодом, — сказал представитель компании. — С помощью этого запуска Ai2 представляет мощную альтернативу моделям DeepSeek, разработанную в США, — это поворотный момент не только в развитии AI, но и в демонстрации того, что США могут лидировать в области конкурентоспособного AI с открытым исходным кодом, не зависящего от технологических гигантов».

Tulu3-405B — довольно большая модель. По данным Ai2, она содержит 405 миллиардов параметров, и для её обучения ^[6] потребовалось 256 графических процессоров, работающих параллельно. Параметры примерно соответствуют навыкам модели в решении задач, и модели с большим количеством параметров обычно работают лучше, чем модели с меньшим количеством параметров.

Согласно Ai2, одним из ключей к достижению конкурентоспособных результатов с помощью Tulu3-405B была техника, называемая обучением с подкреплением ^[7] и поддающимся проверке вознаграждением. Обучение с подкреплением и поддающимися проверке вознаграждениями, или RLVR, обучает модели выполнению заданий с «поддающимися проверке» результатами, такими как решение математических задач и следование инструкциям.

Ai2 утверждает, что в тесте PopQA, состоящем из 14 000 специализированных вопросов из Википедии, Tulu3-405B превзошёл не только DeepSeek V3 и GPT-4o, но и модель Meta Llama 3.1 405B ^[8]. Tulu3-405B также показал самую высокую производительность среди моделей своего класса в тесте GSM8K, состоящем из математических задач для начальной школы.

Tulu3-405B доступен для тестирования ^[9] в веб-приложении чат-бота Ai2, а код для обучения модели ^[10] находится на GitHub и платформе для разработки AI Hugging Face ^[11]. 

Источник ^[12]