AI-модель нового поколения xAI не была представлена вовремя, что стало тенденцией

Список флагманских моделей искусственного интеллекта ^[1], которые не были выпущены в обещанные сроки, продолжает расти.

Прошлым летом миллиардер Илон Маск, основатель и генеральный директор компании xAI, заявил, что Grok 3, следующая крупная модель искусственного интеллекта от xAI, появится к «концу 2024 года». Grok ^[2], ответ xAI на такие модели, как GPT-4o ^[3] от OpenAI и Gemini ^[4] от Google, может анализировать изображения и отвечать на вопросы, а также управлять рядом функций в социальной сети X, принадлежащей Маску.

«Grok 3 в конце года после обучения ^[5] на 100 тысячах H100 должен стать чем-то особенным», — написал ^[6] Маск в июле в посте на X, имея в виду огромный кластер графических процессоров xAI в Мемфисе ^[7]. «Grok 3 станет большим шагом вперёд», — сказал ^[8] он в посте в середине декабря.

Однако сегодня 5 января, а Grok 3 так и не вышел, и нет никаких признаков того, что его выпуск неизбежен.

На самом деле, некоторые коды на сайте xAI, замеченные специалистом по AI Тибором Блахо, предполагают ^[9], что сначала может выйти промежуточная модель «Grok 2.5».

Конечно, это не первый раз, когда Маск ставит перед собой высокую цель и не достигает её. Хорошо известно, ^[10] что заявления Маска о сроках выпуска продуктов часто оказываются в лучшем случае нереалистичными.

И, честно говоря, в августе в интервью подкастеру Лексу Фридману Маск сказал ^[11], что Grok 3 «с большой вероятностью» появится в 2024 году, «если нам повезёт».

В прошлом году стартап Anthropic не смог выпустить преемника своей топовой модели Claude 3 Opus ^[12]. Через несколько месяцев после объявления ^[13] о том, что модель нового поколения Claude 3.5 Opus будет выпущена к концу 2024 года, Anthropic убрал ^[14] все упоминания об этой модели из документации для разработчиков (согласно ^[15] одному из отчётов, Anthropic завершил обучение Claude 3.5 Opus в прошлом году, но решил, что в её выпуске нет экономического смысла).

Сообщается, что Google и OpenAI также потерпели ^[16] неудачи ^[17] со своими флагманскими моделями в последние месяцы.

Это может свидетельствовать об ограничениях современных законов масштабирования AI ^[18] — методов, которые компании используют для расширения возможностей своих моделей. В недалёком прошлом можно было значительно повысить производительность за счёт обучения моделей с использованием огромных вычислительных мощностей и всё более крупных наборов данных. Но с каждым новым поколением моделей прирост производительности начал уменьшаться, что привело к тому, что компании стали использовать ^[19] альтернативные методы ^[20].

Сам Маск упомянул об этом в интервью Фридману:

«Вы надеетесь, что Grok 3 будет самым современным?» — спросил Фридман.

«Надеюсь, — ответил Маск. — Я имею в виду, что это цель. Мы можем не достичь этой цели. Это стремление».

У задержки с выходом Grok 3 могут быть и другие причины. Например, у xAI гораздо меньше сотрудников, чем у многих его конкурентов. Тем не менее, сдвинутые сроки запуска подтверждают, что традиционные подходы к обучению AI упираются в стену.

Источник ^[21]