JetBrains выпускает Mellum, открытую модель кодирования AI

Компания JetBrains, стоящая за рядом популярных инструментов разработки приложений, выпустила свою первую открытую модель AI для программирования. В среду JetBrains сделала Mellum ^[1], модель генерации кода, которую компания выпустила для своих различных пакетов разработки ПО в прошлом году, общедоступной на платформе разработки AI Hugging Face. Mellum, обученный на более чем 4 триллионах токенов, весит 4 миллиарда параметров и разработан специально для автодополнения кода (т. е. завершения фрагментов кода на основе окружающего контекста).

Параметры примерно соответствуют навыкам решения проблем модели, тогда как токены — это сырые биты данных, которые обрабатывает модель. Миллион токенов эквивалентен ~30 000 строк кода.

«Mellum разработан для интеграции в профессиональные инструменты разработчика (например, интеллектуальные предложения кода в интегрированных средах разработки), помощников по кодированию на базе искусственного интеллекта ^[2] и исследований в области понимания и генерации кода. Он также хорошо подходит для образовательных приложений и экспериментов по тонкой настройке», — поясняет JetBrains в техническом отчете ^[1].

JetBrains сообщает, что обучала Mellum, лицензированный Apache 2.0, на наборе наборов данных, включая разрешенный лицензированный код из GitHub и статьи Wikipedia на английском языке. Обучение ^[3] заняло около 20 дней на кластере из 256 графических процессоров H200 Nvidia.

Mellum требует некоторой работы, чтобы запуститься. Базовую модель нельзя использовать из коробки; сначала ее нужно настроить. Хотя JetBrians предоставила несколько моделей Mellum, настроенных для Python, компания предупреждает, что они предназначены для «оценки потенциальных возможностей», а не для развертывания в производственной среде.

Код, сгенерированный AI, несомненно, меняет способ создания программного обеспечения, но он также вносит новые проблемы безопасности. Более 50% организаций иногда или часто сталкиваются с проблемами безопасности из-за кода, сгенерированного AI, согласно опросу, проведенному в конце 2023 года платформой безопасности разработчиков Synk ^[4].

Действительно, JetBrains отмечает, что Mellum может «отражать предвзятость, присутствующую в общедоступных кодовых базах» (например, генерировать код, похожий по стилю на код из репозиториев с открытым исходным кодом), и что его предложения по коду не обязательно будут «безопасными или свободными от уязвимостей».

«Это только начало», — написала JetBrains в своем блоге ^[5]. «Мы не гонимся за общностью — мы строим фокус. Если Меллум спровоцирует хотя бы один значимый эксперимент, вклад или сотрудничество, мы будем считать это победой».

Источник ^[6]