Microsoft сможет выявлять слабые места в генераторах кода (если верить патентной заявке компании)

Генерация кода с использованием ИИ стала одним из наиболее эффективных применений мощных базовых моделей. Однако такие системы имеют недостатки, и Microsoft разрабатывает инструмент для их устранения.

Технологический гигант подал заявку ^[1] на патент под названием «Устранение уязвимостей стороннего кода при генерации кода, созданного при помощи ИИ». Эта технология предназначена для выявления уязвимостей в коде, импортированном из библиотек.

Как указано в документе, хотя ИИ-модели способны сократить время написания кода, они обучаются на данных, которые могут не учитывать обновления библиотек — например, патчи, применённые к сторонним пакетам после обучения ^[2] модели. «В результате модель может рекомендовать устаревшие или уязвимые версии сторонних пакетов», — отмечается в заявке.

Когда LLM используется для генерации кода, технология Microsoft обеспечивает защиту от уязвимостей за счёт промежуточного слоя (middleware), который действует как фильтр между моделью и пользователем.

Этот слой перехватывает сгенерированный код, извлекает все ссылки на сторонние пакеты и сравнивает их со списком «сертифицированных» пакетов — безопасных, проверенных и не содержащих известных уязвимостей. Если обнаруживается неподтверждённый пакет, он либо удаляется из кода, либо заменяется на сертифицированный аналог перед отправкой пользователю.

Генерация кода с помощью ИИ стала одним из ключевых применений мощных базовых моделей, разрабатываемых крупными технологическими компаниями. Так называемый vibe coding открывает возможности для менее технически подкованных пользователей попробовать себя в разработке.

Однако патент Microsoft указывает на серьёзную проблему, с которой сталкиваются разработчики при использовании таких инструментов: точность. Недавнее исследование компании Veracode, специализирующейся на безопасности приложений, показало, что только 55% кода, сгенерированного ИИ-инструментами, не содержит известных уязвимостей.

В условиях, когда компании стремятся не отставать от стремительной конкуренции, безопасность часто отходит на второй план — многие организации сознательно выпускают уязвимый код, лишь бы уложиться в сроки. Технология Microsoft может стать критически важным уровнем защиты по мере роста ставок в корпоративной среде.