Репозитории с открытым исходным кодом перестают справляться с 10 трлн загрузок в год

В Sonatype подсчитали ^[1], что компании ежегодно скачивают более 10 трлн файлов с открытым исходным кодом. В итоге опенсорсные репозитории и хранилища столкнулись с беспрецедентной нагрузкой.

Технический директор Sonatype Брайан Фокс, курирующий центральный Java-реестр Maven, отмечает, что Maven находится под постоянной угрозой перегрузки. Фокс и его коллеги обнаружили, что 82% спроса приходится всего на 1% IP-адресов. Это происходит потому, что компании используют репозитории с открытым исходным кодом как сети доставки контента (CDN). Например, одна компания может скачивать один и тот же код сотни тысяч раз в день. 

Теперь, под эгидой Linux Foundation, новая рабочая группа по поддержке реестров пакетов будет стремиться определить конкретные методы финансирования, управления и обеспечения безопасности, чтобы поддерживать поток кода по мере роста числа загрузок.

Отмечается, что 10 трлн загрузок — это вдвое больше, чем количество поисковых запросов в Google за год.

Поскольку сборки программного обеспечения, конвейеры непрерывной интеграции и системы искусственного интеллекта ^[2] обрабатывают реестры со скоростью машин, а не людей, сайты не справляются. Этот рост привёл к всплеску бот-трафика, автоматической публикации, сообщений о безопасности и откровенных злоупотреблений, выявив проблему «пробега устойчивости». Как объяснил Фокс: «Реестры открытого исходного кода больше не являются пассивными точками распространения. Это операционные и критически важные с точки зрения ^[3] безопасности системы, находящиеся на пути практически каждой современной сборки программного обеспечения. Если мы хотим, чтобы цепочка поставок программного обеспечения оставалась устойчивой, нам необходимо серьёзно обсудить, как эти платформы финансируются, управляются и поддерживаются в глобальном масштабе. Пришло время рассматривать устойчивость реестров как общую ответственность всей индустрии программного обеспечения». 

Кристофер Робинсон, технический директор и главный архитектор безопасности в Open Source Security Foundation (OpenSSF), добавил: «Реестры пакетов находятся на передовой линии безопасности и устойчивости цепочки поставок программного обеспечения. По мере ускорения темпов потребления, публикации и активности атак, управление этими системами также должно развиваться. Эта инициатива станет важной площадкой для лидеров реестров и заинтересованных сторон экосистемы, чтобы согласовать практические, ориентированные на сообщество способы поддержания инфраструктуры, от которой зависит современное программное обеспечение».

Для решения проблемы Sonatype объединилась с Linux Foundation и другими лидерами в области реестров пакетов, включая Alpha-Omega, Eclipse Foundation (OpenVSX), OpenJS Foundation, OpenSSF, Packagist, Python Software Foundation, Ruby Central (RubyGems) и Rust Foundation (Crates). Идея состоит в том, чтобы предоставить операторам нейтральную площадку для открытого обсуждения вопросов финансирования, управления и распределения операционных затрат. После решения этого вопроса группа скоординирует свои действия по разъяснению новых реалий компаниям и организациям.

Участники группы планируют разработать модели финансирования, которые действительно могут покрывать инфраструктуру, операционную деятельность, поддержку и управление, вместо того, чтобы полагаться на волонтёрство. Также в планах — координация методов обеспечения безопасности и обмена информацией между реестрами, чтобы они могли быстрее обнаруживать угрозы и реагировать ^[4] на них.

Группа планирует разработать общие политические рамки и стандартизированные термины, которые позволят политически и юридически внедрить устойчивые модели финансирования без раскола сообществ.

Ещё в сентябре организация OpenSSF (Open Source Security Foundation) представила ^[5] на обсуждение открытое письмо, которое подписали разработчики репозиториев PyPI, crates.io, Packagist, Open VSX и Maven Central. В документе поднят вопрос финансирования проектов Open Source для сохранения устойчивости инфраструктуры.

В феврале в США запустили ^[6] фонд Open Source Endowment (OSE) для помощи опенсорс-проектам. Организаторы фонда планируют собрать капитал, вложить его и из инвестиционного дохода формировать гранты разработчикам. Основную сумму фонд тратить не намерен: она должна оставаться в работе и со временем расти.