Как Cloudflare отодвинул закупку железа на 8 месяцев: сэмплирование, агрегации и zstd в конвейере данных
За Cloudflare сидит больше 20% интернета, команда Data отвечает за конвейер данных, который перегоняет эти данные (и не только их) из глобальной сети в центральные дата-центры. Сеть Cloudflare — распределённая система из десятков тысяч серверов. Через неё и наш конвейер идут данные для Cloudflare Logs, SQL API, observability, внутренней аналитики и многого другого.
Как я устал писать парсер под каждый прайс и сделал из этого библиотеку
С чего всё началосьУ нас на проекте была до боли знакомая многим картина: десятки источников прайсингов, и каждый — в своём формате. Один вендор присылает CSV с разделителем ;, другой — выгрузку из Excel, третий дёргает наш вебхук JSON-ом. Данные по сути одни и те же — аэропорт, марка топлива, цена, дата, — но:колонка цены называется то PRICE, то into-plane, то USD/gallon, то Цена (EUR/л);единицы разные: у одного литры, у другого галлоны, у третьего цена в центах;даты — 2026-01-15, 15/02/2026, 01.02.2026, как повезёт;аэропорт — то IATA-код, то ICAO, то «JFK / John F Kennedy» одной строкой;
