Побеждаем нестабильность данных
Привет, Хабр! Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Давайте на секунду представим почти реальную ситуацию: вы настроили модель прогнозирования спроса в ритейле. И сначала всё работало идеально, но потом наступила очередная «Черная пятница» (или локдаун, или новый конкурент на рынке) — и модель начала катастрофически ошибаться. То есть, данные изменились, модель устарела, а бизнес начал терять деньги. В этой статье мы посмотрим, какие проблемы возникают при таком изменении, и что с этим можно сделать.
«Эра Flink 2.0»: что реально меняется в архитектуре real‑time вычислений
АннотацияApache Flink 2.0 — первый мажорный релиз после 1.0 (2016), закрывающий многолетний цикл эволюции архитектуры и устраняющий накопленные болевые точки масштабирования потоковых платформ: усложняющуюся конфигурацию, ограниченность локального состояния, разрыв между batch и streaming, устаревшие API и операционную стоимость при росте AI/real‑time сценариев. В команде BitDive мы уже используем Flink 2.0 для низколатентной обработки потоковых метрик и трассировок (агрегация, выделение аномалий) — это позволило ускорить recovery и снизить стоимость вычислений по сравнению с линией 1.20.x. 1. Контекст индустрии и мотивация
