Как я автоматизировал деплой аналитической платформы для спортивных данных на базе нестабильного API
Первые сутки сервис падал каждый час, но сейчас система выдерживает пиковые запросы без даунтайма.Исходная задачаМне нужно было автоматизировать процесс сбора спортивных данных (NFL, NBA, UFC) с dingerodds для дальнейшего анализа и обучения моделей. Источник выбран из-за:доступного REST API (пример запроса ниже)свежих коэффициентов и статистикиналичия исторических данныхGET /api/v1/events/upcoming?market=moneyline&sport=baseball Authorization: Bearer <token> Но оказалось, что API отваливается под минимальной нагрузкой и плохо обрабатывает батчи (особенно GET /events/history).Проблемы
Технологическая эволюция Mercado Libre: от монолита к мультиоблачной платформе
Перевели для вас цикл статей об эволюции технологической платформы Mercado Libre — от монолитной архитектуры начала 2000-х к современной мультиоблачной платформе Fury, которая обеспечивает разработчикам удобную, масштабируемую и безопасную среду для создания, развёртывания и управления приложениями. В этой — первой — части описывается переход компании от единой базы и медленных релизов к микросервисам и облачным технологиям, что позволило значительно ускорить разработку и повысить надёжность систем. Передаём слово автору — ведущему техническому руководителю Mercado Libre Хулиано Мартинсу (Juliano Martins).
Книга: «Распределенные системы. Паттерны и парадигмы для масштабируемых и надежных систем на основе Kubernetes. 2-е изд»
Привет, Хаброжители! Издательство Sprint book представляет второе издание книги Брендана Бёрнса «Распределенные системы. Паттерны и парадигмы для масштабируемых и надежных систем на основе Kubernetes». Фундаментальное руководство превращает сложное искусство создания распределенных систем в понятную науку, предлагая проверенные решения для современных облачных архитектур. На сегодняшний день мир разработки программного обеспечения кардинально изменился. Даже относительно простые мобильные приложения опираются на облачные API, чтобы обеспечить доступность данных на любом устройстве, которым пожелает воспользоваться клиент. Проектирование таких систем до сих пор остается сложной задачей, требующей специальных знаний. Паттерны и компоненты, разбираемые в книге, помогут и опытному разработчику распределенных систем, и абсолютному новичку в этой области.
SRE в инженерии данных: профессия и ее перспективы
Всем привет! Меня зовут Александр Андреев, я SRE дата-инженер. Сегодня я хочу рассказать о необычной, но набирающей обороты роли в области обработки данных - SRE Data Engineer: кто это такой, чем занимается, как им стать, куда развиваться и какие перспективы у этой профессии. ВведениеПредставьте ситуацию: пайплайн данных, который должен готовить критически важные отчеты, внезапно сломался. Есть всего несколько часов (в самом лучшем случае - дней), чтобы понять, что произошло, исправить проблему и убедиться, что данные будут готовы вовремя. А затем нужно автоматизировать процесс так, чтобы эта проблема больше не повторялась.
Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes
Привет, Хабр! Меня зовут Александр Подмосковный, я работаю в «Московском кредитном банке» и, как многие, увлёкся темой искусственного интеллекта. Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Так как DevOps и инфраструктурой я увлекаюсь уже несколько лет, за это время у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею.
DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse
20 мая пройдёт наш первый инженерный митап Deckhouse User Community. В программе — доклады про работу Cilium и распределённый инференс LLM в домашних условиях с использованием K8s. После них проведём открытую дискуссию с инженерами Deckhouse и «Московского кредитного банка». Присоединяйтесь, регистрация уже открыта.ПрограммаCilium: всё, о чём вы догадывались, но боялись спросить
Цифровой двойник: не просто копия, а твой персональный баг-репорт реального мира
Пока одни обсуждают метавселенные и ИИ, инженеры и разработчики уже строят цифровых двойников — виртуальных клонов реальных объектов, систем и людей. Эта статья — попытка разобраться без прикрас и с примерами, как устроена такая технология, какие инструменты сейчас в ходу, с чем сталкиваются разработчики, и где всё это реально применяется — от предсказания отказов турбин до мониторинга состояния коров в Новой Зеландии.
