Data Internals X 2025: взгляд изнутри на настоящее и будущее data-инженерии
Data Internals X 2025: взгляд изнутри на настоящее и будущее data-инженерииData Internals X 2025 уже совсем скоро! 23 сентября начнётся профессиональное погружение в инженерию данных, системы хранения и обработки данных. Поэтому мы поговорили с членом программного комитета конференции Алексеем Жиряковым, чтобы узнать, что нас ждёт в этом году. Ведь лучший взгляд — это взгляд изнутри. Так лучше раскрывается опыт создания data-инфраструктуры и многочисленные вызовы одной из самых быстроразвивающихся отраслей IT.
DSL для битемпоральной шестой нормальной формы с UUIDv7
Хранилища данных широко используются в финансовой отраслиШестая нормальная форма (6NF) играет ключевую роль в
Решил перейти на Python и не пожалел
С полгода назад я начал чаще использовать для программирования Python. Почему? Конечно, из-за ИИ. Лично для меня очевидно, что сегодня эта сфера связана с очень большими деньгами
Как я автоматизировал деплой аналитической платформы для спортивных данных на базе нестабильного API
Первые сутки сервис падал каждый час, но сейчас система выдерживает пиковые запросы без даунтайма.Исходная задачаМне нужно было автоматизировать процесс сбора спортивных данных (NFL, NBA, UFC) с dingerodds для дальнейшего анализа и обучения моделей. Источник выбран из-за:доступного REST API (пример запроса ниже)свежих коэффициентов и статистикиналичия исторических данныхGET /api/v1/events/upcoming?market=moneyline&sport=baseball Authorization: Bearer <token> Но оказалось, что API отваливается под минимальной нагрузкой и плохо обрабатывает батчи (особенно GET /events/history).Проблемы
15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик
Инструменты, которые выведут ваши информационные панели, документы и рабочие процессы на новый уровень. Причем совершенно бесплатно!Привет, меня зовут Йогеш, и имею довольно большой опыт работы с React,.NET и AI. Но есть одна вещь, к которой я питаю особую страсть: создание красивых и интерактивных визуализаций данных.
Запускаем личный АИ-инфоконвейер: как я строю систему смыслового мониторинга с YAML и GPT
Отслеживаем новости, документы и тендерыRostral.io размышляет над ответом вместо вас
Как мы строим real-time data-пайплайны для анонимных крипто-свапалок: опыт на примере risetocrypto
В мире криптовалют анонимность и безопасность являются ключевыми элементами. Когда речь идет о крипто-свапалках, эффективность обработки данных в реальном времени играет решающую роль для обеспечения высокого качества сервиса. В этой статье расскажем, как мы реализовали масштабируемую архитектуру для обработки данных на платформе risetocrypto с использованием передовых технологий.Какие данные обрабатываются в крипто-свапалке?Основными типами данных, которые мы обрабатываем в нашей крипто-свапалке, являются:Ончейн-транзакции
Российский новый университет подключился к «РосНавыку»
9 июля для ректората Российского нового университета (РосНОУ) при поддержке Университетского консорциума исследователей больших данных прошёл семинар сервиса «РосНавык». Этот мониторинговый сервис представила Дарья Олеговна Дунаева, менеджер проекта, ведущий аналитик научно-исследовательской лаборатории прикладного анализа больших данных Томского государственного университета.
Как мы построили свой инструмент для работы с LLM
Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи.В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ?Data Studio
