Data Engineering. - страница 6

DSL для битемпоральной шестой нормальной формы с UUIDv7

Хранилища данных широко используются в финансовой отраслиШестая нормальная форма (6NF) играет ключевую роль в

продолжить чтение

Selectel запустил ML Impact — ресурс о том, как использовать ML для бизнеса

продолжить чтение

Решил перейти на Python и не пожалел

С полгода назад я начал чаще использовать для программирования Python. Почему? Конечно, из-за ИИ. Лично для меня очевидно, что сегодня эта сфера связана с очень большими деньгами

продолжить чтение

Как я автоматизировал деплой аналитической платформы для спортивных данных на базе нестабильного API

Первые сутки сервис падал каждый час, но сейчас система выдерживает пиковые запросы без даунтайма.Исходная задачаМне нужно было автоматизировать процесс сбора спортивных данных (NFL, NBA, UFC) с dingerodds для дальнейшего анализа и обучения моделей. Источник выбран из-за:доступного REST API (пример запроса ниже)свежих коэффициентов и статистикиналичия исторических данныхGET /api/v1/events/upcoming?market=moneyline&sport=baseball Authorization: Bearer <token> Но оказалось, что API отваливается под минимальной нагрузкой и плохо обрабатывает батчи (особенно GET /events/history).Проблемы

продолжить чтение

15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик

Инструменты, которые выведут ваши информационные панели, документы и рабочие процессы на новый уровень. Причем совершенно бесплатно!Привет, меня зовут Йогеш, и имею довольно большой опыт работы с React,.NET и AI. Но есть одна вещь, к которой я питаю особую страсть: создание красивых и интерактивных визуализаций данных.

продолжить чтение

Запускаем личный АИ-инфоконвейер: как я строю систему смыслового мониторинга с YAML и GPT

Отслеживаем новости, документы и тендерыRostral.io размышляет над ответом вместо вас

продолжить чтение

Как мы строим real-time data-пайплайны для анонимных крипто-свапалок: опыт на примере risetocrypto

В мире криптовалют анонимность и безопасность являются ключевыми элементами. Когда речь идет о крипто-свапалках, эффективность обработки данных в реальном времени играет решающую роль для обеспечения высокого качества сервиса. В этой статье расскажем, как мы реализовали масштабируемую архитектуру для обработки данных на платформе risetocrypto с использованием передовых технологий.Какие данные обрабатываются в крипто-свапалке?Основными типами данных, которые мы обрабатываем в нашей крипто-свапалке, являются:Ончейн-транзакции

продолжить чтение

Российский новый университет подключился к «РосНавыку»

9 июля для ректората Российского нового университета (РосНОУ) при поддержке Университетского консорциума исследователей больших данных прошёл семинар сервиса «РосНавык». Этот мониторинговый сервис представила Дарья Олеговна Дунаева, менеджер проекта, ведущий аналитик научно-исследовательской лаборатории прикладного анализа больших данных Томского государственного университета.

продолжить чтение

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи.В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ?Data Studio

продолжить чтение

10 бесплатных онлайн-курсов и занятий, которые стоит пройти в июле

🏄‍♂️ Чтобы сёрферу поймать волну — нужно выждать идеальный момент. А чтобы получить новые знания — нужно просто выбрать курс или лекцию. Ловите подборку бесплатных занятий этого месяца, сохраняйте себе и делитесь с друзьями.Системный аналитик: первые шаги к профессии👉 Старт 1 июляПрофессия системного аналитика требует постоянного развития — нужно балансировать между интересами IT и бизнеса, чтобы помогать обеим сферам достигать выгоды. 

продолжить чтение

1...456789...11
Rambler's Top100