GlowByte провела хакатон по ИИ‑разработке на базе корпоративного портала. airflow.. airflow. BI.. airflow. BI. Data Engineering.. airflow. BI. Data Engineering. dbt.. airflow. BI. Data Engineering. dbt. DevOps.. airflow. BI. Data Engineering. dbt. DevOps. dwh.. airflow. BI. Data Engineering. dbt. DevOps. dwh. glowbyte.. airflow. BI. Data Engineering. dbt. DevOps. dwh. glowbyte. базы данных.. airflow. BI. Data Engineering. dbt. DevOps. dwh. glowbyte. базы данных. Блог компании GlowByte.. airflow. BI. Data Engineering. dbt. DevOps. dwh. glowbyte. базы данных. Блог компании GlowByte. искусственный интеллект.. airflow. BI. Data Engineering. dbt. DevOps. dwh. glowbyte. базы данных. Блог компании GlowByte. искусственный интеллект. качество данных.. airflow. BI. Data Engineering. dbt. DevOps. dwh. glowbyte. базы данных. Блог компании GlowByte. искусственный интеллект. качество данных. хакатон.
Источник изображения: Magnific.com
Источник изображения: Magnific.com

GlowByte провела внутренний ИИ‑хакатон AI Seasons, посвященный разработке хранилища данных (DWH) и построению BI‑слоев (бизнес‑аналитики) с использованием генеративного ИИ. Компания последовательно внедряет в корпоративную культуру практики безопасного и осознанного использования ИИ‑инструментов. Проведение хакатона стало одним из шагов в этом направлении.

Продолжительность интеллектуального марафона составила четыре недели. В нем приняли участие 28 команд. Призовой фонд распределился следующим образом: 100 тыс. рублей за первое место, по 50 тыс. рублей за второе и третье, а также 25 тыс. рублей получил победитель народного голосования.

Хакатон GlowByte проходил в формате цикла практических заданий. Участники решали кейс вымышленной розничной сети «МегаБайт», охватывающей сотни магазинов и миллионные объемы заказов. Командам предстояло реализовать полный цикл разработки: от моделей данных (dbt) и пайплайнов оркестрации (Airflow) до дашбордов (аналитических панелей) и сопроводительной документации. 

Каждое задание оценивалось по трем критериям: работа с промптом (запросом к генеративной нейросети), техническая реализация и бизнес‑составляющая. Максимальный балл за задание варьировался от 200 на первой неделе до 500 на четвертой. Предусматривались бонусы за скорость сдачи (до +30%) и за выполнение задания участниками, чьи роли не соответствовали профилю задачи (+15%). Дополнительные баллы начислялись за выступления на пятничных вебинарах.

Источник изображения: Magnific.com

Источник изображения: Magnific.com

Победители представили рабочую систему, готовую к демонстрации заказчику и последующей эксплуатации. Решение включает развертываемый стенд на базе Docker Compose, объединяющий базу данных, планировщик Apache Airflow, модели данных (dbt) и проверки качества. Предусмотрен трехуровневый контроль качества: тесты в моделях данных, автоматические проверки в конфигурационных файлах и SQL‑сверка исходных данных с витринами. Дополнительно реализован набор регрессионных тестов для типовых сценариев ошибок (дублирование записей, потеря строк, некорректные формулы), а также инструкции для дежурного персонала по действиям при сбоях и критериям запуска полного пересчета. Стек: PostgreSQL, Docker, Apache Airflow, dbt, Soda Core, Lightdash, Python.

Решение команды, занявшей второе место, отмечено за прозрачность и проверяемость. Каждый артефакт сопровождается цепочкой от исходного требования до исполненного запроса к нейросети с фиксацией всех ручных правок и обоснований. Внедрены автоматические проверяющие скрипты на Python для контроля структуры артефактов, корректности расчетов и запускаемости кода. Подготовлена пошаговая инструкция для проверяющего или заказчика. В пайплайн встроена блокировка публикации отчетов до подтверждения аналитиком. Разработан план коммуникаций с заинтересованными сторонами на этапе запуска, включая расписание уведомлений и шаблоны писем. Стек: PostgreSQL, Docker, Apache Airflow, dbt, Soda Core, Python.

Третье место заняла соло‑участница за высокую степень готовности решения к передаче заказчику. Подготовлен документ передачи, содержащий описание источников данных, правила расчета, структуру базы и риски интерпретации. В сверке разделены валовая и чистая выручка, что исключает искажение отчетных показателей. Реализован Schema.yml как единый регламент между хранилищем данных и системой бизнес‑аналитики (BI) с указанием форматов полей и владельцев метрик. Проверки данных разделены по уровням важности на блокирующие и предупреждающие. По итогам генерации кода составлен документ README с перечнем выявленных ошибок нейросети и способами их исправления. Стек: PostgreSQL, Docker, dbt‑core, Apache Airflow, Soda Core, Python.

Организаторы хакатона GlowByte отметили, что большинство представленных призерами инженерных решений и регламентов уже включены во внутренние стандарты и могут применяться сотрудниками компании в клиентских проектах. Особую ценность для бизнеса представляют шаблоны развертывания демонстрационных стендов, регламенты контроля качества данных и практики документирования ИИ‑разработок, позволяющие сократить время вывода аналитики в промышленную эксплуатацию.

Читать статью о хакатоне на Habr.

Автор: SnezhSh

Источник