Data Engineering. - страница 2

DSL в эпоху ИИ: делать или не делать…

Искусственный интеллект создаёт код по заказу пользователяВсем привет. Меня зовут Сергей и я руковожу разработкой автоматизации внутренних бизнес-процессов в рамках Центра управления процессами Московской Биржи.

продолжить чтение

От справочника метаданных к инфраструктуре доверия: как изменился российский рынок Data Catalog за три года

Data catalogГлавный сдвиг — Data Catalog перестал быть просто справочником метаданных и становится инфраструктурой доверия к данным и источником контекста для аналитиков, процессов и ИИ-агентов.

продолжить чтение

Почему RAG не умеет в Excel

Треть нашей базы знаний лежит в выгрузках Excel, и на них ИИ-ассистент отвечает хуже всего. Разбираем, что теряется по дороге от ячейки до индекса.Вопрос, на который ассистент не отвечаетУ нас внутренний помощник по методологии. Он ищет по базе из нескольких сотен документов: регламенты в PDF, презентации, записки и примерно треть корпуса в Excel. Справочники категорий, прайс-листы, списки контрагентов. Всё это мы порезали на куски и сложили в векторный индекс, тридцать пять тысяч кусков.Сотрудник спрашивает: «Является ли Северянка нашим партнёром?»

продолжить чтение

Бесплатного интеллекта не бывает: кто оплачивает данные для LLM

Привет, Хабр! По первому образованию я юрист. Успел поработать в прокуратуре и арбитражном суде, потом ушёл в ИТ и последние 13 лет занимаюсь инфраструктурой, разработкой и DevOps. Сейчас строю MLOps-платформы.Этот опыт мешает мне спокойно читать споры об авторском праве и генеративном ИИ. Юрист видит пробелы учета прав в копировании чужих книг. Инженер — цепочку операций: crawler, raw storage, очистку, дедупликацию, training mix, веса, API. Между «скачали страницу» и «модель ответила пользователю» слишком много разных операций, чтобы обсуждать их одним словом «обучение».Отправной точкой для этого разбора стала

продолжить чтение

Агент пишет код. Что тогда остаётся инженеру данных?

Здравый смыслВ работе инженера данных хватает повторяющихся задач: забрать данные из API, проверить структуру, преобразовать поля, записать результат в хранилище. Вокруг этого — настройки, тесты, сообщения об ошибках и документация.Такую работу удобно поручать Агенту. Например:

продолжить чтение

LLM не должен читать логи без ограничений: безопасный MCP-шлюз для разбора сбоев

В понедельник утром пайплайн упал. В чате уже есть три версии причины: «сеть», «база опять задумалась» и «давайте просто перезапустим». Ассистент мог бы за минуту собрать список упавших задач, показать зависимые пайплайны и выдать первую гипотезу. Но для этого ему часто отдают доступ к логам, метаданным и иногда — не будем показывать пальцем — к произвольному SQL.Так делать не стоит. Достаточно, что модель прочитает токен в логе, получит инструкцию из текста ошибки или отправит в базу слишком дорогой запрос. У инженера тут должен сработать простой вопрос: «Можно. А зачем?»

продолжить чтение

Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда TECNO

продолжить чтение

«Диасофт» добавил ИИ‑функции и интеграцию с 1С в «Каталог метаданных»

Компания «Диасофт» расширила функциональность продукта «Каталог метаданных», входящего в состав решения «Фабрика данных» (Digital Q.DataFactory). В обновленной версии появились автоматическое заполнение бизнес‑глоссария с помощью ИИ, интеграция с информационными базами 1С, сквозная цепочка происхождения данных для отчетов «Генератора отчетов BIRT», а также возможность формировать SQL‑запросы на естественном языке.Автозаполнение бизнес‑глоссария

продолжить чтение

Система экстренных оповещений на 15 тысяч пользователей: LLM, PostGIS, Qdrant и Telegram

В нашем телеграм-боте — системе экстренных оповещений «Мигалка» — нужно в реальном времени обрабатывать сообщения примерно из тысячи телеграм-каналов и доставлять релевантные события пользователям в конкретных локациях.Официальные предупреждения о прилетах дронов и ракетных ударах часто приходят

продолжить чтение