Data Engineering. - страница 9

Production-ready архитектура AI-агента. Часть 1: ReAct, Advanced RAG, Tools, Prompts

Интересный получился 2025 год: с одной стороны нахлынула волна хайпа вокруг AI‑агентов, с другой стороны не меньшая волна скептицизма и критики остудила пыл многих. Мол, это всё дорогая игрушка — поиграли, забыли, выбросили. На примере разработки AI‑консультанта для своей компании поговорим о системном подходе к проектированию архитектуры production‑ready AI‑агентов, который мы применяем при создании агентских систем для бизнеса. Да-да, именно систем, включая всё критически необходимое для того, чтобы агенты не стали игрушкой, а приносили пользу и оправдывали своё назначение.Поехали...

продолжить чтение

Есть ли жизнь после Vertica или миграция DWH в Lakehouse

Всем привет! Меня зовут Дмитрий Рейман, я техлид аналитической платформы Авито.Последний раз мы подробно писали о нашей платформе почти четыре года назад – в статье «Эволюция хранилища данных в Авито». С тех пор аналитическая платформа сильно изменилась и по масштабу, и по сложности.

продолжить чтение

DataHub + MCP: подключаем ИИ к управлению метаданными

продолжить чтение

Первый Data Sapience Data Day объединил экспертов data-индустрии

DSDD стал площадкой для открытого диалога о настоящем и будущем на ИТ-рынке данных. На Data Sapience Data Day собрались ведущие эксперты дата-отрасли и руководители в области данных крупнейших компаний из банковской сферы, промышленности, страхования, ритейла, телекома, e-commerce, нефтегазового сектора и сферы услуг.

продолжить чтение

Строим витрину данных с Claude через MCP

Давайте разберем, как выглядит работа с MCP, на реальном примере из опыта моего дата-консалтинга. В этой статье теории не будет, только практика, много скриншотов и пара лайфхаков. Дано: Средних масштабов компания, которая специализируется на оказании услуг по ремонту электрики и сантехники. Интересующая нас инфраструктура — BigQuery для хранения данных, Dataform для трансформации. Наша задача:Создать витрину данных об эффективности работы субподрядчиков. 

продолжить чтение

Создание корпоративной Базы Знаний для внедрения LLM-инструментов

В статье описываю практический опыт построения корпоративного ИИ-ассистента: от структуры базы знаний и графовой модели до фильтрации контекста и контроля версий. Материал будет полезен продактам, архитекторам, маркетологам и всем, кто внедряет ИИ в бизнес-процессы. «Garbage in - garbage out», как мусор в корпоративной Базе Знаний мешает корректной работе ИИ и как мы предлагаем это исправить.Сегодня многие компании внедряют ИИ-агентов по упрощённому сценарию: загружают PDF-регламенты, Excel-прайсы и архивы переписок в векторную БД, после чего ожидают, что модель будет корректно отвечать на вопросы пользователей.

продолжить чтение

Цифровые культиваторы, теплицы и мотоблоки или мультиагентная трансформация АПК

Миронов В.О., Кальченко С.Н.Приветствую вас, бравые хаброжители ;-) В наше время искусственный интеллект очень быстро развивается, при этом, вносит значительные коррективы в развитие различных профессий, диктуя там свои правила и виденье. При этом основные козыри — это скорость, время и профит. В этом контексте мы и будем говорить о сложившейся ситуации, а именно, о дифференцированной трансформации профессий. 

продолжить чтение

Как мы строили хранилище на 70 ПБ данных и не планируем останавливаться

Привет, сегодня я расскажу о том, как наша команда строила платформу обработки и хранения данных для обучения GenAI-моделей в Сбере, и как мы выросли до 70 ПБ сырых данных. Меня зовут Александр, я работаю в Сбере и два года занимался развитием этой платформы.Что такое GenAIGenAI — это генеративный искусственный интеллект, который способен создавать новый контент по определённому запросу. Яркими представителями GenAI являются большие языковые модели: нашумевший ChatGPT от OpenAI, китайский DeepSeek, а также российские GigaChat и YandexGPT. Также можно выделить модели для синтеза изображений, например,

продолжить чтение

Как рассуждают большие языковые модели

Транскрибация доклада Ивана Оселедця: "Большие языковые модели в эпоху ризонинга"В самом деле эпоха ризонинга, она так вот началась в Раде. Сейчас, конечно, есть такое четкое ощущение, что она немножко уже заканчивается. Сроки развития в искусственном интеллекте, они очень короткие. И эпохи у нас длятся, получается, пару месяцев. И мы уходим уже в подходы, которые связаны, например, уже с эволюцией агентов, подходы, которые предложены первой Вальфой Волве. Вот вчера буквально статья вышла.

продолжить чтение

LLM: обучение и использование

Транскрибация лекции Михаила Тихомирова с названием "LLM: обучение и использование. 1. Большие языковые модели. Введение. Основы архитектуры Transformer". Материал по архитектурам больших языковых моделей. Разбил на несколько частей из-за большого объёма. Слайды на видео, распечатка очень удобна для заметок. Часть 1.

продолжить чтение