Собрать команду ИИ-агентов: инструменты для дата-сайентистов, разработчиков, тестировщиков и инженеров. ai.. ai. Data Engineering.. ai. Data Engineering. ml.. ai. Data Engineering. ml. MWS.. ai. Data Engineering. ml. MWS. MWS DevRails.. ai. Data Engineering. ml. MWS. MWS DevRails. Блог компании MWS.. ai. Data Engineering. ml. MWS. MWS DevRails. Блог компании MWS. ИИ.. ai. Data Engineering. ml. MWS. MWS DevRails. Блог компании MWS. ИИ. искусственный интеллект.. ai. Data Engineering. ml. MWS. MWS DevRails. Блог компании MWS. ИИ. искусственный интеллект. Машинное обучение.. ai. Data Engineering. ml. MWS. MWS DevRails. Блог компании MWS. ИИ. искусственный интеллект. Машинное обучение. Управление разработкой.
Собрать команду ИИ-агентов: инструменты для дата-сайентистов, разработчиков, тестировщиков и инженеров - 1

Мы запустили собственную платформу полного цикла производства ПО с ИИ‑агентами — MWS DevRails. Решение позволяет управлять жизненным циклом продукта и контролировать все этапы создания ПО: от проектирования и анализа до разработки, тестирования и выхода официального релиза. В платформу интегрированы ролевые ИИ-агенты, которые автоматизируют до 40% задач, позволяя увеличить скорость разработки.

И сегодня больше расскажем о других фреймворках и библиотеках, предлагающих возможности ИИ-агентов для обработки данных и визуализации содержимого датасетов.

Помощник для работы с базами

ToolFront — это инструмент для информационного поиска, который распространяется под лицензией MIT. Он появился в начале этого года; его представили разработчики из компании Kruskal, для которой ToolFront является дебютным проектом. Поиск информации выполняется путем отправки текстовых запросов с помощью команды ask(“…”). Обращаться можно к базам данных, документам или API.

Среди поддерживаемых СУБД также числятся DuckDB, MySQL, ClickHouse, SQLite и многие другие. Подключение к базам данных выполняется локально, а секреты не передаются языковым моделям. При этом разрешены только безопасные запросы на чтение (read-only). Что касается API, то ToolFront поддерживает интерфейсы со спецификацией OpenAPI или Swagger. Поскольку ToolFront построен на базе Python-фреймворка Pydantic AI, он работает с большинством известных LLM. Инструмент не имеет dedicated-документации, однако необходимая информация для начала работы собрана в README-файле. В нем есть довольно компактное руководство для быстрого старта, а также примеры и параметры для работы с конкретными СУБД и ML-моделями.

Команда ИИ-агентов

AI Data Science Team — это Python-библиотека с набором ИИ-агентов для обработки данных, их очистки, конструирования признаков. Проект выложен под лицензией MIT. Его представила компания Business Science, которая обучает дата-сайентистов [еще она курирует awesome-подборку на GitHub с сотней ресурсов, посвященных разработке и внедрению GenAI].

Каждый ИИ-агент в наборе отвечает за свою задачу: генерацию визуализаций с помощью библиотеки plotly, преобразование данных в формат, подходящий для машинного обучения, и проч. Также есть агент, который использует опенсорсную платформу MLFlow для построения системы управления ML-моделями — позволяет создавать новые проекты и эксперименты, сохранять/извлекать модели и так далее. Общую структуру доступных агентов авторы приводят на этой схеме

В репозитории проекта на GitHub также можно найти несколько примеров приложений, которые были разработаны с помощью AI Data Science Team. Одно даёт возможность анализировать содержимое Excel/CSV-файлов, обобщать данные и строить графики. А другое — позволяет проводить корреляционный и разведочный анализ данных. Ещё пример — приложение для генерации SQL-запросов на естественном языке.

Стоит отметить, что проект находится на ранних этапах разработки, однако он уже набрал больше 2 тыс. звезд. И в планах разработчиков расширить спектр ИИ-агентов — например, для корреляционного анализа и интерпретируемой машинной обработки.

Ещё один фреймворк для баз

Речь идёт о фреймворке Ryoma, который вышел под лицензией Apache 2.0. Он превращает пользовательские вопросы на естественном языке в SQL-запросы, а затем отображает результаты в удобном для чтения виде. При этом инструмент позволяет проводить не только поиск информации по базам данных, но и её полноценный анализ. Например, можно попросить Ryoma исследовать финансовые показатели компании — это могут быть темпы роста за последние двенадцать месяцев или прогноз доходов и расходов на следующий квартал на основе текущих тенденций.

Ryoma поддерживает такие источники, как Snowflake, Sqlite, BigQuery, Postgres, MySQL, а также файлы форматов CSV, Excel и Parquet.

Работа с ИИ-моделями ведётся через пользовательский интерфейс Ryoma Lab (построен на reflex). Что касается стека Ryoma, то он включает несколько элементов. LangChain отвечает за бесшовную интеграцию языковых моделей, а Ibis и Amundsen нужны для поиска и анализа данных. Полный список можно найти в репозитории.

Документация проекта компактная, но включает описание архитектуры и API, а также руководство для быстрого старта (с установкой, настройкой, подключением к источникам данных). Ещё в ней представлен подраздел с лучшими практиками, в котором авторы рекомендуют грамотно подходить к выбору режима работы Ryoma: Basic подходит для простых запросов, Enhanced для комплексных задач, а ReFoRCE для исследовательской работы.

Для разработки ML-приложений

Taipy — это Python-библиотека (лицензия Apache 2.0) для разработки data-driven приложений. Она была представлена одноименной компанией, которую основали два инженера: Винсент Госселин и Альберт Антуан. По словам авторов, они разработали Taipy, чтобы упростить внедрение ИИ-алгоритмов.

Taipy позволяет писать веб-интерфейсы без необходимости глубокого знания JavaScript или фронтенд-фреймворков. Инструмент поддерживает Markdown, HTML-подобный синтаксис и динамические компоненты. 

В то же время Taipy поставляется с интерфейсом командной строки, системой контроля версий и миграции данных, а также с модулями телеметрии и мониторинга. Можно создавать не только UI, но и бизнес-логику (например, обработку данных, API). Библиотека совместима с Pandas, NumPy, Matplotlib, Scikit-learn и другими. 

В целом документация проекта исчерпывающая и содержит руководства для старта, описания компонентов, нюансы интеграции и управления сценариями. Также разработчики подготовили специальный материал, который поможет спроектировать первое приложение. 

Другие обучающие материалы от команды посвящены написанию чат-ботов: первый на основе LLM, второй с поддержкой RAG. 

MWS DevRails

Прежде чем предлагать MWS DevRails внешним заказчикам, с помощью её инструментов мы организовали управление производственным процессом для более чем 400 цифровых продуктов и сервисов МТС.

За счёт отказа от разрозненных решений в пользу единой платформы, нам удалось на 40% сократить срок вывода новых продуктов на рынок, а также значительно повысить надёжность ИТ‑систем.

Платформа содержит комплекс интегрированных между собой инструментов для следующих задач:

  • управление архитектурой;

  • работа с кодом;

  • отслеживание производственных метрик и бизнес-показателей;

  • проведение мобильного и кросс-браузерного тестирования;

  • и других. 

Встроенные AI Copilot-программы позволяют экономить до 40% рабочего времени специалистов за счёт автоматизации:

  • Product Owner Copilot в таск-трекере полностью описывает требование к разработке;

  • Analytic Copilot оценивает качество написанного требования и даёт рекомендации по улучшению описания;

  • Test Designer Copilot готовит 50% тест-кейсов. 

MWS DevRails доступна как для развёртывания на инфраструктуре заказчика, так и в облаке. Больше подробностей на странице.

Автор: randall

Источник

Rambler's Top100