Организация датасетов с ClearML
Привет, хабр! Это уже 3-я статья про ClearML. В этой статье я рассказывал про базовый функционал ClearML, а в этой - про то, как настраивать и запускать эксперименты обучения и тестирования через веб-браузер. А теперь я бы хотел затронуть менее популярную тему — организацию датасетов.Версионирование датасетовВ ML есть такой важный тезис: "Данные — это душа модели"
Запуск ML-экспериментов через ClearML
Привет, товарищи! В предыдущем посте я рассказывал, зачем нужен менеджер ML-экспериментов, поговорили про базовый функционал ClearML. А теперь мы рассмотрим, как можно создавать эксперименты, их настраивать, ставить в очередь и запускать прям из веб-браузера. Кроме того, возникает необходимость автоматически обучать/переобучать модель по расписанию. Для того, чтобы это осуществить в ClearML существуют 2 ключевых концепта:Воркеры и очередиДля запуска эксперимента по обучению или тестированию его нужно сначала поставить в очередь
ML-эксперименты проще с ClearML
В этой статье поговорим про мощный инструмент для организации ML-экспериментов (и не только) с помощью платформы ClearML. Как с помощью нее проводить исследования «по фэншую». Но для начала давайте ответим на следующий вопрос...Зачем вообще нужен менеджер экспериментов?Кто имеет четкое понимание по этому вопросу, могут скипнуть эту секцию. Начать стоит с того, что обучение моделей — это всегда эксперименты с непредсказуемым исходом. Да, докинув новых данных или взяв нейронку пожирнее, мы можем рассчитывать
Построение инфраструктуры для работы с языковыми моделями: опыт X5 Tech
Привет, Хабр! Я Мичил Егоров, руководитель команды разработки продуктов искусственного интеллекта в X5 Tech. В последнее время языковые модели (LLM) стали неотъемлемой частью многих бизнес-процессов, начиная от чат-ботов и заканчивая автоматической обработкой отзывов клиентов. Однако, чтобы эффективно использовать такие модели, необходима мощная и гибкая инфраструктура. За последний год команда X5 Tech значительно выросла, проверила множество гипотез и протестировала различные модели. Основные кейсы использования включают чат-боты, суфлёры для модераторов, автоматическое резюмирование и обработку отзывов клиентов.
