Как из аналитики данных перейти в дата-сайентисты
Перевели и дополнили статью Марины Уисс, applied scientist (дата-сайентист со специализацией в прикладной статистике) в Twitch. Когда-то Марина перешла в IT из не связанной с технологиями сферы деятельности, а потом помогла с этим переходом многим людям без IT-бэкграунда.В этой статье она делится советами для дата-аналитиков, которым хотелось бы заниматься data science. А мы добавили мнение экспертов и рекомендации, актуальные для российских образовательных реалий.
Как мы в Авито предсказываем категории объявлений по описанию
Привет! Меня зовут Руслан Гилязев, я работаю в подразделении DS SWAT в Авито, руковожу командой платформы Item2param. Одна из моих задач — развивать модели, которые предсказывают параметры объявлений. В этой статье расскажу, с помощью каких технологий мы решаем задачу классификации объявлений и почему это важно для бизнеса. Материал будет полезен DS-инженерам любого грейда и backend-инженерам, которые интересуются темой Data Science.
Проектируем собственную inhouse Feature Platform
Всем хорошего дня! На связи с вами Домклик #MLOps, и эта статья будет полезна тем, кто интересуется построением внутренней платформы. Меня зовут Алина Баймашева, я руководитель разработки ML-команд, недавно выступила с докладом на конференции HighLoad++ 2024, а теперь подготовила статью по мотивам доклада. Поэтому если вы пропустили доклад, то можно почитать статью. В ней отражены как общие концепции построения подобных платформ, так и возможности практического применения.
Организация датасетов с ClearML
Привет, хабр! Это уже 3-я статья про ClearML. В этой статье я рассказывал про базовый функционал ClearML, а в этой - про то, как настраивать и запускать эксперименты обучения и тестирования через веб-браузер. А теперь я бы хотел затронуть менее популярную тему — организацию датасетов.Версионирование датасетовВ ML есть такой важный тезис: "Данные — это душа модели"
Доступные GPU для всех: знакомьтесь с PrimeWay
ВведениеВ последние годы искусственный интеллект и машинное обучение стали неотъемлемой частью многих отраслей. Однако доступ к высокопроизводительным GPU-ресурсам всё ещё остаётся серьёзным препятствием для многих разработчиков и компаний. Сложная инфраструктура, высокие затраты и ограниченная доступность мешают инновациям и замедляют прогресс.ПроблемаСложность инфраструктуры
TensorFlow, Azure Machine Learning, GitHub Actions и Bicep: Создаем полный MLOps-конвейер
ВведениеВ этом руководстве мы с вами создадим MLOps‑конвейер с использованием TensorFlow, Azure Machine Learning (AML), GitHub Actions, и Bicep (IaC).Этот конвейер будет охватывать весь жизненный цикл разработки моделей машинного обучения, включая предварительную обработку данных, обучение моделей, оптимизацию гиперпараметров, оценку моделей, развертывание и внедрение конвейеров CI/CD.По завершении этого руководства вы получите надежную, масштабируемую и удобную в обслуживании MLOps‑систему.Что вам потребуетсяПеред началом работы убедитесь, что у вас есть следующее:Аккаунт GitHub: Для контроля версий и CI/CD.
Пайплайн каскадных онлайн-моделей: как не запутаться в модулях и обрести дзен при внедрении многомодульных моделей
Привет, Хабр! На связи команда ML-инженеров из Департамента продвинутой аналитики Альфа-Банка (Лазаричева Екатерина, Дмитрий Гончаров, Николай Рябков, Илья Мясников и Асадян Гевонд), а также наши замечательные коллеги из «Глоубайт» (Альфия Харламова, Ростислав Изимов, Александр Малиновский
3D Pose Estimation объектов фиксированной геометрии для складских роботов
«Позабыты хлопоты, остановлен бег. Вкалывают роботы, а не человек» — соблазн автоматизировать физический труд знаком нам ещё с «Приключений Электроника». И точно актуален на складах, особенно в период пиковой сезонности. И тогда на помощь приходят роботы, забирая на себя большую часть задач.
8 инструментов для развёртывания ML-моделей, о которых вам нужно знать
То, как мы создаём и развёртываем API обученных моделей в продакшене, зависит от множества аспектов жизненного цикла машинного обучения. Концепция MLOps оказалась чрезвычайно полезной для работы со сложными средами развёртывания ML‑моделей.Внедрение надёжных MLOps‑решений может принести значительные выгоды компаниям, инвестирующим в машинное обучение. Однако важно понимать, какие инструменты использовать и как их применять. При этом освоение и интеграция новых решений, упрощающих рабочий процесс, тоже могут стать вызовом.
Экосистема для разработки и применения Computer Vision (CV) в промышленности
Статья написана 2мя авторами: Иваном Мигалем и Юрием Кацером.На сегодняшний день компьютерное зрение (CV — computer vision) активно применяется в промышленности и уже стало привычной технологией для многих производств. Наиболее частыми примерами являются кейсы с охраной труда и промышленной безопасностью (ОТиПБ). Другими популярными кейсами, больше связанными с самим технологическим процессом, являются:ГранулометрияАнализ характеристик пены и динамики пеносъема на флотации
