Кастомные loss-функции в TensorFlow-Keras и PyTorch
Привет, Хабр!Стандартные loss‑функции, такие как MSE или CrossEntropy, хороши, но часто им не хватает гибкости для сложных задач. Допустим, есть тот же проект с огромным дисбалансом классов, или хочется внедрить специфическую регуляризацию прямо в функцию потерь. Стандартный функционал тут бессилен — тут на помощь приходят кастомные loss'ы.Custom Loss Functions в TensorFlow/KerasTensorFlow/Keras радуют удобным API, но за простоту приходится платить вниманием к деталям. Focal LossFocal Loss помогает сместить фокус обучения на сложные примеры, снижая влияние легко классифицируемых данных:
TensorFlow, Azure Machine Learning, GitHub Actions и Bicep: Создаем полный MLOps-конвейер
ВведениеВ этом руководстве мы с вами создадим MLOps‑конвейер с использованием TensorFlow, Azure Machine Learning (AML), GitHub Actions, и Bicep (IaC).Этот конвейер будет охватывать весь жизненный цикл разработки моделей машинного обучения, включая предварительную обработку данных, обучение моделей, оптимизацию гиперпараметров, оценку моделей, развертывание и внедрение конвейеров CI/CD.По завершении этого руководства вы получите надежную, масштабируемую и удобную в обслуживании MLOps‑систему.Что вам потребуетсяПеред началом работы убедитесь, что у вас есть следующее:Аккаунт GitHub: Для контроля версий и CI/CD.
Свёрточные нейронные сети: от основ до современных технологий
Привет, Хабр! Я подготовил для вас подробную статью о свёрточных нейронных сетях (Convolutional Neural Networks, CNN) — мощном инструменте машинного обучения, который изменил подход к обработке изображений. Моя цель — объяснить, как работают CNN, начиная с базовых понятий для новичков и заканчивая практическими примерами и сравнением с современными технологиями вроде Vision Transformers. Мы разберём их устройство, процесс обучения, популярные архитектуры и даже напишем код на Python. Давайте начнём!1. Введение
Первая ИИ-модель для обучения на тексте
Привет, будущие разработчики! Сегодня я расскажу вам, как создать свою первую модель искусственного интеллекта. Это совсем для начинающих, так что не переживайте — никаких сложных терминов и запутанных выражений. Всё, что понадобится, — ваши идеи и немного кода. Будем писать на Python и использовать TensorFlow — мощную библиотеку от Google для машинного обучения. Почему Python, TensorFlow и как начать работу в Google ColabЕсли спросить, почему так часто для работы над ИИ выбирают Python
Сегментация изображений с дефектами для промышленности на основе Unet и TensorFlow
ВведениеНедавно я и моя команда участвовали в хакатоне от компании «Норникель». Мы выбрали трек «Грязные дела», где наша задача заключалась в разработке алгоритма компьютерного зрения для решения проблем на производстве.Вот условия задачиЗадача заключалась в решении проблемы загрязнения линз камер на производстве. Из-за этого алгоритмы компьютерного зрения теряли свою точность, что сказывалось на производительности. Нужно было разработать эффективный алгоритм для сегментации дефектов с минимальными затратами ресурсов и времени.
Решение задачи классификации при помощи Deep Learning и классического Machine Learning
Небольшой бенчмарк (вроде этого): генерируем данные, потом тренируем на них нейросеть (DL - deep learning) и статистические модели (ML - machine learning). Оценивать результат будем по точности (Confusion Matrix) и контурному графику Decision Boundary, а также по времени тренировки. Мы классифицируем синтетические данные тремя способами (на разном количестве данных, от 1000 до 100 000 примеров):DL модель с одним слоем из 8 нейроновSupport Vector ClassifierDecision Tree Classifier
