Как мы реализовали оптимальное обучение моделей в Luna Line. Часть 1. Классификация
Привет, Хабр! Меня зовут Анастасия Белозерова, я тимлид исследовательской команды, работающей над продуктом Luna Line
Конформные предсказания: интервалы с гарантией покрытия без предположений о распределении
Модель регрессии выдаёт число, модель классификации — вектор softmax-вероятностей, и оба молчат о том, насколько им можно верить на конкретном объекте. softmax-вероятность 0.9 не означает, что в 90% таких случаев ответ верен, а точечный прогноз цены ничего не говорит о том, в каком диапазоне реально лежит истина. Обычные способы добавить неопределённость опираются на предположения: доверительные интервалы линейной регрессии — на нормальность остатков, байесовские — на корректность априорных, bootstrap — на репрезентативность выборки.
Неоднозначные выводы о ROI в УЗИ классификации
В медицинском компьютерном зрении есть идея, перед которой трудно устоять: сначала найти патологический объект, а потом классифицировать уже не весь снимок, а только его. Для УЗИ это звучит почти как здравый смысл. В полном кадре хватает всего, что модели, казалось бы, видеть не нужно: подписи аппарата, измерительные маркеры, шум, лишний фон. Логика простая: берём маску опухоли, оставляем область интереса, всё остальное закрашиваем — и даём классификатору «чистую» картинку.
Разбираемся в ML без воды: от базы до Attention. Часть 7: SVM и SGD
В шестой части мы разобрали логистическую регрессию и увидели, как линейная модель может разделять классы с помощью вероятностного подхода. В этой части поговорим о SVM — алгоритме, который ищет не просто разделяющую гиперплоскость, а оптимальную границу с максимальным зазором между классами. Если логистическая регрессия отвечала на вопрос "с какой вероятностью объект принадлежит классу?", то философия SVM звучит иначе "где провести наиболее устойчивую границу между классами?".Support vector machineSupport vector machine (SVM), или же метод опорных векторов
predict_proba выдаёт 0.9 — но это не вероятность 90%
Привет, Хабр!Самая распространённая ошибка при работе с вероятностями в ML — читать число из predict_proba как вероятность. Модель вернула 0.9, и кажется очевидным: «событие произойдёт примерно в 90 случаях из 100». На этом строят решения — ранжируют лиды по этому числу, ставят порог отсечения, считают ожидаемую выручку как 0.9 * сумма_сделки, показывают пользователю «уверенность 90%».
Как ускорить распознавание объектов нейросетями среди множества классов, не жертвуя памятью и точностью
Эксперты российской ИТ-компании «Криптонит» Никита Габдуллин и Илья Андросов разработали принципиально новый метод организации скрытого пространства нейросетей. В ряде сценариев он позволяет снизить требования к памяти GPU и существенно ускорить классификацию объектов нейронными сетями. Вместо того, чтобы мириться с ростом вычислительных затрат и требований к памяти по мере увеличения числа классов, авторы призывают отказаться от классификационного слоя и случайного распределения классов в скрытом пространстве нейросети.Ограничения классификаторов на примере компьютерного зрения
Разбираемся в ML без воды: от базы до Attention. Часть 4: kNN
В третьей части мы закончили с линейной регрессией. Теперь пора перейти к задаче классификации․В задачах регрессии модель пытается предсказать некоторое число: цену автомобиля, размер обуви, ожидаемую выручку бизнеса и так далее.Классификационная модель, в свою очередь, занимается распределением объектов по классам. Сфера применения задач классификации довольно обширна: кликнет ли пользователь по рекламному баннеру банковская транзакция мошенническая или валидная опухоль доброкачественная или злокачественная
Как из факапа родился продукт: история EasyDoc
Привет, Хабр! Меня зовут Вадим Петросян, я директор по развитию бизнеса в ITFB Group
Модели, гипотезы и планирование: хроники ML-инженера на крупнейшем хакатоне
Привет! Меня зовут Елена, я занимаюсь ресерчем и обучением моделей машинного обучения в компании NtechLab.В прошлом году мне захотелось поучаствовать в крупнейшем российском хакатоне “Лидеры Цифровой трансформации”. И, собрав команду, неожиданно, мы заняли призовое место. О том, как мы сформировали команду, как проходил хакатон, о наших эмоциях и настрое вы можете прочитать в первой части статьи . Я же хочу более детально рассказать о технической стороне решения.
Где разместить новую станцию зарядки для электромобилей или как работать с геоэмбеддингами
В этой статье мы рассмотрим решение задачи поиска оптимальной локации для электрозарядных станций с помощью открытых данных, методов геоаналитики и алгоритмов классического машинного обучения.Что такое оптимальная локация?Под оптимальной локацией для размещения любого объекта инфраструктуры понимают такую локацию, где она будет пользоваться спросом у конечных потребителей. По опросам BCG EV Charging Survey
