метрики. - страница 2

Импакт под прикрытием: почему российские ИТ-гиганты стесняются называть свои продукты социальными

В российском ИТ сложилась парадоксальная ситуация.Мы строим умные города, цифровизируем образование, переводим госуслуги в проактивный режим.Мы тратим миллиарды на импортозамещение и искусственный интеллект.Но никто не называет это импакт-проектами.Почему термин, который на Западе давно стал мейнстримом в ESG-отчётности и венчурных фондах, в российских ИТ-командах вызывает либо недоумение, либо подозрение в ненаучной благотворительности?Российские ИТ-проекты уже давно работают как импакт, просто мы не умеем это измерять и правильно упаковывать. А значит — теряем деньги, репутацию и влияние.

продолжить чтение

Почему AutoML не «магия», а способ выжить в промышленном ML

Когда в компании появляется первая ML‑модель, кажется, что самое сложное выбрать алгоритм и добиться хороших метрик. Но настоящий вызов начинается позже: когда моделей становится десятки, затем сотни, а скорость бизнеса начинает требовать обновлений не раз в год, а раз в недели.В Страховом Доме ВСК мы довольно быстро поняли: без стандартизации и автоматизации машинного обучения масштабирование превращается в хаос. Так у нас появился собственный AutoML‑фреймворк как ответ на реальные боли промышленного ML.Когда ML перестает быть «экспериментом»

продолжить чтение

Как не тратить время на провальные A-B-тесты: офлайн-оценка рекомендаций в Звуке

продолжить чтение

Созвоны как токсин, но не яд: как я выкинул половину встреч и впервые за долгое время перестал умирать к вечеру

Я жил в календаре. Встреча, встреча, статус, синк, планирование, разбор, созвон про созвон. В какой то момент я понял, что я не работаю, я просто пересаживаю мозг с темы на тему, а вечером у меня остается ноль сил и ощущение, что я весь день был занят чем то важным, но прод не стал лучше. В этой статье я расскажу, как я технически расковырял проблему встреч, как мы измеряли созвоны, как резали их без боли, какие правила сработали, какие сломались, и как сделать так, чтобы команда не превращалась в выжатый лимон. Будет много прагматики, три больших куска кода, и несколько приемов, которые я до сих пор считаю читерскими.

продолжить чтение

Что мы считаем, когда считаем эффективность: от парового двигателя до нейросетей

"Новые времена" (Modern Times, 1936)

продолжить чтение

Детектор AI-сгенерированных изображений: от идеи до честной оценки качества

Всем привет! Меня зовут Татьяна Кутузова, я работаю в Wildberries & Russ ML-инженером. Вместе с Иваном Горбуновым и Елисеем Мягких мы занимаемся разработкой AI-детектора изображений, который помогает отличать реальные фотографии от сгенерированных нейросетями. В этой статье рассказываем, как мы подошли к созданию AI-детектора: от выбора архитектуры и данных до продуктовых границ и сценариев применения. Отдельное внимание уделяем тому, как в таких задачах корректно оценивать качество модели, какие метрики имеют смысл и почему их интерпретация не менее важна, чем сами числа.

продолжить чтение

ML-аналитика, какие проблемы решает, инструменты, зачем выделять ресурсы

продолжить чтение

Дискуссия «GenAI reality check: ловушка эффективности, тяжесть техдолга и битва за прод»

Дискуссии на Conversations – это пространство обмена мнениями, свежими взглядами и ценнейшими инсайтами. За ними всегда интересно наблюдать, и мы только рады поделиться материалами! В этот раз на сцене трека «Продукты и технологии» встретились эксперты из Just AI, X5 Tech, MWS AI, Яндекс R&D и Северстали, чтобы поговорить об эффективности AI-ассистентов, актуальных трендах и подходах к внедрению решений, а также о работе с ожиданиями бизнеса.

продолжить чтение

Почему ваше AI-решение не окупается. Фреймворк OpenAI, который все пропустили

OpenAI опубликовали фреймворк, на который мало кто обратил внимание. Исследование OpenAI (да и не только их) показало: компании внедряют ИИ, но часть из них не получает ожидаемого эффекта. В этом фреймворке на мой взгляд обозначены принципы отделяющие посредственные решения от тех которые делают внедрение AI в бизнес эффективным.https://openai.com/index/evals-drive-next-chapter-of-ai/KPI и OKR остаются бизнес-целями. Evals — метрики, которые показывают, как AI помогает достигать целей. Либо evals становятся частью KPI, либо контролируют качество AI, который двигает показатели вверх.

продолжить чтение

Evals – гарантия качества и окупаемости ИИ

OpenAI опубликовали фреймворк, на который мало кто обратил внимание. Исследование OpenAI (да и не только их) показало: компании внедряют ИИ, но часть из них не получает ожидаемого эффекта. В этом фреймворке на мой взгляд обозначены принципы отделяющие посредственные решения от тех которые делают внедрение AI в бизнес эффективным.https://openai.com/index/evals-drive-next-chapter-of-ai/KPI и OKR остаются бизнес-целями. Evals — метрики, которые показывают, как AI помогает достигать целей. Либо evals становятся частью KPI, либо контролируют качество AI, который двигает показатели вверх.

продолжить чтение