Как создать свой бенчмарк: 6 уроков с туториала NeurIPS
Посмотрела Туториал NeurIPS «The Art of Benchmarking» — панель с авторами SWE-bench, GPQA и ведущими исследователями из Google DeepMind, NYU и Berkeley. Вот мой конспект. Делюсь с вами, так как бенчмарки теперь не только про науку, но и про безопасность, регуляторику и миллиардные решения о деплое.* Тирания метрикОказывается, любая метрика имеет honey spots, которые модель может хакнуть. Проблема в том, что текущая мета-оценка (корреляция Пирсона) эти точки не показывает. А если метрика становится еще и reward'ом при обучении — могут быть проблемы* Про долговечность
До свидания, любимые эмэльщики! Мы сделали стенд по компьютерному зрению, которым может воспользоваться каждый
На стенде ваши модели обучаются буквально на десятках картинок вместо тысяч, и дают не меньше 86% точности, при этом обходят YOLO — без GPU-кластеров и эмэль‑псевдомагии.Джекил и Хайд против священной коровы ML
TSMC ожидает, что рынок чипов превысит $1,5 трлн к 2030 году из-за роста AI-нагрузок
TSMC повысила прогноз по мировому рынку полупроводников. Компания ожидает, что к 2030 году он превысит $1,5 трлн. Ранее ориентир был заметно ниже — около $1 трлн.
Критерии выживания и случайность — 4
Предыдущие статьи цикла.Случайность — другое имя БогаПовезло или сам добился? Как оценить?Критерии выживания и случайностьКритерии выживания и случайность - 2Критерии выживания и случайность - 3Интеллект и жизнь человека: что говорят данные, а что — интуиция1. Почему это трудная тема
Критерии выживания и случайность — 3
Предыдущие статьи цикла.Случайность — другое имя БогаПовезло или сам добился? Как оценить?Критерии выживания и случайностьКритерии выживания и случайность - 2В этой части цикла рассмотрим жизненные факторы. Тема несколько скучная и для большинства - интуитивно понятная. Но влияние этой категории сильное и рассмотреть ее необходимо.
Вот так ИИ распространяет фэйковые статьи на Хабре
Вы даже не замечаете, как смысл статей меняется на противоположный. Внимание! Это не учебная тревога, поставьте статью в закладки! Эта тяжелая - иногда очень - учесть может постигнуть каждого.
Критерии выживания и случайность — 2
Предыдущие статьи цикла.Случайность — другое имя БогаПовезло или сам добился? Как оценить?Критерии выживания и случайностьВ этой части цикла рассмотрим 3 категории — богатство, социальные связи и образование.Богатство: логика построения моделиБогатство отражает материальное положение сущности — от полной нищеты до максимального достатка. Каждый год оно пересчитывается по простому принципу: заработал минус потратил.ЗаработокДоход складывается из двух источников.
Повезло или сам добился? Как оценить
Предпосылки и моя мотивация к созданию модели описаны в первой статье цикла, поэтому не буду повторяться.Изначально идея была простой.Составляем список факторов, влияющих на жизненный успех. Список создавался исключительно умозрительно, путём рассуждений. Получился такой:ЗдоровьеБогатствоСоциальные связиОбразованиеЖизненные факторыИнтеллектАдаптивностьЛичные усилия
