Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне
Иногда самое опасное в исследовании — получить слишком красивый результат.Мы собрали training-free детектор галлюцинаций для RAG, получили хорошие метрики и наткнулись на группу примеров, где все шесть LLM единогласно спорили с эталонной разметкой. Сначала мы решили, что нашли общую слепую зону LLM-as-a-Judge — переносимый, заголовочный результат. Потом открыли первоисточник. И оказалось, что ошибались вовсе не модели.Дальше — история о том, почему несущим здесь оказалась не находка и не детектор, а процедура проверки, которая поймала нас самих.Что работает — и это мы не отзываем
AI-дайджест #2
Привет, Хабр! Я, Ольга Попова, ИИ-Евангелист Лаборатории искусственного интеллекта Департамента больших данных Россельхозбанка, подготовила дайджест новостей про ИИ. Поехали!ИИ в России● «Сбер» представил аудиоавтоэнкодер KVAE-Audio (GitHub)● «Яндекс»
Загадочный робот-собака 1912 года, который все забыли
До того как Карел Чапек придумал слово “робот”, Норберт Винер написал эпохальную “Кибернетику”, а Электро — прообраз Бендера Родригеса — выкурил первую сигару, человек сумел собрать некое подобие роботизированного интеллекта. И у этого странного поделия была не менее странная история. Увертюра в селеновых тонах
Лейбл S&P Digital: закон о защите авторского контента от ИИ усложнит работу артистов в России
Принятие законопроекта о развитии технологий ИИ в России в нынешнем виде создаст серьёзные трудности для лейблов и независимых музыкантов,
Инженер-программист из Сингапура бросила работу в банке и за 100 дней начала хлебный бизнес с помощью Gemini
28-летняя инженер‑программист Сабрина Лим из Сингапура уволилась из крупного банка и всего за 100 дней
Дизайнеры не должны договариваться о том, как оформлять макеты. Как мы сформировали дизайн-стандарт
Привет! Хочу рассказать вам о том, как мы применили продуктовый подход к исследованию опыта разработчиков при работе с Figma, чтобы создать единый стандарт оформления макетов в компании.На Хабре уже есть несколько отличных разборов того, как разные команды наводят порядок в Figma: аннотации, стрелки, сценарии, раскладки макетов и так далее. Я видел материалы Ozon Tech, t2, Иннотех
Я собрал кнопку, которая сотрёт прогресс всех моих игроков. И до сих пор боюсь её нажать
Одинокий выживший держит руку у красного рубильника в пыльном бункере
