Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры
В прошлой статье я рассказывал, как прикручивал Ollama к Lumi — это мой лаунчер в духе Spotlight, который умеет отвечать на вопросы без интернета. В конце я пообещал дообучить самую маленькую модель, lumi-mini, и показать, что получится. Добавил ещё «даже если станет хуже». Как в воду глядел.Сразу скажу: я не ML-инженер. Код пишу вместе с Claude, многое по ходу узнаю сам. Поэтому это не туториал, а скорее дневник эксперимента. Зато все ответы модели ниже настоящие, я сохранял каждый прогон.Зачем вообще
Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38
В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт.
Как мы сделали простой офлайн‑разметчик для YOLO и COCO с семантической и panoptic‑сегментацией
Окно для разметки изображенийВ настоящий момент я работаю над проектом по детекции дефектов дорожно‑транспортной инфраструктуры. Находимся на самом начальном этапе, подбираем модели для детекции.
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
В феврале я решил измерить, сколько языковые модели на самом деле знают про вино. Умеют ли они поддержать разговор о Бордо, мне было неинтересно. Меня интересовало, знают ли они, сколько месяцев Бароло обязано провести в бочке и в каком округе штата Вашингтон лежит AVA Beverly. К сентябрю из этого вышел бенчмарк OenoBench: 38 104 факта, собранных 35 скраперами из открытых источников, 3 266 вопросов с выбором ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: вопросы генерировали пять моделей, проверяли их десять агентов аудита. Я был единственным человеком в этой схеме и отвечал за то, что агенты проверить не могут: за вино.
664 тысячи книг, десятки агентов — и ни одной метрике нельзя верить
Мне нужны собственные каноники книг. Каноник — это одна устойчивая запись «вот этот текст», к которой привязывается всё остальное: файлы в разных форматах, аудиокниги, издания, дубли.
Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов
Привет, Хабр! На связи команда R&D в Just AI, мы занимаемся исследованиями в области NLP и GenAI, чтобы продукты компании держали статус SOTA на рынке. В частности мы отвечаем за guard-модели и бенчмарки для продукта Jay Guard, о которых и пойдет речь в этой статье.
В открытых иностранных датасетах для ИИ нашли песни и клипы российских исполнителей
Аналитики Национальной федерации музыкальной индустрии (НФМИ) исследовали базу данных проекта AI Watchdog, созданного журналом The Atlantic. Проект анализирует датасеты Laion‑Disco-12M от Laion с 12,3 млн треков с YouTube и Sleeping‑D 9M от Sleeping AI с 9,7 млн треков из того же источника. В указанных базах нашлись песни Басты, Димы Билана, Леонида Агутина и других российских музыкантов, пишут «Ведомости».Статистика выглядит следующим образом:Баста — 193 песни в Laion‑Disco-12M и 104 в Sleeping‑D 9M.Сергей Лазарев — 144 и 118 песен.Дима Билан — 140 и 119.
ML‑датасет для Data Scientist: практический гайд по проверке качества данных перед обучением модели
Всем привет, меня зовут Сергей Прощаев, я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры в ОТУС.В этой статье расскажу про восемь проверок датасета, которые нужно прогнать до того, как кто‑то в команде напишет model.fit().Пятница, релиз
«Ъ»: «Яндекс» представил концепцию датасета для проверки ИИ‑моделей на соответствие закону и духовным ценностям
«Яндекс» представил правительству концепцию набора тестовых заданий и эталонных данных для тестирования ИИ‑систем на предмет их соответствия духовно‑нравственным ценностям. Об этом со ссылкой на источник, близкий к Минцифры, и одного из участников совещания рабочей группы по регулированию и административным барьерам ИИ, пишет «Ъ». По словам источника издания, это нужно для оценки соответствия ИИ‑систем «духу времени и ценностям страны, а также их пригодности для использования в российских условиях».
