Reasoning-модели нужно измерять по-новому. Представляем публичный лидерборд MERA Reason
За последний год в мире больших языковых моделей произошел заметный сдвиг. Если раньше основным предметом соревнования были знания модели — насколько хорошо она отвечает на вопросы (общие или специальные), знает факты или пишет код, — то со временем фокус сместился на способность рассуждать.Практически каждый крупный релиз последних месяцев позиционируется как reasoning-модель. Производители говорят уже не столько о знаниях, сколько о способности строить длинные цепочки рассуждений, решать сложные задачи и принимать решения в условиях неопределенности.Но вместе с этим возникает закономерный вопрос:
Большой разбор Physical AI: VLA-модели, гуманоиды, гонка Китая и США и что есть у России. Часть 1
Сколько времени вам, человеку, нужно, чтобы сложить футболку? Секунд пять, если аккуратно и секунд десять, если прям вообще аккуратно.А теперь другой вопрос. Как вы думаете, сколько лет понадобилось мировой робототехнике, чтобы робот сложил ту же футболку сам — без жестко прописанной программы, без специальной оснастки, просто взяв мятую тряпку из корзины?Отвечаю: примерно шестьдесят. Первый промышленный робот встал на конвейер General Motors в 1961 году, а уверенно складывающего белье робота впервые показали осенью 2024-го. И это, честно говоря, было событием покрупнее многих громких презентаций.
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В третьей части мы собрали LinguaLaboratoriumMechanicus, обучили base-модель на корпусе данных по Warhammer 40K и получили модель, которая умеет продолжать текст. Данная статья целиком посвящена этапу SFT - дообучению на датасете “вопрос - ответ”, чтобы модель могла вести диалог с пользователем, а не просто дописывать за него фразы.Содержание циклаПодготовка и токенизация данныхТрансформер
AI-агент для анализа требований в финтехе: собираем контекст и находим проблемы до разработки
В прошлой статье
Самоописание нейросети: условие сложного мышления
В предыдущих статьях я разбирал J-space, открытый Anthropic: почему их интерпретация неполна, почему аналоги J-space появляются на микромоделях под давлением объективных причин, а не эмерджентно от размера модели, и почему найденный ими вектор эквивалентен понятию знака у Выготского.За рамками остались два вопроса: возможен ли метазнак — знак, объединяющий несколько базовых, — и в чём суть самоописания, репорта нейросети.Эта статья о них.
Сэм Альтман покажет властям США следующее поколение моделей OpenAI: при чем тут GPT-6 и AGI
На следующей неделе генеральный директор OpenAI Сэм Альтман проведет серию закрытых брифингов для представителей администрации США и законодателей. По данным Bloomberg, речь пойдет о следующем поколении моделей OpenAI и их потенциальном влиянии на рынок труда и вопросы безопасности. Встречи проходят на фоне подготовки новой государственной системы оценки передовых ИИ-моделей, которую Белый дом планирует представить в ближайшие недели.
