Самообучение одноклеточных и коллективный интеллект
Казалось бы, обучение — это процесс, непосредственно связанный с нервной деятельностью. Неслучайно вычислительная единица в составе перцептрона и самообучающихся сетей названа именно «нейроном». Двухчастную работу «Нейронные сети для начинающих» о том, в каких отношениях искусственные нейроны напоминают естественные, написал на Хабре в 2016 и 2017 годах уважаемый @Arnis71
Кажется, мы ищем форму
Привет, Хабр :3, что-то давно я не писал свое графоманство, что читается хуже нейрослопа, да и знаки препинания по паузам в уме моём, а еще я "–" умею ставить ввиду академической проф-деформации.Итак, заваривайте чай, напрягаем мозг, сегодня поговорим в целом о программировании и его проблемах, а также экспериментах. Плана статьи не будет, до конца дочитают сильнейшие (изи байт). Ехала!Проблема AI и LLM
Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок
В прошлой статье были только опыты. Теперь давайте расскажу подробнее: это шаги к новой архитектуре — LANN-4 и что это такое?Если короткоВ первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
Одно имя метрики, разные эксперименты: почему состав выборки надо хешировать
Рядом с метрикой принято хранить версию модели и версию данных. Этого мало. Между двумя запусками может смениться правило, по которому объекты попадают в оценку, и тогда одно и то же имя метрики описывает два разных эксперимента.У меня это вылезло на прогнозе загруженности парковок. Часть датчиков молчит: вместо занятости они круглосуточно отдают одно и то же число. Такие парковки надо выкидывать и из обучения, и из замера, иначе модель учится предсказывать константу, а метрика выходит красивее заслуженного.
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика
Это статья о двух месяцах исследовательской работы над одним вопросом: может ли языковая модель 3B накапливать компетентность не за счёт роста весов. Здесь есть числа, код и баги. Все результаты воспроизводимы: сиды, хеши и протоколы заморожены до прогонов.Доставка верифицированного решения похожей задачи в контекст 3B‑модели даёт +30 п.п. к решаемости (53% → 83%), повторено на 3 сидахОбучение на верифицированных решениях (LoRA‑дистилляция, 1 цикл) даёт β = +0.145 (CI95 ) — эффект есть, но это одна точка, а не кривая
Microsoft представила ИИ‑систему Project Quine для ускорения открытия лекарств
Подразделение Microsoft Research представило Project Quine — экспериментальную мультимодальную исследовательскую систему на базе искусственного интеллекта. По заявлению компании, она призвана объединить вычислительное биологическое моделирование с практическими экспериментами в лабораторных условиях и ускорит открытие новых лекарств.
Гайд по switchback‑экспериментам: длина окна, кластеризация ошибок и мощность
Привет, Хабр!Новая логика распределения заказов по курьерам выиграла A/B с запасом: время доставки минус восемь процентов, интервал узкий, p‑value с тремя нулями.Раскатали на сто, подождали две недели — время доставки осталось ровно там, где было. Логирование в порядке, сплит честный, пользователи делились случайно.Так ломается обычный тест в системах, где варианты дерутся за один ресурс.Курьер, доставшийся тестовой группе, отобран у контрольной, и разница надувается с обеих сторон сразу.Лечится это рандомизацией не по пользователям, а по времени:
Anthropic проверила поведение ИИ‑агентов в условиях конкуренции
Команда Frontier Red Team компании Anthropic опубликовала новое исследование, изучающее поведение групп агентов ИИ при преследовании конкурирующих целей в реальных условиях. Результаты дают представление о потенциальных рисках, которые могут возникнуть по мере того, как компании и правительства переходят к внедрению технологии.
Исследователи позволили ИИ управлять вымышленным обществом: результаты эксперимента
Стартап Emergence AI запустил
