Линейные модели в машинном обучении: подборка бесплатных ресурсов
Линейные модели — один из первых классов алгоритмов, с которым знакомятся в машинном обучении. Несмотря на свою простоту, они широко используются на практике: в кредитном скоринге, прогнозировании цен, анализе рисков и везде, где важна интерпретируемость результата. Всем привет! Это Данила Ляпин, наставник курса «Специалист по Data Science»
Survival analysis, или предсказание смерти пациента
«Да как ты смеешь! Что ты на себя берёшь?» — могут сказать некоторые из читателей.И действительно, на первый взгляд идея разрабатывать модели, которые предсказывают, через сколько умрёт человек, звучит пугающе и даже аморально. Но если копнуть глубже, становится ясно: речь идёт не о «предсказании смерти» как факта, а о предсказании «риска смерти» на данный момент времени, что потенциально даёт возможность отслеживать этот риск и возможно даже управлять им.Эта область называется Survival analysis
Neurosymbolic AI: The Architecture of a Semantic Neural Network. How to Teach LLMs to Calculate
LLMs fail at elementary math. Corporations spend billions, but ultimately are forced to attach calculators to computing machines of incredible power. All attempts to fix this via Chain-of-Thought, fine-tuning on arithmetic tasks, or context expansion have failed.I conducted a series of experiments to understand why, and came to the conclusion that neural networks are simply not meant for discrete arithmetic. Their true purpose is continuous transformations.This article describes the implementation of a novel neural network architecture that combines the precision of symbolic AI with the generalization capabilities of LLMs. As always, experiments and code are included.I will traditionally skip the philosophical foundations that led to this solution.TL;DR: LLMs make arithmetic mistakes not due to a lack of data or parameters—neural networks are fundamentally not designed for discrete calculations. They evolved (much like the biological brain) for continuous transformations and pattern recognition. The solution is not to teach them to count, but to embed an algebraic processor.
Детерминированная нейросеть на конечных группах: эксперимент с XOR
Введение: проблема недетерминизмаПопробуйте запустить обучение простой PyTorch модели 10 раз на одних и тех же данных:import torch import torch.nn as nn # Одна и та же архитектура model = nn.Sequential( nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 2) ) # 10 запусков с разными seed for seed in range(10): torch.manual_seed(seed) train(model, train_data) acc = evaluate(model, test_data) print(f"Run {seed}: accuracy={acc:.2%}") # Output: # Run 0: accuracy=95.2% ← Разные результаты! # Run 1: accuracy=96.8% # Run 2: accuracy=94.5% # ...
Архитектура «Обратного Хэша»: Нейросети без умножения
Современный Deep Learning уперся в производительность вычислений с плавающей точкой и пропускную способность памати. Мы предлагаем архитектуру, где нейрон — это не сумма произведений, а битовая хэш-функция. Ноль умножений, ноль сложений. Только логика и статистика.Концепт: Нейрон как компараторКлассический нейрон: Activation(Sum(Weight * Input))Наш нейрон: Output = AРазберем формулу:Input (64 бита): Входные данные.Mask (64 бита): «Взгляд» нейрона. Фиксированный случайный шаблон.XOR: Битовое сравнение. 0 — совпадение, 1 — отличие.popcount:
Как я написал ASR-движок на Rust: от разочарования в одной модели до мульти-модельной архитектуры
Кому лень читать полностью
Шесть осей прогресса LLM: почему «данные закончились» — это заблуждение
TL;DR«Данные закончились» — это про одну ось из шести. Пять остальных работают. Одномерные прогнозы — мусор.Вот в чём проблемаЗайдите в любой айтишный-чат.«Из архитектуры выжали всё». «Данные закончились». «Модели будут деградировать».Звучит умно. Проблема? Это полная ерунда.Не потому что эти люди глупы. Часто это крутые разработчики. Проблема в том, что они видят одну ось — supervised pre-training на интернет-текстах — и думают, что это весь AI.Ось упёрлась? Значит, AI упёрся.Нет. Не значит.Давайте честно: одномерное мышление — это ловушка2012 год.
QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать
На прошлой неделе NVIDIA выложила отчёт про QAD и я его проигнорировал. Потому что каждый месяц кто-то "решает квантизацию" и каждый раз на практике всё не так радужно.Но потом коллега скинул табличку с AIME и я залип.Контекст такой. У нас на проде крутится модель на FP8, всё более-менее ок, но менеджмент хочет запихнуть 49B модель туда, где сейчас живёт 20B. Потому что "ну там же Blackwell, там же FP4, давайте". Я месяц назад попробовал наивно квантизовать в 4 бита — модель начала нести пургу на математике. Не сильно, но заметно. Закрыл тему, сказал что FP4 не готов.И тут этот отчёт.Что вообще происходит
