xor.
Детерминированная нейросеть на конечных группах: эксперимент с XOR
Введение: проблема недетерминизмаПопробуйте запустить обучение простой PyTorch модели 10 раз на одних и тех же данных:import torch import torch.nn as nn # Одна и та же архитектура model = nn.Sequential( nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 2) ) # 10 запусков с разными seed for seed in range(10): torch.manual_seed(seed) train(model, train_data) acc = evaluate(model, test_data) print(f"Run {seed}: accuracy={acc:.2%}") # Output: # Run 0: accuracy=95.2% ← Разные результаты! # Run 1: accuracy=96.8% # Run 2: accuracy=94.5% # ...
Архитектура «Обратного Хэша»: Нейросети без умножения
Современный Deep Learning уперся в производительность вычислений с плавающей точкой и пропускную способность памати. Мы предлагаем архитектуру, где нейрон — это не сумма произведений, а битовая хэш-функция. Ноль умножений, ноль сложений. Только логика и статистика.Концепт: Нейрон как компараторКлассический нейрон: Activation(Sum(Weight * Input))Наш нейрон: Output = AРазберем формулу:Input (64 бита): Входные данные.Mask (64 бита): «Взгляд» нейрона. Фиксированный случайный шаблон.XOR: Битовое сравнение. 0 — совпадение, 1 — отличие.popcount:
Нейросети без градиентов: спектральное моделирование и построение решений
ВведениеСовременные искусственные нейронные сети демонстрируют впечатляющие результаты — от классификации изображений до генерации текста. Но несмотря на повсеместное использование, суть их работы остаётся для многих скорее метафорой, чем алгоритмом.Мы привыкли к терминологии: веса определяют вклад входа, нейроны применяют нелинейные функции, глубина сети увеличивает выразительность модели
