Детерминированная нейросеть на конечных группах: эксперимент с XOR
Введение: проблема недетерминизмаПопробуйте запустить обучение простой PyTorch модели 10 раз на одних и тех же данных:import torch import torch.nn as nn # Одна и та же архитектура model = nn.Sequential( nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 2) ) # 10 запусков с разными seed for seed in range(10): torch.manual_seed(seed) train(model, train_data) acc = evaluate(model, test_data) print(f"Run {seed}: accuracy={acc:.2%}") # Output: # Run 0: accuracy=95.2% ← Разные результаты! # Run 1: accuracy=96.8% # Run 2: accuracy=94.5% # ...
Архитектура «Обратного Хэша»: Нейросети без умножения
Современный Deep Learning уперся в производительность вычислений с плавающей точкой и пропускную способность памати. Мы предлагаем архитектуру, где нейрон — это не сумма произведений, а битовая хэш-функция. Ноль умножений, ноль сложений. Только логика и статистика.Концепт: Нейрон как компараторКлассический нейрон: Activation(Sum(Weight * Input))Наш нейрон: Output = AРазберем формулу:Input (64 бита): Входные данные.Mask (64 бита): «Взгляд» нейрона. Фиксированный случайный шаблон.XOR: Битовое сравнение. 0 — совпадение, 1 — отличие.popcount:
Я заразил 200 нейросетей вирусом. К 20-му поколению они выработали иммунитет — и разучились думать
Лёха — единственный биолог среди моих друзей. Мы сидим в баре, он тычет телефоном мне в лицо. На экране — чашка Петри. В колонию бактерий вливают бактериофаги. Бактерии лопаются. Колония редеет. Тает. Исчезает.Перематывает на сутки.Колония на месте. Как ни в чём не бывало.«Выжившие передали устойчивость потомкам. Они не понимают вирус. Перебирают мутации, пока что-то не сработает. А потом это наследуется».Я смотрю на экран и думаю совсем про другое. Вчера Карпати выложил microGPT — минимальную архитектуру GPT
Почему AutoML не «магия», а способ выжить в промышленном ML
Когда в компании появляется первая ML‑модель, кажется, что самое сложное выбрать алгоритм и добиться хороших метрик. Но настоящий вызов начинается позже: когда моделей становится десятки, затем сотни, а скорость бизнеса начинает требовать обновлений не раз в год, а раз в недели.В Страховом Доме ВСК мы довольно быстро поняли: без стандартизации и автоматизации машинного обучения масштабирование превращается в хаос. Так у нас появился собственный AutoML‑фреймворк как ответ на реальные боли промышленного ML.Когда ML перестает быть «экспериментом»
Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)
Зачем всё это?Сейчас в сети можно встретить огромное количество разной литературы и курсов, которые предлагают разобраться в основах нейросетей, так зачем же нужна ещё одна подобная статья? И почему именно рекуррентные нейросети?
ИИ научили писать исследования длиннее его памяти
Главная проблема современных ИИ-агентов для исследований — контекстное окно. Модель может переварить условные 200К токенов, а серьёзное исследование требует прошерстить сотни страниц и написать отчёт на 10К+ слов. В какой-то момент агент просто упирается в потолок и начинает терять информацию.Исследователи из Китая предложили решение, которое кажется очевидным постфактум: а давайте дадим ИИ файловую систему как внешнюю память.Как это работает
Как я пытался сжимать смыслы вместо байтов
Два часа ночи. Я пытаюсь впихнуть документацию проекта в контекст Claude. 847 страниц. Где-то 1.2 миллиона токенов. Контекстное окно — 200 тысяч.Делаю то, что делают все: режу, суммаризирую, выбрасываю «неважное». Каждый раз теряю что-то критичное. Это уже третий час, кофе кончился, и в голову приходит идея, которая кажется гениальной.Спойлер: она такой не была.
ИИ решил задачу Эрдёша — но есть нюанс
DeepMind прогнали своего агента Aletheia по 700 открытым задачам из списка Эрдёша. Результат: одна из них теперь закрыта — это вторая математическая проблема, решённая ИИ без участия человека. Теренс Тао уже обновил трекер.Но давайте на цифры. Агент вернул 212 «уверенных» ответов. После проверки людьми: — 137 (68,5%) — фундаментально ошибочны — 13 (6,5%) — реально решают то, что имел в виду ЭрдёшКаждый шестнадцатый. Остальное — галлюцинации или решение не той задачи.Авторы честно пишут: «Любой из этих вопросов мог бы легко решить нужный эксперт». Проблема не в сложности — до этих задач у людей просто не доходили руки 40 лет.
Пишем игру-головоломку под macOS на SwiftUI [StarDust Collector]
В прошлой статье я поделился опытом, как писал с помощью ИИ кастомный TO-DO-лист под macOS. Опыт оказался противоречивым, но приложение всё-таки получилось и даже работало.Поэтому я решил добавить немного фана и реализовать мечту любого программиста — написать собственную игру. Так как у меня уже появилось небольшое понимание экосистемы десктоп-приложений под macOS и SwiftUI, я решил использовать именно её.
Про GEO доказательно: +40% видимости в AI-выдаче, нейропоиске и ответах LLM-SGE (аналитика + стратегия)
Наконец, научное обоснование (или разоблачение?) про GEO/Generative Engine Optimization. Статья-этакий бенчмарк...)
