Детерминированная нейросеть на конечных группах: эксперимент с XOR
Введение: проблема недетерминизмаПопробуйте запустить обучение простой PyTorch модели 10 раз на одних и тех же данных:import torch import torch.nn as nn # Одна и та же архитектура model = nn.Sequential( nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 2) ) # 10 запусков с разными seed for seed in range(10): torch.manual_seed(seed) train(model, train_data) acc = evaluate(model, test_data) print(f"Run {seed}: accuracy={acc:.2%}") # Output: # Run 0: accuracy=95.2% ← Разные результаты! # Run 1: accuracy=96.8% # Run 2: accuracy=94.5% # ...
OpenRouter выкатили огромное исследование: как реально используют LLM (анализ 100 трлн токенов)
В исследовании изучили 100 трлн токенов живого трафика через OpenRouter (300+ моделей, 60+ провайдеров, миллионы пользователей, до ноября 2025 года).Ключевые выводы 👇Open source закрепился на ~30% и привёл с собой Китай.Открытые модели стабильно держат около трети токенов. Особенно выросли китайские OSS (DeepSeek, Qwen, Kimi): с ~1–2% до до 30% трафика в отдельные недели, в среднем ~13%.
Momentum Attention: когда внимание получает инерцию
В классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.Внимание распределяется мгновенно:Именно этот механизм сделал трансформеры тем, чем они стали.Но вот в чём проблема - внимание не имеет памяти.
Правда ли KAN лучше MLP? Свойство разделения глубины между двумя архитектурами
ВведениеПрошлым летом в свет вышла новая архитектура нейронных сетей под названием Kolmogorov-Arnold Networks (KAN). Основная статья есть в открытом доступе на архиве по следующей ссылке. На момент выхода статьи эта новость произвела фурор в мире машинного обучение, так как KAN показывали существенный прирост в качестве аппроксимации различных сложных функций. На фото ниже видно, что ошибка новых сетей падает значительно быстрее при увеличении числа параметров.
NotebookLM: Как освоить сложные темы в 10 раз быстрее
Всем привет! Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь полезными материалами, которые считаю стоят внимания. В основном про AI, изменение процессов, тренды и продуктовое видение.У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.
NoProp: Реальный опыт обучения без Backprop – от провала к 99% на MNIST
Всем привет! Обучение нейронных сетей с помощью обратного распространения ошибки (backpropagation) — это стандарт де‑факто. Но у него есть ограничения: память, последовательные вычисления, биологическая неправдоподобность. Недавно я наткнулся на интересную статью «NOPROP: TRAINING NEURAL NETWORKS WITHOUT BACK‑PROPAGATION OR FORWARD‑PROPAGATION» (Li, Teh, Pascanu, arXiv:2403.13 502), которая обещает обучение вообще без сквозного backprop и даже без полного прямого прохода во время обучения! Идея показалась захватывающей, и мы (я и ИИ‑ассистент Gemini) решили попробовать ее реализовать на PyTorch для MNIST.
Перспективы персонализированного обучения с ИИ (2025-2035 гг.)
Содержание статьиВведение – что такое персонализированное обучение и почему это важно?Современное состояние – как сегодня школы, вузы и компании внедряют персонализированные методы.Перспективы развития – какие технологии изменят образование в ближайшие 10-20 лет?
Анализ влияния ИИ (LLM) на когнитивные способности в 10-летней перспективе
В статье рассматривается, как современные языковые модели (LLM), такие как GPT, могут влиять на умственные способности человека в ближайшие 10 лет. Обсуждаются два сценария:Позитивный
