Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте
Если вы обучаете графные нейросети или Knowledge Graph Embeddings на миллионы узлов, вы наверняка сталкивались с тем, что стандартный torch.optim.SparseAdam моментально забивает всю оперативную память или видеопамять.Я разработал маленький пакет Disk Sparse Adam (DSA) — Out-of-Core оптимизатор для PyTorch, который выносит состояния моментов (
Корпоративный ИИ за $10 млн отмел статью Q1. И он оказался прав — но не так, как он думал
1. ИсторияКорпоративная модель ИИ дала негативный отзыв на недавно опубликованную статью: Vladimirov, V.V. (2026). An additional degree of freedom in the processes of self-organized criticality with violation of causality. Chaos, Solitons & Fractals, 208, 118186. Ключевая проблема не в том, что ИИ «глупый». Проблема в том, что он обучен на другой парадигме. Вот три фундаментальные причины, почему корпоративный ИИ дал негативный отзыв — и почему это не ошибка, а закономерность.· ИИ не видит структуру там, где она не выражена в данныхСовременные LLM обучены на текстах, которые описывают уже известные паттерны. Статья — о том, как
Общая нейросетевая модель с кросс-модульным взаимодействием для кредитного скоринга физических лиц
Всем привет! На связи снова команда прикладных исследований Альфа-Банка. Эта статья является третьей, и последней, в серии статей, посвященной нейросетевым подходам к решению задачи кредитного скоринга физических лиц в Альфа-Банке. Первые две статьи:Базовые нейросетевые модели для кредитного скоринга физических лицГрафовые нейросети для прогноза дефолта физических лиц: как мы попробовали новый подход и не прогадали
Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)
Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.💡 Зачем вообще что-то менять в языковых моделях
Основы глубокого обучения. Часть 1
🙂 Приветствую всех! Эта статья будет первой в серии статей про основы глубокого обучения. В этой части я расскажу про то, что такое модели, искусственный интеллект (ИИ), машинное (МО) и глубокое обучение (ГО), про виды этапа обучения моделей, что такое нейронные сети, градиентный спуск и обратное распространение. В конце затронем теорию свёрточных нейронных сетей.Модель — это функция, закодированная в виде программы (по сути слова синонимы).Искусственный интеллект
Когда автоматизация становится умнее: как трансформеры изменили AutoDL в Альфа-Банке
Всем привет! С вами Артемий Лямин (@lyaminartemiy) и Иван Тренёв (@123-39
Как я создал альтернативу трансформерам
В этой статье я хочу остановиться на разборе предложенной мной архитектуры декодера и тех вариантов, с которыми я сравниваю её в исследовании, но сделать это проще и интуитивнее, чем в самой работе. На мой взгляд, существующие объяснения архитектур декодеров часто подаются разрозненно. Каждый подход описывают отдельно, без общей опоры. А ведь всё можно свести к одному фундаменту, и тогда становятся гораздо заметнее как сильные стороны каждого решения, так и их ограничения. Для начала приведу все необходимые ссылки.Само исследование: https://arxiv.org/abs/2604.18580Код:
Краткий справочник про внимания (self-attention, cross-attention, multi-head attention)
Механизм внимания (Attention) - это метод в искусственном интеллекте, который позволяет нейросети динамически определять, какие части входных данных наиболее важны для текущей задачи. Он работает через вычисление весов важности для разных элементов входа: более важные элементы получают больший вес, а менее важные - меньший. Затем модель формирует взвешенную сумму представлений, создавая новый контекстный вектор.
YOLOE: детектим что угодно без дотренировок
Всем привет! Представьте, сколько всего нужно сделать, чтобы дотренировать модель компьютерного зрения:Поиск и сборка датасетов. Хорошо, если есть открытые и с допустимой лицензией. Но часто приходится собирать «с миру по нитке», дополнять и балансировать данные самостоятельно.Разметка и аугментация. Качественный датасет — залог хороших метрик. Придётся корпеть над точными detection-боксами, перепроверять, думать над нестандартными ситуациями во входных данных.Обучение и валидация.
