Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ
TL;DRКогда вы пишете loss.backward(), ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа. Forward-mode автодифференцирование, на котором держатся JAX, PyTorch и пол-индустрии — это его обрезанная версия. В этой статье разберём гиперреалы и монады, реализуем дуальные числа в коде.Проблема, о которой не говорятОткройте любой учебник термодинамики. Найдите там первое начало:dU=δQ−δAОдин значок прямой, другой — кривой. Спросите автора учебника, чем δQ
Математика для ИИ: Дифференциал, производная и правила дифференцирования
Всем привет. Меня зовут Алмаз Хуснутдинов. В этой статье я показал, что такое дифференциал, как выводится понятие производной и рассказал про правила дифференцирования, которые используются в системах автоматического дифференцирования для глубокого обучения.Содержание: Предел функции, дифференциал, дифференциал аргумента и функции, понятие производной, вывод производной функции, правила дифференцирования, пример использования цепного правила.ПределПредел функции одной переменной
