DREM для линейной регрессии: как развязать веса перцептрона и ускорить обучение
Ключевые слова: DREM, линейная регрессия, перцептрон, градиентный спуск, идентификация параметров.Зачем нужен еще один способ обучать линейную регрессию?Линейная регрессия обычно воспринимается как давно решенная задача. Если требуется получить точное решение, можно использовать метод наименьших квадратов. Если данных много или модель является частью более сложной архитектуры, например нейронной сети, можно использовать стохастический градиентный спуск, Adam или другой итерационный оптимизатор.
Perceptron: Как работала самая первая нейросеть в истории?
Сегодня мы расскажем с чего началась эпоха современного ИИ. Это произошло через год после полета первого искусственного спутника Земли и имело не менее колоссальное значение для человечества.
Фундаментальный разбор: эволюция архитектур нейросетей от перцептрона до трансформера
Доброго времени суток, «Хабр»!Устал я делать разного рода сравнения и составлять топы среди недавно вышедших моделей. Восемь месяцев назад вышла моя статья, рассказывающая о пути, который нейросети проделали от цепей Маркова до современных языковых моделей. Размышляя над старыми материалами, я подумал: а почему бы снова не углубиться в историю и не рассмотреть развитие архитектур моделей?Присаживайтесь поудобнее, а я начинаю свой рассказ, в котором пройду путь от перцептрона до современного трансформера.
Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2
Предисловие. Опубликовав первую часть понял, что само обучение перцептрона мало кого интересует, пока не будет экспериментальных результатов. И это разрешило мою дилемму о том, как сократить изложение для хабра. Мы пропустим разделы с объяснением архитектуры перцептрона TL&NL и начнем сразу с 4 раздела моей статьи. 4. Точность прогнозирования
Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов
C. Яковлев mg.sc.comp e-mail: tac1402@gmail.comDisclaimer. Это анонс, я еще работаю над научной статьей, но пока не могу найти ментора для возможности публикации в arxiv.org. Но пока хочу поделится с вами некоторыми сырыми результатами. Аннотация.
Перцептрон SAAR (Само-рекурсивный ассоциативно адаптивный резервуар)
SAAR-Perceptron (Self-Recursive Associative Adaptive Reservoir Perceptron)C. Яковлев mg.sc. e-mail: tac1402@gmail.com Аннотация. В работе предлагается новая архитектура искусственного перцептрона — SAAR-Perceptron (Self-Recursive Associative Adaptive Reservoir Perceptron), развивающая классическую модель Розенблатта (S–A–R). Ключевая особенность архитектуры заключается во введении ассоциативного слоя с саморекурсивным отображением (A→A)
Крах ИИ: Почему нейросети не пережили свою первую зиму
Привет, Хабр!Искусственный интеллект сегодня у всех на слуху. Технологии развиваются стремительно: они меняют бизнес, творчество и повседневную жизнь. Но вместе с возможностями приходят и тревоги — многие боятся, что ИИ выйдет из-под контроля.А что, если это уже происходило?60 лет назад мир тоже стоял на пороге революции искусственного интеллекта. Ученые предсказывали скорое появление машин, способных мыслить как человек. Правительства инвестировали миллионы в исследования, университеты, открывали новые программы. Казалось, прорыв не за горами. Но революция так и не случилась.
Как действительно понять нейронные сети и KAN на интуитивном уровне
Вот вы читаете очередную статью про KAN и ловите себя на мысли, что ничего не понимаете.Знакомая ситуация?Не переживайте, вы не одни. И дело тут не в вас, суть в том, что множество материалов описывают концепции по отдельности, не объединяя их в единую картину.И чтобы решить эту проблему раз и навсегда, а также окончательно понять KAN, нам необходимо переосмыслив всё с нуля и постепенно двигаясь от базовых принципов линейной алгебры через нейронные сети. Завершив, обобщая всё с помощью множеств. В процессе мы также рассмотрим некоторые довольно уникальные и новые идеи!Статья будет следовать данной структуре:
