rnn.
Основы глубокого обучения. Часть 4
Всем привет! Эта статья является четвёртой в серии статей про основы глубокого обучения. В прошлых трёх частях я рассказал много интересного и полезного новичкам, так что рекомендую перечитать.В этой части мы продолжим работу с нейронной сетью обработки естественного языка (NLP) и реализуем новую сеть, которая будет определять пропущенное слово по остатку фразы.Какие мы имеем результаты с прошлой части?
Основы глубокого обучения. Часть 3
Всем привет! Эта статья является третьей в серии статей про основы глубокого обучения. В прошлых двух частях я рассказал много интересного и полезного новичкам, так что рекомендую перечитать. В этой части мы разберём подробнее задачи связанные с обработкой естественного языка (NLP) и реализуем двухслойную нейронную сеть классификации текста.Разберём, что подразумевает под собой область ИИ под названием обработка естественного языкаКакие задачи решает NLP?Эта область посвящена автоматизированному изучению человеческого языка (не обязательно с использованием именно глубокого обучения).
Не только PyTorch. О чём на самом деле новая книга Лоуренса Морони
Название новой книги Лоуренса Морони — «
Mamba: архитектура, которая шла убивать трансформеры
В декабре 2023 по ML-тусовке прокатилась волна заголовков в духе «трансформерам конец». Поводом стала статья двух исследователей — Альберта Гу и Три Дао — со скучным названием:
Как одна операция из линейной алгебры захватила мир ИИ
Всё началось довольно тихо — без шоу-программ и футуристичных роботов на сцене. В 2017-м исследователи Google опубликовали статью с до смешного скромным названием: Attention is All You Need. Тогда мало кто понял, что именно в этот момент случилось новое «деление эпох»: теперь у ИИ было чёткое «до» и «после».Сегодня почти весь генеративный ИИ — от ChatGPT до Midjourney, от Gemini до Claude — внутри себя основан на трансформерах. А фундамент всей этой революции оказался… ну прямо скажем, совсем не похожим на научную фантастику. Просто скалярное произведение двух векторов — действие из школьной линейной алгебры
Базовые нейросетевые модели для кредитного скоринга физических лиц
Всем привет! Мы команда прикладных исследований и разработки моделей глубокого обучения Альфа-банка. В этой статье мы хотели бы рассказать о наших самых актуальных разработках в области нейросетевых подходов к решению задачи кредитного скоринга физических лиц. Ранее мы уже писали на эту тему:Нейросетевой подход к моделированию карточных транзакцийНейросетевой подход к моделированию транзакций расчетного счета
Девять лет, как битломаны запустили ИИ-революцию
12 июня 2017 года группой битломанов из Google была опубликована статья под названием "Attention Is All You Need", в которой миру впервые были представлены трансформеры — новый тип нейронных сетей, которые обрабатывали всё, везде и сразу.Эту дату можно считать началом ИИ-революции, которую мы сейчас наблюдаем. Нам кажется, что все произошло практически мгновенно — однако девять лет уже пролетело!Вся фишка была в механизме внимания.
Параллельность RNN?
Смотрели итоги прошедшего ICLR? Меня заинтересовала довольно провокационная, на первый взгляд, статья от Эплов — ParaRNN. Казалось бы, параллельность РНН — это их главный недостаток, благодаря которому их заменили трансформеры (в большинстве задач).Так вот, давайте разберемся со всем, на максимально низком уровне, если знаете, что такое RNN и производная — то эта статья для вас.1. Алгоритм DEERDEER = Deep Equilibrium Evaluation of Recurrence (Lim et al., 2024). Базовый алгоритм, на котором строится ParaRNN.1.1. Постановка как задача нахождения корня
Создаем ИИ‑модель для генерации музыки на базе Lakh MIDI Dataset
ВведениеГенерация музыки алгоритмами — давно рабочий инструмент индустрии. Этот сегмент прошел путь от простых цепей Маркова, которые предсказывали вероятности перехода одной ноты в другую, до современных трансформеров, способных выдавать многоканальные аудиозаписи.
