lstm.
LSWM 2.0 is all you need
Снова всем привет!Прошло всего несколько дней с того момента как я выложил LSWM .В общем я протестировал и поэкспериментировал эту сеть ещё раз и нашёл СТОЛЬКО проблем, сколько даже ванильный RNN не видел.В этой статье я попытаюсь их исправить.Содержание.В этой статье будет:Теория.Бенчмарки.Плюсы и минусы.Вывод.Теория.Начнем с теории.Хочу сказать - тут будут те же softsign и scaled softsign .И так... Начнём с первой формулы:Что такое
Моя собственная Gated RNN: как работает? (и бенчмарки, конечно же)
Всем привет!Не давно сделал свою Gated RNN, то есть с другой математикой, ни как у LSTM, GRU и подобного.Я хочу (для вас) разобрать её теоретически, практически, замерить (я не умею замерять так что буду замерять как могу), ну и конечно же расскажу плюсы и минусы.То, что будет в статье.Э-э-э, плохое название для заголовка, но вот те заголовки которые вы сейчас будете встречать (в правильном порядке):Теория.Практика (без замеров).Бенчмаркинг.Плюсы и минусы моей сети.Вывод.Это моя первая статья похожая на реально научную, так что могут быть недочёты.Теория.
VM упадёт через 30 минут. Можно ли узнать об этом раньше мониторинга?
Предсказываем перегрузку VM за 30 минут: LSTM, численные методы и промышленный контур в Yandex CloudОбычный мониторинг хорошо отвечает на вопрос:что происходит с инфраструктурой прямо сейчас?
Не только PyTorch. О чём на самом деле новая книга Лоуренса Морони
Название новой книги Лоуренса Морони — «
Ищем lateral movement нейросетью, обученной на синтетических данных
Можно ли научить детектор атак, ни разу не показав ему настоящую атаку?Звучит как противоречие. Если хочешь, чтобы нейросеть находила боковое движение, ей вроде бы надо показать боковое движение. Я сделал наоборот: сгенерировал целую корпоративную сеть с её историей входов, устроил в этом выдуманном мире нападение и обучил на нём сети. Ни одной настоящей строки в обучении. Весь мир описан конфигом на 135 строк, каждая сеть весит четыре тысячи параметров и учится за секунды на ноутбуке; лучший результат дали шесть таких сетей, обученных на шести разных выдуманных мирах.
Мы обошли фильтр Калмана на одной камере, но сначала три недели измеряли труп
Цель видна только через камеру, детектор отдает рамку, дальномера нет. В какой-то момент цель уходит из кадра на три четверти секунды, и ее надо продолжать вести вслепую. Классический фильтр Калмана в этой ситуации теряет цель в 84% эпизодов. Наш трекер теряет ее в 18% и возвращает в центр кадра в 80%.трекердержит цель вслепуювозврат в кадртеряет цельклассический фильтр Калмана−0,0322%84%нейросетевой пилот0,4184%8%
Создаем ИИ‑модель для генерации музыки на базе Lakh MIDI Dataset
ВведениеГенерация музыки алгоритмами — давно рабочий инструмент индустрии. Этот сегмент прошел путь от простых цепей Маркова, которые предсказывали вероятности перехода одной ноты в другую, до современных трансформеров, способных выдавать многоканальные аудиозаписи.
Какой подход к предсказанию последовательности стоит выбрать
Всем, привет. Если вы задавались вопросом, как эффективно построить прогноз для последовательности значений (например, для графика), то вам может оказаться полезным мой опыт. Изначально это должен был быть пост, но материал вышел за его рамки, поэтому получилась небольшая статья.Построение прогноза последовательности - это тема отдельной книги, поэтому в своей статье я только слегка коснусь двух подходов:построение прогноза по одной точке, используя цикл;построение прогноза на весь период одним махом.
Как я написал антиспам-бота (TAB) для Telegram на собственной нейросети
Telegram Antispam Bot (TAB)Привет, Хабр!
Фундаментальный разбор: эволюция архитектур нейросетей от перцептрона до трансформера
Доброго времени суток, «Хабр»!Устал я делать разного рода сравнения и составлять топы среди недавно вышедших моделей. Восемь месяцев назад вышла моя статья, рассказывающая о пути, который нейросети проделали от цепей Маркова до современных языковых моделей. Размышляя над старыми материалами, я подумал: а почему бы снова не углубиться в историю и не рассмотреть развитие архитектур моделей?Присаживайтесь поудобнее, а я начинаю свой рассказ, в котором пройду путь от перцептрона до современного трансформера.
