- BrainTools - https://www.braintools.ru -

Разработчик WollyMonjac с помощью нейросетей (Fable 5.2 и Opus 5.5) представил открытый проект TINY 2.1 — a transformer for DOS [1]. Это маленькая языковая модель на Turbo C 2.0, которая работает под DOS на старом Pentium или 486DX и умещается на одну дискету (floppy disk).

Основные возможности проекта:
367 000 параметров: 4 слоя, размерность 96;
ввод и вывод осуществляются посимвольно;
8-битные веса (с одним коэффициентом масштабирования для каждой строки), общий объем — 380 КБ;
требуется около 540 КБ свободной основной памяти [2] (conventional memory);
обучена примерно на 3500 фактах, каждый из которых был представлен в различных формулировках. При выходе за рамки этих данных модель уверенно «выдумывает» ответы;
полноэкранный интерфейс в стиле «неон» с динамическим отображением работы нейросети и «роботизированным» голосом, воспроизводимым через системный динамик (PC-speaker).


Автор: denis-19
Источник [3]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38629
URLs in this post:
[1] TINY 2.1 — a transformer for DOS: https://github.com/WollyMonjac/Tiny-2.1
[2] памяти: http://www.braintools.ru/article/4140
[3] Источник: https://habr.com/ru/articles/1108358/?utm_campaign=1108358&utm_source=habrahabr&utm_medium=rss
Нажмите здесь для печати.