
Разработчик WollyMonjac с помощью нейросетей (Fable 5.2 и Opus 5.5) представил открытый проект TINY 2.1 — a transformer for DOS. Это маленькая языковая модель на Turbo C 2.0, которая работает под DOS на старом Pentium или 486DX и умещается на одну дискету (floppy disk).

Основные возможности проекта:
-
367 000 параметров: 4 слоя, размерность 96;
-
ввод и вывод осуществляются посимвольно;
-
8-битные веса (с одним коэффициентом масштабирования для каждой строки), общий объем — 380 КБ;
-
требуется около 540 КБ свободной основной памяти (conventional memory);
-
обучена примерно на 3500 фактах, каждый из которых был представлен в различных формулировках. При выходе за рамки этих данных модель уверенно «выдумывает» ответы;
-
полноэкранный интерфейс в стиле «неон» с динамическим отображением работы нейросети и «роботизированным» голосом, воспроизводимым через системный динамик (PC-speaker).


Автор: denis-19


