- BrainTools - https://www.braintools.ru -

Представлена TINY 2.1 — маленькая языковая модель, которая работает под DOS на Pentium-486DX и помещается на дискету

Представлена TINY 2.1 — маленькая языковая модель, которая работает под DOS на Pentium-486DX и помещается на дискету - 1

Разработчик WollyMonjac с помощью нейросетей (Fable 5.2 и Opus 5.5) представил открытый проект TINY 2.1 — a transformer for DOS [1]. Это маленькая языковая модель на Turbo C 2.0, которая работает под DOS на старом Pentium или 486DX и умещается на одну дискету (floppy disk).

Представлена TINY 2.1 — маленькая языковая модель, которая работает под DOS на Pentium-486DX и помещается на дискету - 2

Основные возможности проекта:

  • 367 000 параметров: 4 слоя, размерность 96;

  • ввод и вывод осуществляются посимвольно;

  • 8-битные веса (с одним коэффициентом масштабирования для каждой строки), общий объем — 380 КБ;

  • требуется около 540 КБ свободной основной памяти [2] (conventional memory);

  • обучена примерно на 3500 фактах, каждый из которых был представлен в различных формулировках. При выходе за рамки этих данных модель уверенно «выдумывает» ответы;

  • полноэкранный интерфейс в стиле «неон» с динамическим отображением работы нейросети и «роботизированным» голосом, воспроизводимым через системный динамик (PC-speaker).

Представлена TINY 2.1 — маленькая языковая модель, которая работает под DOS на Pentium-486DX и помещается на дискету - 3
Представлена TINY 2.1 — маленькая языковая модель, которая работает под DOS на Pentium-486DX и помещается на дискету - 4

Автор: denis-19

Источник [3]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38629

URLs in this post:

[1] TINY 2.1 — a transformer for DOS: https://github.com/WollyMonjac/Tiny-2.1

[2] памяти: http://www.braintools.ru/article/4140

[3] Источник: https://habr.com/ru/articles/1108358/?utm_campaign=1108358&utm_source=habrahabr&utm_medium=rss

www.BrainTools.ru

Rambler's Top100