Андрей Карпатый создал проект обучения LLM за 100 долларов

Бывший инженер OpenAI и один из самых известных популяризаторов машинного обучения ^[1] Андрей Карпатый запустил проект, который может изменить представление о доступности искусственного интеллекта ^[2]. Его новая инициатива под названием nanochat показывает, что создать собственную языковую модель теперь можно буквально на коленке, потратив около ста долларов и используя минимальный набор инструментов.

Проект стал частью открытого курса LLM101n от Eureka Labs, в котором Карпатый шаг за шагом объясняет, как собрать, обучить и протестировать полноценную языковую модель с нуля. Всё сделано максимально просто и прозрачно. Токенизатор написан на Rust, данные подгружаются через систему FineWeb-EDU, а готовые скрипты отвечают за обучение, работу модели и сбор метрик. Для экспериментов достаточно арендовать недорогие облачные мощности, и весь процесс обучения обходится примерно в сто долларов.

Главная цель nanochat состоит в том, чтобы показать, что большие языковые модели больше не являются исключительной прерогативой корпораций. Репозиторий проекта включает не только код, но и подробные уч��бные материалы, которые позволяют любому желающему повторить процесс. Встроенный веб-интерфейс делает взаимодействие с моделью интуитивным, пользователь может сразу протестировать результаты обучения и сравнить их с существующими решениями.

По сути, Карпатый создал доступный конструктор LLM для тех, кто хочет понять, как работает ИИ изнутри. В эпоху, когда обучение моделей требует миллиардных инвестиций, nanochat напоминает, что инновации начинаются не в гигантских дата-центрах, а с любопытства и открытых инструментов.

Делегируйте часть рутинных задач вместе с BotHub! ^[3] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[4] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[5]