Терминал, которого нет: я научил модель на 360M параметров изображать bash, vim и tmux
Коротко: я дообучил языковую модель на 360 млн параметров работать терминалом. Никакого шелла и файловой системы за ней нет: на вход идёт каждое нажатие клавиши, а модель предсказывает, как изменится экран. Она умеет создавать файлы, запускать vim и tmux, играть в змейку и обычно помнит, что вы написали несколько команд назад. Больше всего дали два приёма: научить модель исправлять собственные ошибки и декодировать строки экрана параллельно. Попробуйте в браузере (208 МБ) и наберите pythoon, чтобы убедиться, что это не настоящий шелл.
LLM для кодинга и локальный тест открытых моделей на AMD
LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться.В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально?В части туториала:Запустим через docker с помощью llama.cpp.Сделаем замеры скорости генерации.Ускорим за счет спекулятивного декодинга. Подключим в vscode, заставим работать локально и через ssh.Что можно делать с llm
