LLM для кодинга и локальный тест открытых моделей на AMD
LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться.В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально?В части туториала:Запустим через docker с помощью llama.cpp.Сделаем замеры скорости генерации.Ускорим за счет спекулятивного декодинга. Подключим в vscode, заставим работать локально и через ssh.Что можно делать с llm
