Легкие LLM на CPU: какие задачи реально решать на недорогом VPS
Фронтирные модели, в которых компании ежедневно сжигают миллиарды токенов, становятся все более монструозными и дорогими. Экономика и законы о ПДн подталкивают бизнес к идее локального инференса. Но запуск большой открытой модели требует сложной инфраструктуры и дорогих GPU (которые еще попробуй найди!). Хорошая новость в том, что для многих бизнес-задач – разобрать обращения, достать контакты из письма, оценить отзыв – фронтирные модели избыточны. Это все равно что забивать гвозди микроскопом. А легкие модели размером 1–4B работают и на обычных процессорах.
