Пошаговый запуск собственного LLM сервера от А до Я
ВведениеВ сети сейчас полно «гуру» и коучей, которые обещают запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM. В этой статье я расскажу, как пошагово развернуть собственный сервер для инференса LLM, чтобы получить действительно полезный инструмент. Зачем нужен локальный сервер LLM?Снижение расходов
Боязнь и недоверие к нейросетям: почему мы так реагируем на LLM технологии
Вводные данные: год назад я, как и многие, скептически относился к искусственному интеллекту, считая его лишь набором «умных» запросов к интернету. После нескольких разговоров с публичной нейросетью меня поразили её способности, но мои коллеги по‑прежнему уверенно утверждали, что ИИ – это просто огромная база данных. Я собрал собственный сервер, запустил локальную нейросеть без доступа к сети, но даже предложение протестировать её на моём GPU‑сервере никого не заинтересовало. Что скрывается за этим скептицизмом? Почему люди отрицают возможности ИИ, хотя внутри уже чувствуют тревогу перед неизвестным?
