Офлайн-ИИ в десктопном приложении: что я узнал, встраивая Ollama в лаунчер для трёх ОС
Я делаю Lumi, открытый лаунчер в духе Spotlight: по горячей клавише открывается строка, в которой можно запустить программу, найти файл или задать вопрос нейросети. Честно скажу сразу: код я пишу вместе с Claude, сам я не программист. Но тесты, цифры и ошибки ниже настоящие, и о них хочется рассказать.Задача была такая: человек без опыта нажимает одну кнопку и получает ИИ, который работает без интернета. Ему не нужен терминал и не нужно знать, что такое Ollama. Дальше расскажу, что из этого вышло и обо что я споткнулся.1. Какую модель выбрать: тест четырёх кандидатовКандидаты: gpt-oss 20B, Qwen 3.5 9B, Gemma 4 E2B
«Друзья не дают друзьям пользоваться Ollama»
Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama»
GGUF: квантизация с калибровкой (imatrix)
Привет, хабровчане!Признаюсь, я не большой любитель vLLM, Triton Inference Server и всяких там NeMo, вместо них я предпочитаю ollama вообще и llama.cpp
