GGUF: квантизация с калибровкой (imatrix)
Привет, хабровчане!Признаюсь, я не большой любитель vLLM, Triton Inference Server и всяких там NeMo, вместо них я предпочитаю ollama вообще и llama.cpp
AI Review кода за 30 минут: локальная LLM прямо в CI-CD
В этой статье я покажу, как всего за 30 минут подключить автоматическое AI-ревью кода в вашем проекте — бесплатно, без токенов, без OpenAI и полностью локально.В основе решения — три компонента: Ollama, AI Review и GitHub Actions. Ollama отвечает за запуск локальной LLM прямо внутри CI/CD без интернета и внешних API. AI Review — опенсорсный инструмент, который анализирует изменения в Pull Request и оставляет комментарии прямо в GitHub. GitHub Actions обеспечивает автоматический запуск ревью при каждом изменении кода.
Ollama от А до Я: как выбрать модель, настроить и интегрировать
Когда мы говорим об использовании больших языковых моделей (LLM), большинство людей сразу вспоминают облачные сервисы. Но далеко не всегда удобно или возможно работать через интернет: где-то мешают ограничения по приватности, где-то скорость соединения, а иногда просто хочется больше контроля над процессом. Именно для таких задач и существует Ollama — инструмент, который позволяет запускать современные языковые модели локально, буквально в пару действий.
В Ollama добавили API веб-поиска
В Ollama появился Web Search API, с помощью которого пользователи могут предоставить моделям доступ к свежей информации из интернета. Поддержка API уже появилась в библиотеках Ollama для Python и JavaScript.
Собственный ИИ локально, бесплатно и без GPU
Сегодня каждый может обзавестись своим собственным ИИ. И даже не потребуется супер-пупер компьютера и дата-центра с кучей GPU. При этом он будет работать без Интернета. Давайте, приступим к тому, чтобы обзавестись на компьютере милым и пушистым питомцем.OllamaДля начала нужно установить ollama. Переходим на страницу https://ollama.com/download и скачиваем дистрибутив для своей операционной системы.
Хочу ИИ помощника. Как я к сайту настольных игр GigaChat и Ollama+OpenWebUI прикручивал
Так как мои настольные игры не совсем простые (а именно обучающие и научные), то вопросы по правилам у родителей возникают регулярно. И как хорошо правила не напиши, научная тематика делает свое «черное» дело и даже минимальное вкрапление методики ставит игроков в ступор по тем или иным моментам правил. Плюс читать правила, FAQ, дополнительные правила и т. п. не всегда оптимальный вариант.Поэтому захотелось мне прикрутить к сайту нейронку в виде чата с ИИ‑помощником, который бы для каждой игры свои правила объяснял и на вопросы пользователей отвечал.Хочу отечественное
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang
ВведениеВсем привет! Меня зовут Максимов Максим, я — NLP‑инженер в компании red_mad_robot. Сегодня я хотел бы представить вам практическое руководство по запуску и использованию популярных инструментов для работы с LLM. Целью этой работы было познакомиться и опробовать следующие инструменты: OllamaLM StudiovLLMTriton llama.cppSGLang
Локальные LLM модели: обзор и тестирование
В ★5УГЛОВ мы часто работаем с языковыми моделями — как облачными, так и локальными. И если про онлайн-сервисы знают все, то локальные LLM до сих пор остаются недооцененным инструментом. Я решил поделиться личным опытом: какие модели можно запускать прямо на ПК, чем они полезны и зачем их вообще использовать в реальных проектах.
Разворачиваем локально ИИ при помощи клиента Microsoft.Extensions.AI и Ollama
Эффективный ИИ симбиоз
