self-hosted.

Docker теперь конкурент Ollama?

Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.Docker Model Runner - фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.Фактически у нас с вами появилась новая команда:

продолжить чтение

Как я запускаю 15+ самых разных ИИ на своей машине — open-source, self-hosted, с HTTP-доступом

TLDR: я написал BrainBox — local-first сервис поддержки open-source ИИ-систем для генерации изображений, распознавания объектов на снимках, озвучки, распознавания текстов, транскрибирования аудиозаписей и других целей. Эти системы запускаются за фасадом веб-сервера, который устанавливает их и затем принимает и выполняет задачи в едином для всех систем формате. Задачи можно ставить из любого языка программирования с помощью отправки веб-запросов на сервер, а для Python дополнительно разработан удобный API. Проект доступен на pypi https://pypi.org/project/kaia-brainbox/

продолжить чтение

Как подключить AFFiNE к Ollama?

Когда я пытался подключить AFFiNE к Ollama или к DeepSeek, я сразу столкнулся с большой проблемой: AFFiNE попросту не умеет работать с моделями, отличными от GPT. Вопрос: почему? Да потому что ребята просто захардкодили названия моделей в коде. 

продолжить чтение

Читалка новостей с тегами от LLM и прозрачным ранжированием

Новые статьи с Хабра про лучшие практики, но без уроковВсе мы следим за новостями тем или иным способом — без этого нынче никуда. Я привык это делать, подписываясь на RSS-ленты, и долгое время всё было прекрасно, пока лент не стало слишком много и чтение новостей не превратилось в тяжёлую работу на пару часов в день.

продолжить чтение

ChatGPT и все-все-все. Недорого

Я довольно долго с большим скепсисом смотрел на все эти новомодные нейросети.Во-первых, меня основательно напрягало то, что они умеют фантазировать, если чего-то не знают.Во-вторых, я попробовал из любопытства, но не понял зачем это мне.Но, поскольку тема регулярно всплывает на Хабре и несколько хороших знакомых рекомендовали всё же разобраться и попробовать — я разобрался и попробовал.И теперь хочу рассказать, как пользоваться с удобством и недорого (бесплатно тоже можно).TL;DR: ставим OpenWebUI, подключаем к openrouter.ai

продолжить чтение

AFFiNE — Obsidian здорового человека

9 сентября - это был последний день, когда мы могли еще нормально использовать Notion. Объективно, я что тогда, что сейчас так и не нашел инструмента лучше, удобнее, гибче и ПРОЩЕ, чем Notion. Да, он во всем был лучше как для жизни, так и для работы.В конце концов, о его уходе анонсировали еще в конце августа, и я до сих пор помню статью "Obsidian - Notion свободного человека

продолжить чтение

Rambler's Top100