Хочу ИИ помощника. Как я к сайту настольных игр GigaChat и Ollama+OpenWebUI прикручивал
Так как мои настольные игры не совсем простые (а именно обучающие и научные), то вопросы по правилам у родителей возникают регулярно. И как хорошо правила не напиши, научная тематика делает свое «черное» дело и даже минимальное вкрапление методики ставит игроков в ступор по тем или иным моментам правил. Плюс читать правила, FAQ, дополнительные правила и т. п. не всегда оптимальный вариант.Поэтому захотелось мне прикрутить к сайту нейронку в виде чата с ИИ‑помощником, который бы для каждой игры свои правила объяснял и на вопросы пользователей отвечал.Хочу отечественное
Как я внедрял искусственный интеллект в психоневрологическом интернате. Часть 2: RAG на документах организации
Введение: Почему RAG?Представьте: приходит письмо из вышестоящих или надзорных органов с требованием предоставить информацию или отчёт. Тут начинается суета и судорожный поиск нужных документов. А что, если всю внутреннюю документацию — приказы, инструкции, отчёты — можно было бы "спросить"? Задать вопрос и получить точный ответ, подкреплённый информацией из этих документов.Именно для этого и существуют системы RAG
Как поднять локальную LLM за 5 минут
Кратко по терминамOllama — это инструмент, который позволяет запускать локальные LLM (как LLaMA, Mistral, Gemma и другие)LLaMA (Large Language Model Meta AI) — это серия открытых языковых моделей, разработанных компанией MetaOpenWebUI — это веб-интерфейс для Ollama, похожий на ChatGPT, но работающий с локальными моделямиТребования к ресурсамMemory 8+ GB CPU 4+ (лучше GPU) HDD 25+ GBУстановка Docker Enginehttps://docs.docker.com/engine/install/ubuntu
Распределённый инференс и шардирование LLM. Часть 3: настройка авторизации и интеграция с Open WebUI
Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Мы уже запустили модель Gemma 3 и протестировали API, самое время настроить авторизацию и удобный веб-интерфейс для взаимодействия с нашей моделью. Им станет бесплатный Open WebUI. В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта.
Дженсен Хуанг, как же так!? Тестируем NVIDIA GeForce RTX 5090 в ИИ задачах
Несмотря на огромный дефицит, нам удалось достать несколько карт NVIDIA GeForce RTX 5090 и протестировать. Не все так однозначно, как обещал глава Nvidia, но результаты достаточно интересные.ОборудованиеС оборудованием всё достаточно просто: мы взяли сервер с 4090, вынули эту видеокарту и поставили взамен 5090. Получили вот такую конфигурацию: Intel i9-14900k, 128 Гб, 2 TB NVMe SSD и, конечно же, GeForce RTX 5090 32 Гб.
Что нового в OpenWebUI версий 0.5.x
Еще в прошлом году, 25 декабря, OpenWebUI обновился до версии 0.5.0, и один из лучших интерфейсов для работы с моделями в Ollama начал новый этап своей жизни. Давайте рассмотрим, что нового появилось за 1.5 месяца от релиза и что теперь он предлагает в версии 0.5.12.Асинхронные чаты с нотификациями. Теперь вы можете начать чат, затем перейти в другие чаты чтобы посмотреть какую‑то информацию и вернуться назад и ничего не потерять, как было раньше. Работа с моделью ведется в асинхронном режиме и когда она закончит выдачу информации вы получите нотификацию об этом.
