Разворачиваем локально ИИ при помощи клиента Microsoft.Extensions.AI и Ollama
Эффективный ИИ симбиоз
Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Синтетические тесты показывают, что эти карты в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. По ходу мы рассмотрим:теоретические данныеусловия для работы этих GPUрезультаты практических тестов производительностиобъяснение полученных противоречийсоветы по небольшим доработкам (охлаждение, PCIexpress)сравнение друг с другом и другими GPUВведение
GPT-OSS-20B – 120B: Сухие цифры после реальных тестов
OpenAI выпустила GPT-OSS модели (https://huggingface.co/openai/gpt-oss-20b и https://huggingface.co/openai/gpt-oss-120b) , и сообщество немедленно начало экспериментировать. Но реальные бенчмарки производительности найти сложно. В этой статье представлены результаты нашего практического тестирования на арендованном железе через RunPod с использованием Ollama.Ремарка: Тесты проводились на Ollama для быстрого деплоя. Если будете использовать vLLM, то производительность будет примерно +30%, но он слабо адаптирован под консьюмерские GPU, за исключением RTX 5090. Что тестировалось:
Свой LLM-агент на Typescript с использованием MCP
Вводные словаЕще в 2008 году, посмотрев фильм "Железный человек", я понял, что хочу сделать себе такого же виртуального помощника, как у главного героя был Джарвис — искуственный интеллект, с которым Тони Старк общался в формате обычной речи, а тот понимал его команды и послушно исполнял.
Распознавание текста на изображении и общение с распознанным текстом. Paddle OCR + LLM
Кадр из фильма двухсотлетний человекДанная статья описывает процесс создания проложения для распознавания текста на изображении и общения с распознанным текстом. Системные требованияЯзык: Python
Как поднять локальную LLM за 5 минут
Кратко по терминамOllama — это инструмент, который позволяет запускать локальные LLM (как LLaMA, Mistral, Gemma и другие)LLaMA (Large Language Model Meta AI) — это серия открытых языковых моделей, разработанных компанией MetaOpenWebUI — это веб-интерфейс для Ollama, похожий на ChatGPT, но работающий с локальными моделямиТребования к ресурсамMemory 8+ GB CPU 4+ (лучше GPU) HDD 25+ GBУстановка Docker Enginehttps://docs.docker.com/engine/install/ubuntu
Обновление Ollama: поддержка мультимодальности и возможность загружать файлы
Разработчики Ollama выпустили обновление инструмента для локального запуска нейросетей. В нём появилась поддержка мультимодальности, возможность загружать файлы и другие функции. Обновление доступно для Windows и macOS.
Меньше переписок — больше жизни: личный телеграм-бот за 30 минут
В айти я уже давно, и в какой-то момент проектов стало сильно больше, чем я могу вывезти. Отказаться даже от одного из них — не вариант, деньги нужны катастрофически. После того как рабочий день снова закончился к 2-3 ночи, я начал думать, как освободить себе хотя пару часов на поспать или пожить. Сначала завел таск-трекер, потом вставал пораньше, но кардинально ничего не поменялось.
Личный помощник в Telegram: как я сделал ИИ-бота, который сэкономил часы на переписках
В айти я уже давно, и в какой-то момент проектов стало сильно больше, чем я могу вывезти. Отказаться даже от одного из них — не вариант, деньги нужны катастрофически. После того как рабочий день снова закончился к 2-3 ночи, я начал думать, как освободить себе хотя пару часов на поспать или пожить. Сначала завел таск-трекер, потом вставал пораньше, но кардинально ничего не поменялось.
