Пишем LLM бенчмарк для GPU-серверов с картами NVIDIA в Ollama
Автор: Александр Казанцев, руководитель направления по работе с документацией и контентом HOSTKEYПри сборке GPU-серверов или при проблемах с ними, которые сообщают наши клиенты, нам необходимо проводить их тестирование. Так как разворачивание LLM-моделей в Ollama является одним из сценариев их использования и мы предлагаем готовые панели с моделями на её основе, то нам необходимо также проверять машины на работоспособность и под нагрузкой в инференсе через нее и иметь результаты для сравнения.GPU-серверы — почасовая тарификация
NVIDIA RTX 6000 Blackwell Server Edition: тесты, сравнение с Workstation и RTX 5090, особенности охлаждения
С выпуском нового поколения чипов Blackwell для рынка потребительских видеокарт ожидаемо было увидеть версии GPU и для рабочих станций, которые должны были прийти на замену A5000/A6000-серии и быть дешевле, чем GPU уровня A100/H100.Это и произошло, но при этом Nvidia всех окончательно запутала, выпустив за полгода аж три версии видеокарты RTX PRO 6000 Blackwell. Мы в HOSTKEY к гонке производительности подключились с выходом последней версии, а именно RTX PRO 6000 Blackwell Server Edition, протестировали ее, и нам есть что вам рассказать по итогу (и показать).Попробуйте сервер с NVIDIA RTX 6000 PRO 96 ГБ - бесплатно!
WordPress — путь от простой блог-платформы до лидирующей экосистемы на рынке CMS
WordPress популярен и с каждым годом привлекает новых пользователей. Краткий ответ на вопрос «почему» — этот продукт удобен, предоставляет много возможностей за счет плагинов, предоставляет интуитивно понятный интерфейс, позволяющий работать с ним даже пользователям с минимальным уровнем знаний в сфере информационных технологий.Сервер с предустановленным WordPress.Закажите выделенный или виртуальный сервер с предустановленным WordPress и другими CMS.Заказать
Ollama 0.7.0 теперь поддерживает мультимодальные модели на своем «движке»
Вышла Ollama версии 0.7.0, которая расширила поддержку мультимодальных моделей с помощью нового специально разработанного движка. Теперь Ollama не зависит от проекта ggml-org/llama.cpp, сосредоточившись вместо этого на создании собственной надёжной основы для мультимодальных систем.
Mistral Small 3.1 и DeepCoder-14B-Preview появились в библиотеке Ollama
В библиотеке Ollama, популярной платформы для локального запуска LLM, сегодня появились две новые модели: Mistral Small 3.1 и DeepCoder-14B-Preview.
Дженсен Хуанг, как же так!? Тестируем NVIDIA GeForce RTX 5090 в ИИ задачах
Несмотря на огромный дефицит, нам удалось достать несколько карт NVIDIA GeForce RTX 5090 и протестировать. Не все так однозначно, как обещал глава Nvidia, но результаты достаточно интересные.ОборудованиеС оборудованием всё достаточно просто: мы взяли сервер с 4090, вынули эту видеокарту и поставили взамен 5090. Получили вот такую конфигурацию: Intel i9-14900k, 128 Гб, 2 TB NVMe SSD и, конечно же, GeForce RTX 5090 32 Гб.
Gemma3, новая опенсорсная модель от Google, уже доступна в Ollama
Модель Gemma 3 мультимодальная, то есть может обрабатывать текст и изображения, и имеет окно контекста размером 128 тысяч токенов с поддержкой более 140 языков.В Ollama она доступна в четырех вариантах с 1, 4, 12 и 27 миллиардами параметров и превосходно справляется с такими задачами, как ответы на вопросы, резюмирование и логическое мышление, в то время как их компактный дизайн позволяет развертывание на устройствах с ограниченными ресурсами.
Рассуждающая модель QwQ 32B доступна в Ollama
Мощная рассуждающая языковая модель с открытым исходным кодом QwQ-32B теперь доступна в Ollama. Это среднеразмерная модель с 32.5 миллиардами параметров из серии Qwen разработана для выполнения сложных задач и демонстрирует конкурентоспособное качество по сравнению с другими reasoning моделями, такими как DeepSeek-R1.
Что нового в OpenWebUI версий 0.5.x
Еще в прошлом году, 25 декабря, OpenWebUI обновился до версии 0.5.0, и один из лучших интерфейсов для работы с моделями в Ollama начал новый этап своей жизни. Давайте рассмотрим, что нового появилось за 1.5 месяца от релиза и что теперь он предлагает в версии 0.5.12.Асинхронные чаты с нотификациями. Теперь вы можете начать чат, затем перейти в другие чаты чтобы посмотреть какую‑то информацию и вернуться назад и ничего не потерять, как было раньше. Работа с моделью ведется в асинхронном режиме и когда она закончит выдачу информации вы получите нотификацию об этом.
Размышляющая модель DeepSeek R1 уже доступна в Ollama
Первое поколение моделей рассуждений от Qwen DeepSeek R1 с производительностью, сопоставимой с OpenAI-o1 уже доступно к установке в Ollama.
