Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp
В последнее время большие языковые модели (LLM) становятся все более популярными, но для их эффективного запуска требуется значительная вычислительная мощность. Один из способов запуска LLM локально - использование библиотеки Llama.cpp. В этой статье мы рассмотрим, как тестировать производительность видеокарт для LLM с использованием инструмента llama-bench, входящего в состав Llama.cpp.Дисклеймер: Почему Llama.cpp, а не Ollama?
«Светлые планы на будущее»: новые RISC-V процессоры, GPU и СХД
Всем привет! Меня зовут Сергей Ковалёв, я менеджер по развитию выделенных серверов. В этом теплом майском дайджесте собрал новинки серверного железа и другие новости из мира технологий. В апреле производители хоть и не очень нас баловали, зато охотно делились планами на будущее. Подробности под катом!
США хотят отключать видеокарты в странах под санкциями: как устроен геотрекинг GPU и серверов
Если закон пройдёт, видеокарты буквально смогут следить за вамиКогда вы покупаете новую видеокарту, вы можете ожидать всего от прироста FPS в играх до – не дай бог –
Nvidia увеличила цены почти на всю свою продукцию, включая видеокарты и чипы для ИИ-задач
Американская Nvidia повысила цены почти на всю свою продукцию, включая видеокарты и чипы для вычислений искусственного интеллекта, пишет DigiTimes со ссылкой на источники. Кроме того, компания позволила своим партнёрам повысить цены. Подорожание обусловлено стремлением Nvidia поддержать стабильные показатели прибыли.
Мощнее, холоднее и дешевле, чем RTX 4060 Ti: обзорщики высоко оценили RTX 5060 Ti 16 ГБ
Это уже не карточка начального уровня
Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes
Привет, Хабр! Меня зовут Александр Подмосковный, я работаю в «Московском кредитном банке» и, как многие, увлёкся темой искусственного интеллекта. Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Так как DevOps и инфраструктурой я увлекаюсь уже несколько лет, за это время у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею.
Самые требовательные игры в истории: от Crysis до Black Myth: Wukong
когда твой комп уже не тянет...
Что вендоры выпустили в марте? Новинки от NVIDIA, Supermicro и не только
Вопреки весеннему обострению, вендоры в марте оказались более спокойными и не выпускали прорывных новинок. Хотя среди них все же есть «железки», за развитием которых стоит наблюдать. Среди интересных новинок — и новый серверный ускоритель от NVIDIA, и решения, отличные от классических GPU. Меня зовут Сергей Ковалёв, я менеджер выделенных серверов в Selectel. В этом дайджесте собрал самые стоящие «железки», которые выпустили вендоры в марте. Подробности под катом!
Дженсен Хуанг, как же так!? Тестируем NVIDIA GeForce RTX 5090 в ИИ задачах
Несмотря на огромный дефицит, нам удалось достать несколько карт NVIDIA GeForce RTX 5090 и протестировать. Не все так однозначно, как обещал глава Nvidia, но результаты достаточно интересные.ОборудованиеС оборудованием всё достаточно просто: мы взяли сервер с 4090, вынули эту видеокарту и поставили взамен 5090. Получили вот такую конфигурацию: Intel i9-14900k, 128 Гб, 2 TB NVMe SSD и, конечно же, GeForce RTX 5090 32 Гб.
Intel делает ход конём: Лип-Бу Тан возглавит гиганта полупроводниковой индустрии
12 марта Intel объявила о назначении Лип-Бу Тана, бывшего члена совета директоров, новым генеральным директором. Это решение стало ответом на сложный период, который переживает компания. Тан, ветеран полупроводниковой отрасли, вступил в должность 18 марта, и от него ждут решительных шагов, чтобы вернуть Intel былую славу.Кто он — новый лидер Intel?
