cuda.
Zero-Host-Copy инференс: как написать пайплайн на C++-CUDA исключающий участие CPU в горячем цикле (165 FPS)
Обработка видео (H.264) с помощью YOLOv8m (1024x1024-INT8) со скоростью ~165 FPS на RTX 3060 Ti и ~38 FPS на Jetson Orin Nano Super1. Введение: Анатомия бутылочного горлышка
Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само
Запускать нейросети у себя дома давно можно. Модели бесплатно лежат на HuggingFace, llama.cpp работает даже на старых видеокартах, ComfyUI рисует картинки. Но дорога до первого ответа у обычного человека выглядит так: поставить Python нужной версии, разобраться с CUDA, выбрать между Q4_K_M и Q5_K_S, скачать десять гигабайт и только после этого узнать, что модель отвечает по слову в секунду.
NVIDIA RTX PRO 5500 Blackwell: RTX 5090 и щепотку VRAM, пожалуйста
NVIDIA молниеносно расширяет профессиональную линейку Blackwell™. Вслед за RTX™ PRO 6000, 5000 и 4000 компания представила RTX™ PRO 5500 Workstation Edition
Маленькие тонкости большого дела
В наше время, а дальше больше, знание умножения и сложения становится стратегическим. Вот то самое умножение в столбик, знакомое с начальной школы и сложение с переносом, знакомое еще раньше умножения теперь стратегический ресурс.И причина простая как 2х2. Весь обмен информацией теперь шифруется и подписывается. А это, как ни крути, умножение и сложение больших чисел Любая передача информации, денег, команд и знаний нынче требует стандартных шагов: зашифровать-расшифровать и проверить. А это, в основном, именно те самые умножения и сложения больших чисел в большом количестве.
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями
Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо: загрузить веса, поднять runtime, отдать API, подключить приложение.Теорию я понимал. Но честный ответ был таким: собственного опыта, в котором всё это проходит путь от файлов модели до работающего пользовательского сценария, у меня тогда не было.Через несколько дней такой опыт появился.
753B на одной видеокарте: разбор FreeToken
Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке
NVIDIA RTX PRO 5000 Blackwell с 72 Гб видеопамяти. Есть ли смысл переплачивать за «половинку» флагмана?
Nvidia окончательно запутывает нас своей линейкой Blackwell. Если посмотреть на PCI.ids выпущенных видеокарт профессионального семейства Blackwell, то мы увидим следующее:
Python: как один из самых медленных языков стал королем нейросетей
Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а некоторые сеньоры Java и C++ по-прежнему смотрят на него свысока, считая недостаточно строгим и производительным для «серьезной» разработки. В любом случае сегодня о Python знают все.Поскольку заметный рост его популярности пришелся на 2010-е годы, многие считают, что язык появился сравнительно недавно. Но это неверно: Python старше большинства современных веб- и ML-фреймворков, массовой мобильной разработки и нынешнего AI-бума.
