cuda.
NVIDIA RTX PRO 5500 Blackwell: RTX 5090 и щепотку VRAM, пожалуйста
NVIDIA молниеносно расширяет профессиональную линейку Blackwell™. Вслед за RTX™ PRO 6000, 5000 и 4000 компания представила RTX™ PRO 5500 Workstation Edition
Маленькие тонкости большого дела
В наше время, а дальше больше, знание умножения и сложения становится стратегическим. Вот то самое умножение в столбик, знакомое с начальной школы и сложение с переносом, знакомое еще раньше умножения теперь стратегический ресурс.И причина простая как 2х2. Весь обмен информацией теперь шифруется и подписывается. А это, как ни крути, умножение и сложение больших чисел Любая передача информации, денег, команд и знаний нынче требует стандартных шагов: зашифровать-расшифровать и проверить. А это, в основном, именно те самые умножения и сложения больших чисел в большом количестве.
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями
Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо: загрузить веса, поднять runtime, отдать API, подключить приложение.Теорию я понимал. Но честный ответ был таким: собственного опыта, в котором всё это проходит путь от файлов модели до работающего пользовательского сценария, у меня тогда не было.Через несколько дней такой опыт появился.
753B на одной видеокарте: разбор FreeToken
Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке
NVIDIA RTX PRO 5000 Blackwell с 72 Гб видеопамяти. Есть ли смысл переплачивать за «половинку» флагмана?
Nvidia окончательно запутывает нас своей линейкой Blackwell. Если посмотреть на PCI.ids выпущенных видеокарт профессионального семейства Blackwell, то мы увидим следующее:
Python: как один из самых медленных языков стал королем нейросетей
Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а некоторые сеньоры Java и C++ по-прежнему смотрят на него свысока, считая недостаточно строгим и производительным для «серьезной» разработки. В любом случае сегодня о Python знают все.Поскольку заметный рост его популярности пришелся на 2010-е годы, многие считают, что язык появился сравнительно недавно. Но это неверно: Python старше большинства современных веб- и ML-фреймворков, массовой мобильной разработки и нынешнего AI-бума.
Alibaba открыла исходный код AI-стека SAIL: вызов экосистеме CUDA
Alibaba представила открытый программный стек SAIL (Snow AI Infrastructure Layer) для собственных AI-ускорителей Zhenwu. Проект был анонсирован на конференции World AI Conference (WAIC), а его исходный код станет доступен разработчикам по открытой лицензии.Alibaba пытается решить проблему, которую многие аналитики считают главным источником лидерства Nvidia на рынке искусственного интеллекта, — зависимость разработчиков от экосистемы CUDA.Доминирование Nvidia — не только GPUЗа последние годы Nvidia превратилась из производителя графических процессоров в поставщика полноценной программно-аппаратной платформы для искусственного интеллекта.
Перенёс ByteTrack на GPU и ускорил мульти-камерный трекинг в 6 раз
Как я взял самый популярный трекинг-алгоритм, заставил его считать математику всех камер одним GPU-батчем — и по дороге трижды наступил на грабли, о которых стоит знать каждому, кто пишет real-time пайплайны на PyTorch.
Запуск и оптимизация локальной LLM с llama.cpp
Автор статьи - Даниил Г., Python-разработчикВступление
