Что на самом деле происходит, когда видеопамять заканчивается
Котик грустит из‑за нехватки VRAM
Сработает ли индикатор обложки?
Новая обложка журнала The Economist. «Волшебник кремния»... Дженсен Хуанг, генеральный директор Nvidia ... с хрустальным шаром в руках, вокруг которого кружатся чипы Nvidia и долларовые купюры.Когда финансовый журнал помещает на обложку актуальную инвестиционную тенденцию, это должно насторожить.
NVIDIA RTX PRO 5500 Blackwell: RTX 5090 и щепотку VRAM, пожалуйста
NVIDIA молниеносно расширяет профессиональную линейку Blackwell™. Вслед за RTX™ PRO 6000, 5000 и 4000 компания представила RTX™ PRO 5500 Workstation Edition
Gen‑A получила «Оскар» для стартапов
Российская AI‑медиаплатформа Gen‑A стала победителем национальной «Стартех.Премии» в номинации «Лучший стартап с применением ИИ для бизнеса».
ИИ‑компании массово закупают RTX 5090, а до обычных пользователей доходит малая часть таких видеокарт
Из‑за спроса со стороны компаний в сфере искусственного интеллекта до обычных пользователей доходит лишь малая часть видеокарт Nvidia GeForce RTX 5090. Компании используют эти графические адаптеры для ИИ‑серверов.
Мы научили песок думать
Один из главных вопросов сегодня: не забегает ли развитие искусственного интеллекта слишком далеко?Венчурный инвестор Марк Андриссен недавно сформулировал происходящее одной фразой:«Мы научили песок думать».
Nvidia представила PAIR — утилиту, с помощью которой объединяет несколько ПК и распределяет между ними AI‑задачи
Nvidia выпустила инструмент PAIR (Personal AI Router), который объединяет несколько компьютеров в локальной сети и распределяет между ними задачи по запуску AI‑моделей. В один кластер можно подключить ПК с видеокартами Nvidia, системы DGX Spark и Mac. Код инструмента открыт.
«Оригинальное видение»: как геймеры сменили гнев на милость к DLSS 5 и что это говорит о восприятии нейросетей в целом
Вчера произошло интересное событие. В сеть утекла ранняя версия DLLS 5, технологии, которая при помощи искусственного интеллекта улучшает (кто-то скажет ухудшает) графику в играх.Я знаю, что это очень узкая тема, относительно редко обсуждаемая на Хабре, но на нее можно взглянуть шире. Изначальная реакция на DLSS 5 и то, что произошло вчера, многое говорят о том, как мы относимся к нейросетям -- да и вообще к любой новой технологии.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая главаНу и наконец рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки, потому что теперь приходится учитывать еще один фактор - задержку. Так что давайте разбираться, как устроен инференс LLM и как его правильно масштабировать.Основы инференсаИтак, мы натренировали трансофрмер и теперь хотим использовать его по назначению - принимать на вход промпт и генерировать в ответ всякие разные новые последовательности токенов/букв.
