QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать
На прошлой неделе NVIDIA выложила отчёт про QAD и я его проигнорировал. Потому что каждый месяц кто-то "решает квантизацию" и каждый раз на практике всё не так радужно.Но потом коллега скинул табличку с AIME и я залип.Контекст такой. У нас на проде крутится модель на FP8, всё более-менее ок, но менеджмент хочет запихнуть 49B модель туда, где сейчас живёт 20B. Потому что "ну там же Blackwell, там же FP4, давайте". Я месяц назад попробовал наивно квантизовать в 4 бита — модель начала нести пургу на математике. Не сильно, но заметно. Закрыл тему, сказал что FP4 не готов.И тут этот отчёт.Что вообще происходит
Nvidia заморозила сделку с OpenAI на 100 миллиардов долларов
Мега-сделка между OpenAI и Nvidia, объявленная в сентябре, может не состояться, как планировалось. Сообщается, что генеральный директор Nvidia Дженсен Хуанг выразил внутренние сомнения по поводу бизнес-подхода OpenAI.Согласно сообщению
Nvidia выпустила ИИ‑систему Earth‑2 для точного прогнозирования погоды на две недели вперёд
Nvidia выпустила открытую систему Earth‑2
Microsoft анонсировала новый мощный чип для обработки данных с помощью ИИ
Компания Microsoft объявила о выпуске своего новейшего чипа Maia 200, который, по словам компании, представляет собой мощную вычислительную платформу, предназначенную для масштабирования вычислений в области искусственного интеллекта.
Nvidia выпустила открытую модель PersonaPlex — голосовой ИИ, который одновременно слушает и говорит
Традиционные голосовые помощники последовательно запускают распознавание речи, языковые модели и синтез речи. Это позволяет настраивать голос и роль, но приводит к роботизированным разговорам с неестественными паузами. Более новые системы, такие как Moshi от французской лаборатории искусственного интеллекта Kyutai, делают разговоры более естественными, но привязывают пользователей к одному фиксированному голосу и роли.
NVIDIA и Eli Lilly вложат $1 млрд в ИИ-лабораторию лекарств
NVIDIA и фармацевтический гигант Eli Lilly объявили
Nvidia пыталась получить книги у пиратов для обучения ИИ
В обновленных материалах коллективного иска против Nvidia появились новые детали, которые удивили экспертов. Оказывается, компания напрямую связывалась с крупнейшей теневой библиотекой Anna’s Archive, чтобы получить приоритетный доступ к
