DiLoCo.

Как Microsoft предлагает обучать модели на игровых ПК

На домашнем ПК освободилась видеокарта. Сервер отправил ей часть расчёта, а через минуту владелец запустил игру. Если к этому моменту результат ещё загружается, серверу придётся решать, ждать ли его и что делать, если параметры модели уже успели обновиться. Для распределённого обучения это гораздо важнее паспортных TFLOPS видеокарты.

продолжить чтение