Google запустила LiteRT.js для ускорения обработки задач ИИ в браузере

Google выпустила ^[1] LiteRT.js — новую библиотеку, позволяющую запускать модели машинного обучения ^[2] локально в веб-браузере, минуя необходимость обработки на стороне сервера. 

Она обеспечит производительность, характерную для нативных ИИ, в веб-браузерах благодаря ориентированной на мобильные устройства среде выполнения LiteRT, хотя LiteRT.js также работает на настольных компьютерах.

Новая библиотека использует WebAssembly и аппаратное ускорение, такое как WebGPU и WebNN, чтобы заменить более медленный TensorFlow.js, который использует ядро ​​на основе JavaScript.

До сих пор среда выполнения LiteRT была доступна только для Android и iOS. С сегодняшним обновлением Google предоставляет доступ к среде выполнения через WebAssembly.

Поисковый гигант утверждает, что эта новая среда выполнения обеспечивает в 3 раза большую скорость по сравнению с существующими решениями на текущем оборудовании. В частности, тестирование проводилось на Apple MacBook Pro 2024 года с процессором M4 Silicon. В реальных условиях, для пользователей на старом оборудовании или использующих браузеры с другими движками, производительность может значительно отличаться.

Для разработчиков, желающих перейти с TensorFlow.js, процесс довольно прост. Тем, у кого уже есть файл .tflite, нужно переключить среду выполнения JavaScript на LiteRT.js. Однако, если имеется сохранённая модель TensorFlow/Keras, то можно использовать конвертер LiteRT, встроенный в пакет Python TensorFlow. 

Ранее сообщалось, что Google готовит ^[3] новое поколение ИИ-чипов TPUv8, которое будет разделено на два специализированных решения. Линейка заменит текущее поколение TPUv7 и сосредоточится на разделении задач между обучением и инференсом. Так, чип TPUv8i под кодовым названием Zebrafish будет ориентирован на инференс и разрабатывается при участии MediaTek. В то же время TPUv8t (Sunfish) предназначен для обучения моделей и создается совместно с Broadcom.