Hugging Face выпустила HuggingSnap — аналог Google Lens для iOS, который работает локально

Разработчики Hugging Face выпустили ^[1] HuggingSnap — аналог Google Lens для iOS, который работает прямо на устройстве. Пользователи получают чуть меньше возможностей, но зато не делятся своими данными с корпорацией.

HuggingSnap использует модель машинного обучения ^[2] smolvlm2, которая распознаёт объекты на фотографиях и отвечает на вопросы пользователя. При первом запуске приложение загружает модель на смартфон и запускает её без подключения к сети. Вопросы можно задавать голосом или текстом. Также есть кнопка, которая запускает генерацию описания к снимку.

Например, с помощью HuggingSnap можно перевести текст, попросить объяснить его, посчитать, сколько определённых объектов на снимке или узнать больше про неизвестный предмет. Вопросы лучше задавать на английском языке. Помимо фотографий нейросеть может обрабатывать видео и снимки, которые хранятся в памяти ^[3] устройства.

HuggingSnap работает на устройствах под управлением iOS 18+. Также есть версии для Mac (macOS 15.0+) и Apple Vision (visionOS 2.0+). Само приложение занимает всего 13,5 МБ, но после скачивания модели — 1 ГБ.