Яндекс Маркет запустил в приложении обновлённый чат с ИИ‑агентом, который помогает пользователям находить и выбирать товары по персональным предпочтениям. Он распознаёт изображения и подбирает похожие товары с учётом интересов и истории покупок. В дальнейшем ИИ‑агент сможет понимать и голосовые запросы.
ИИ‑агент работает на базе технологий Alice AI и использует технологии компьютерного зрения. Он уточняет запросы, ищет информацию в интернете и каталоге Маркета и показывает релевантные ответы с товарами, которые можно сразу приобрести на маркетплейсе.
Распознавание товаров на фото
ИИ‑агент способен определить, что изображено на фотографии: тип товара, его характеристики и стиль. Он может предложить похожие вещи или подобрать то, что сочетается между собой. Например, пользователь может сфотографировать бомбер, чтобы подобрать подходящий низ, показать интерьер комнаты — и получить подборку ковров в том же стиле, или отправить фото крема, чтобы найти продукты из той же линейки для чувствительной кожи.
Сейчас функция доступна в бета‑режиме. Технология VLM понимает, что изображено на картинке — например, «спальня». Она переводит описание картинки в текст: «серые шторы, кровать справа, тумба с зеркалом слева, напротив кровати». Затем подключаются нейросети, которые обрабатывают запрос как текст, сопоставляют с текстовым запросом «помоги подобрать ковёр» от пользователя и работают с поставленной задачей. Нейросети собирают информацию в сети и среди отзывов пользователей Маркета, изучают, сравнивают и фильтруют собранные данные, и в результате дают ответ на запрос покупателя, сразу предлагая подходящие товары Маркета и учитывая личные предпочтения.
Подбор подарков и учёт интересов
ИИ‑агент помогает искать подарки, даже когда совсем нет идей, что дарить. Нейросеть тщательно отбирает каждый товар под конкретный запрос — например, пользователь спросил «Что подарить маме на День матери?», ИИ поймёт, что выборка товаров под этот запрос достаточно широкая, и задаст уточняющие вопросы.
Ответы позволят нейросети выстроить фильтры, например, по возрасту, конкретному занятию или увлечению и так далее Это позволит сузить воронку поиска и персонализировать подборку под интересы конкретного человека.
Также в чате с ИИ можно продолжить поиск ранее просмотренных категорий товаров. Нейросеть генерирует персональные подсказки, опираясь на историю последних поисковых запросов, и сохраняет историю чатов. Например, если раньше пользователь искал в Маркете смартфоны Apple, то на главной странице чата в разделе «Продолжим» появится плашка «Популярные смартфоны Apple». Пользователь может перейти в диалог и продолжить изучение моделей и заодно уточнить у ИИ‑агента различия между ними или подобрать аксессуары без необходимости начинать поиск заново.
В планах — голосовые запросы
До конца 2025 года мы планируем научить ИИ‑агента понимать голосовые запросы. Достаточно будет нажать на иконку микрофона и задать вопрос, например: «Нужен подарок для мамы» или «Какие кроссовки лучше для марафона». ИИ‑агент расшифрует речь, обработает запрос и ответит текстом — это позволит пользователям использовать сервис на ходу.
С момента первого анонса чат Маркета с ИИ‑агентом посетили миллионы человек; чаще всего пользователи спрашивают про электронику (22%), бытовую технику (14%), одежду и товары для дома (по 12%).
Сейчас Яндекс Маркет развивает решения с ИИ в том числе для продавцов: в их личном кабинете уже доступен ИИ‑ассистент, который помогает отвечать на вопросы о платформе и анализировать продажи.
Автор: NatalieVT
