Ранжирование рекомендаций на главной Авито: как мы перешли от CatBoost к нейросетям
Всем привет! Меня зовут Ярослав Хныков, я DS Tech Lead в Авито. Наша команда отвечает за рекомендации на главной странице Авито.В статье расскажу, как мы шли от CatBoost к нейросетевому ранжированию: какие данные брали, почему первые АБ-тесты уходили в минус и что дало резкий прирост качества.Будет полезно ML-инженерам и тимлидам, которые работают с ранжированием и рекомендательными системами.В этой статьеКак устроена лента рекомендаций АвитоПочему CatBoost перестал давать рост
Скрытая структура генерации текста ИИ. Как контекст меняет продолжение
Иногда нескольких слов достаточно, чтобы довольно точно предположить, что будет дальше. В других случаях для этого требуется больше информации.
Черный лебедь в мире LLM или когда убьют трансформер?
И снова возвращаюсь к теме больших языковых моделей. В своей достаточно старой статье я писал, что текущая архитектура БЯМ(LLM) — это гонка в тупик. Наблюдения за прошедшее время только укрепляют меня в этом мнении. Но сегодня хочу поговорить о другом, а что если тупик — это не конец пути, а просто барьер, за которым нас ждет технологическая революция? И почему те, кто сейчас вкладывает сотни миллиардов в дата-центры, сделают всё, чтобы эта революция не случилась? Разберем по порядку.Токены — фундаментальный костыль архитектуры
Что вы увидели на картинке первым? Спрашиваем трансформер
Наверняка многие видели картинки-тесты, которые предлагают по тому, что первым бросилось в глаза определить характер, какое полушарие доминирует или что-то еще. Обычно на этих изображениях находится несколько объектов или один объект меняется в зависимости от "угла" обзора. А что будет, если попросить трансформер описать эти картинки? Что "увидит" он и на что он "обратит внимание"?Для мини-исследования была выбрана модель BLIP (Bootstrapping Language-Image Pre-training) от Salesforce (см. гитхаб с полным кодом). Как трансформер, эта нейросеть разрезает картинку на фрагменты (патчи) и преобразует их в токены:
