tl;dr;
tree-sitter -> выделение структурных фрагментов -> эмбеддинги -> кластеризация -> вот и дубли. Точнее, кандидаты.
Одной из неприятнейших проблем ИИ-first разработки является, как, думаю, многие уже убедились, способность нейросетей к дублированию кода/инвариантов/политик/и прочего в огромном количестве. Да, можно строить медленно и верно прекрасную архитектуру будущего, использовать линтеры и прочие инструменты, которые после генерации пары десятков тысяч строк в сутки оказываются малополезными. Большие модели видят дублирование, но, как показала практика, жалкие доли.
Кто заходил в X и стал соответствующей ЦА, наверняка заметил, какое количество опенсорса генерится в наносекунду. В общем, я из этого потока выцепил slopo.
Автор додумался разбить код на структурные фрагменты и, векторизовав их, кластеризовать, не знаю, есть ли подобное в ваших любимых курсорах, но кмк это problem solver 🔫🔫🔫.
Натравив codex-ultra на свой пет, я получил поверх Slopo более строгую систему памяти уже проверенных большой моделью кластеров: сохраняется не просто факт просмотра, а принятое решение, а любой новый, изменившийся или исчезнувший кандидат требует повторного просмотра кластера. Добавляем в пайплайн и вуаля (пол проекта переписано);
Собрал из проекта обвязку в отдельный проектик, но не тестил отдельно.
Автор: z0rgoyok
