Я сделал бота, который находит в соцсетях сообщения вида «посоветуйте репетитора по химии» и пересылает их репетиторам. Главная сложность оказалась не в сборе данных, а в фильтрации: на один настоящий запрос приходится около двухсот постов рекламы. Рассказываю, как устроен конвейер и как он живёт на бесплатных лимитах LLM.
Стек
Python 3.12, aiogram 3 для Telegram-бота, Telethon для чтения чатов, httpx для VK API, SQLite (aiosqlite, WAL), Gemini через OpenAI-совместимый эндпоинт. Всё в одном процессе на VPS с 2 ядрами и 4 ГБ, запуск через systemd. Памяти процесс берёт около 180 МБ.
Конвейер
-
Источники. VK
newsfeed.searchпо набору запросов раз в несколько минут;wall.getиwall.getCommentsпо списку из ~270 групп; Telegram-чаты через несколько аккаунтов-читателей. -
Дедупликация по id сообщения и по нормализованному тексту: одно и то же объявление рассылают по десяткам групп.
-
Регулярки. Дешёвый первый фильтр: есть ли поисковое намерение («ищу», «посоветуйте», «нужен») и нет ли признаков витрины («приглашаю на занятия», цена за час, «стаж N лет»). Из 9 тысяч текстов (посты + комментарии) дальше проходит около 320.
-
LLM. Модель отвечает JSON-ом: лид или нет, предметы, формат, город, черновик отклика. На выходе около 40 лидов в сутки.
-
Распределение. Подписчики фильтруются по предмету, формату и городу; из подходящих выбираются не более пяти тех, кто дольше всего не получал заявок. Остальные видят её с задержкой и без контакта.
Почему нельзя обойтись без LLM
Регулярки ломаются на живом языке. «Ищу учеников, репетитор по химии» и «ищу репетитора по химии» отличаются одним словом. А запрос может быть в комментарии под постом про школьную форму и вообще не содержать слова «репетитор»: «девочки, кто занимается с сыном математикой?». Поэтому регулярки стоят слишком широко и лишь срезают объём, а решает модель. Из ~170 текстов, дошедших до неё за сутки, она признала лидами 38.
Жизнь на бесплатных лимитах
Бесплатный уровень Gemini даёт несколько моделей с отдельными дневными и минутными лимитами. Первая версия сидела на одной модели и вставала после первого 429. Сейчас у каждой модели свой «кулдаун»:
|
Что делаем |
|
|---|---|
|
429, минутный лимит |
модель отдыхает 65 с, запрос уходит следующей |
|
429, дневной лимит (или три 429 подряд) |
модель выключена до полуночи по тихоокеанскому времени, когда лимиты сбрасываются |
|
503 «model is overloaded» |
пауза 120 с |
Самая дешёвая модель всегда пробуется первой, остальные — запасные. Если на паузе все, текст не выбрасывается, а попадает в очередь повторов с задержками 5, 10, 20 и 30 минут. На практике 503 случается несколько раз в сутки, и повтор спасает почти всё: в один из дней из 7 неудач 5 были спасены, остальные ещё ждали очереди, потерь — ноль.
Два фронта: Telegram и ВКонтакте
Часть репетиторов не пользуется Telegram, поэтому есть второй фронт — бот сообщества ВК на Bots Long Poll API. Логика общая: пользователи ВК лежат в той же таблице с отрицательными id, а функция отправки сама решает, куда слать. Тексты пишутся в HTML для Telegram и конвертируются для ВК. Из неочевидного: инлайн-клавиатура ВК держит не больше 10 кнопок, а кнопки «скопировать» там нет, поэтому черновик отклика уходит отдельным сообщением.
Оплата в Telegram идёт через встроенные инвойсы с провайдером ЮKassa, в ВК — через API ЮKassa: ссылка на оплату и опрос статуса раз в 20 секунд. Для ВК потребовался отдельный магазин в ЮKassa — это стоит знать заранее.
Что бы я сделал иначе
-
Сразу заложил бы очередь повторов для всего, что ходит в внешние API.
-
Не доверял бы полю
signer_idв ВК: в постах сообществ это часто админ, а не автор текста. -
Деплоил бы по ключу SSH с первого дня: оборвавшийся на вводе пароля деплой однажды оставил бота лежать.
Если интересно посмотреть на результат вживую: t.me/zovioleads_bot?start=habr. Вопросы про фильтрацию и промпты — в комментарии.
Автор: Ayazyk


