Как мы собираем и склеиваем объявления из 200+ Telegram-каналов Ташкента. gemini.. gemini. llm.. gemini. llm. Natural Language Processing.. gemini. llm. Natural Language Processing. phash.. gemini. llm. Natural Language Processing. phash. postgis.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы. дедупликация.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы. дедупликация. Машинное обучение.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы. дедупликация. Машинное обучение. медиана.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы. дедупликация. Машинное обучение. медиана. недвижимость.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы. дедупликация. Машинное обучение. медиана. недвижимость. парсинг.. gemini. llm. Natural Language Processing. phash. postgis. PostgreSQL. python. telegram. Алгоритмы. дедупликация. Машинное обучение. медиана. недвижимость. парсинг. ташкент.

В Ташкенте квартиру в аренду ищут не на большом сайте объявлений, а в Telegram. Каналов с объявлениями — сотни: у каждого агентства свой, плюс районные, студенческие, «без посредников». Одну и ту же квартиру выкладывают в пяти-десяти из них, с разными фото, ценой в долларах или сумах, на русском, узбекском латиницей и узбекском кириллицей — часто в одном посте.

Мы делаем kvadro² — сервис поиска квартир: сайт kvadro.app, Telegram-бот и приложение внутри Telegram (Mini App). Он собирает объявления из 215 открытых каналов Ташкента, Ташкентской области, Андижана, Намангана, Коканда и Ферганы в одну ленту. Ниже — как это устроено: от чтения каналов до склейки дублей и подсчёта «цены к рынку». Без маркетинга, с цифрами из нашей рабочей базы.

Откуда берём: только публичное веб-превью

У любого публичного канала есть страница https://t.me/s/<канал> — то, что Telegram сам показывает анонимно, без входа. Её мы и читаем. Никаких юзерботов (Telethon/Pyrogram), подписок и вступлений в каналы — это правило записано в проекте с первого дня.

Отсюда ограничения, которые пришлось принять:

  • превью показывает только последние посты, более ранние приходится догружать постранично;

  • у части каналов превью выключено — такие отмечаем и проверяем редко;

  • телефон иногда спрятан за кнопкой бота или дописывается правкой поста позже.

Вежливость. Все запросы идут через общий HTTP-клиент: паузы между запросами к одному хосту, честный User-Agent, короткий кэш, ретраи с экспоненциальным бэкоффом на 5xx, а на 429 — пауза для всего хоста. Слишком короткую паузу конфиг поставить не даст — валидатор падает с ошибкой.

Расписание. Сначала мы обходили каналы по кругу. От публикации до карточки выходило почти 11 минут в медиане, и почти всё это время пост просто ждал своей очереди: канал с сорока новыми квартирами в сутки опрашивался так же часто, как канал с одной в неделю.

Теперь у каждого канала свой интервал: чем чаще в нём появляются новые квартиры, тем чаще мы его читаем, а общее число запросов к t.me не растёт. Темп поднимали по шагам и только по данным, следя за долей ответов 429. В середине ноября от публикации в канале до того, как мы прочитали пост, в аренде проходило около 4 минут в медиане.

Склейка и предфильтр: не тратить LLM на мусор

Пост из канала — ещё не объявление. Две частые проблемы.

Альбом отдельно от текста. В части каналов сначала идёт альбом фото без подписи, а следом — текстовый пост. Склеиваем их по соседству в ленте и по времени, а если у постов общий внутренний код канала — по коду.

Мусор. До LLM отсеиваем:

  • пустые посты и посты без осмысленного текста;

  • рекламу (свою и чужих каналов);

  • «сдано / продано / tabriklaymiz» — короткие отчёты канала;

  • спрос: «ищу квартиру», «kvartira kerak»;

  • точные повторы — по хэшу нормализованного текста.

Объявлением считаем пост с признаками объявления — комнаты, цена, этаж, площадь, место — на трёх письменностях: xona|хона|комн, qavat|қават|этаж, so'm|сўм|сум. Правило консервативное: сомнительный пост лучше пропустить в LLM, чем потерять объявление. Отдельно защищаемся от спама: один канал не может занять весь разбор.

Часть каналов пишет устойчивыми анкетами вида «Нархи: 400$ / Мўлжал: … / 4-қават». Их разбираем правилами без LLM, а всё неоднозначное — две цены, цену «за человека», составные суммы — по-прежнему отдаём модели. Каждый новый шаблон включаем только после сверки с сохранёнными ответами модели на тех же постах.

Извлечение: строгий JSON и null вместо догадок

Всё остальное — полторы-две тысячи постов в сутки — разбирает Google Gemini. Модель подключена через тонкий слой-провайдер: смена модели — одна переменная в конфиге.

Ключевые решения:

  1. Structured output. Ответ — строго по схеме (Pydantic-модель → response schema): тип сделки, тип объекта, комнаты, этаж/этажность, площадь, цена, валюта, период, «цена за человека», район, ориентир, условия, хозяин/риелтор, комиссия. Не ответила по схеме — пост помечается ошибкой, а не «чинится» на лету.

  2. Нет в тексте — null. Промпт прямо запрещает додумывать. Пустое поле в карточке лучше неверного.

  3. Телефоны и @ники маскируются до отправки. Модели они не нужны: номер мы достаём сами, храним в нормализованном виде и хэшем, в логи не пишем.

  4. Справочники — кодами. Ремонт, тип дома, районы передаются в промпт кодами, а не свободным текстом — так проще сравнивать ответы.

Нормализация: где LLM ошибается чаще всего

Ответ модели проходит через проверки. Принцип тот же: сомнительное значение лучше обнулить (с предупреждением), чем показать неверную цену или этаж.

Валюты. «$», «у.е.», «💵», «dollar/dolar» — доллары; «so’m», «сўм», «сум» — сумы; множители «ming», «тыс», «mln», «млн» модель раскрывает сама, но мы перепроверяем. Сумы переводим в доллары по официальному курсу ЦБ Узбекистана. Бывает «1 320 000 000 сўм (110,000)» — сумы с долларами в скобках; если две суммы не сходятся по курсу, ищем опечатку, а если понять нельзя — цены нет.

Этажи. «4/9» — этаж 4 из 9. А «2/4/14» — комнаты, этаж и этажность одной записью, и модель иногда берёт этажом первое число. Ловим отдельным правилом.

Цена за человека. «120$dan», «бир кишига», «за место» — это подселение, а не цена квартиры. Модель замечает это не всегда, поэтому есть страховки по цене и условиям — свои для Ташкента и для регионов. Так же ловим цену продажи, выложенную в канал аренды.

Районы. Yunusobod, Юнусобод и Юнусабад — один код. Синонимы районов, махаллей, массивов, станций метро и ориентиров лежат в одном справочнике, а район ищется только в пределах города канала и его области. Границы кварталов и массивов — из открытых данных хокимията Ташкента.

Хозяин или риелтор. Хэштег «#хозяин», «сдаю свою», «uy egasi» — хозяин; «Услуга 50%», «Komissiya» — риелтор. Но текстам верить можно не всегда, поэтому смотрим и на номер: если он встречается у разных квартир, это риелтор, что бы ни было написано в посте. Хозяев в итоге немного — около 1% новых объявлений аренды. Ручная проверка 1 505 объявлений, вслепую к нашей метке: «Хозяин» верен примерно в 95 случаях из 100, «Риелтор» — в 97 и больше. Слабее полнота: хозяин, который не написал о себе, остаётся без метки.

Склейка дублей: четыре уровня

Самое интересное. Одна квартира у разных риелторов — это разные фото (кто-то переснял, кто-то обрезал), разный текст и цена, отличающаяся на 50 долларов. Уровни:

  1. Точный репост — совпал хэш текста. Отмечаем, что объявление снова видно.

  2. Один риелтор в нескольких своих каналах — текст почти совпадает (ссылки, хэштеги, @ники и телефоны перед сравнением вырезаются).

  3. Одна квартира у разных риелторов — похожие фото плюс совпадающие признаки: район и ориентир, комнаты, этаж и этажность, площадь, цена. Фото сравниваем перцептивным хэшем (pHash).

  4. Повторная публикация — тот же продавец и тот же объект. Новую карточку не шлём, обновляем дату; если цена снизилась — сообщаем «цена снизилась».

Функция сравнения чистая: на вход два снимка объявлений, на выход same (склеиваем), maybe (спросим человека) или None. Главный урок — телефон только один из признаков: у риелтора один номер на десятки квартир, и склейка «по номеру» сливает в одну карточку разные квартиры. Явное противоречие в комнатах, этаже или районе почти всегда означает разные объекты. Есть и особые случаи — общие фото агентств, новостройки с одинаковыми планировками, — для них отдельные правила.

Неуверенные пары получают пометку «Похоже на объявление от HH:MM» и кнопки «Одно и то же» / «Разные» — ответы идут в разметку для настройки порогов. Первая ручная разметка 80 случайных пар показала: склейки верны в 46 из 50, разделения — в 25 из 30. По ошибкам поправили правила (например, фото у одного из объявлений не скачалось — и правило про фото молча не срабатывало) и перестроили кластеры на копии базы, прежде чем трогать рабочую.

В кластере главным становится объявление хозяина, если оно есть, иначе — с номером телефона и дешевле. Пользователь видит одну карточку со ссылкой на канал и пометкой «ещё N», а если дубль пришёл после отправки — уже отправленная карточка редактируется, нового сообщения нет.

Цена к рынку: медиана и лимит на канал

В каждой карточке есть сравнение: «на 15% дешевле рынка» или «на уровне обычной цены». Считаем так:

  • окно — последние недели, пересчёт раз в час;

  • одна публикация на квартиру (главная в кластере);

  • без «цены за человека», посуточной аренды и явных выбросов;

  • слишком маленькие группы не считаются — на трёх ценах медиана врёт;

  • не больше нескольких объявлений от одного канала в группе.

Последнее правило появилось из реального перекоса. В продаже без лимита двушка в одном из центральных районов выходила дороже трёшки — $174 тыс. против $137 тыс.: четверть объявлений группы давал один канал элитных ЖК. С лимитом — $119 тыс. и $135 тыс., и цифры по районам сошлись с независимыми обзорами рынка. Исключение — города области, где весь рынок — один-два местных канала: там лимит убил бы медиану.

Район в Ташкенте большой, цены внутри сильно разные, поэтому «обычная цена» для карточки — медиана ближайших похожих объявлений вокруг места из объявления, а не по району целиком. Небольшую разницу называем «на уровне обычной цены», без процентов: точнее медиана не знает. Если медианы устарели — сравнений нет нигде, лучше ничего, чем старые числа.

Подробно методика расписана на странице «Как мы считаем цены».

SEO-страницы из тех же данных

Сайт — это те же объявления и медианы, только для поисковиков. Страница района, например аренда в Юнусабаде, показывает, сколько квартир сейчас и новых за неделю, обычную цену 1–3 комнат и свежие объявления. Наружу уходят только наши поля и ссылка на пост в канале — без телефона и без текста оригинала.

Страницы есть на трёх языках, под районы, комнаты, станции метро, кварталы, жилые комплексы и, с ноября, под продажу. Если объявлений мало, страница закрыта от индексации: тонкие страницы поисковику не нужны. Карта сайта строится из базы, а о новых и пропавших адресах мы сообщаем через IndexNow.

Раз в месяц из тех же данных считается индекс аренды Ташкента — медиана новых объявлений месяца. Квартира относится к месяцу, когда впервые появилась в каналах: иначе перевыложенные квартиры «перетекали» бы в следующий месяц и рисовали ложный рост. За октябрь 2026 — 5 888 новых объявлений, однушка $500, двушка $650, трёшка $800; первые 18 дней ноября дали те же медианы на 4 207 объявлениях.

Что мы не делаем

  • Не копируем пост в карточку целиком: карточка собрана из наших полей по нашему шаблону, оригинал — только в свёрнутой цитате и всегда со ссылкой на пост.

  • Не храним снятые объявления вечно: через 90 дней стираем телефон, текст и фото, остаются цена, район и площадь для статистики.

  • Если админ канала просит убрать канал из сбора — убираем, и он больше не включается.

  • Не ходим на сайты объявлений без разрешения их владельцев.

Что дальше

Открытых вопросов много: пересъёмки одной квартиры с другого ракурса, хозяин «по словам» против хозяина «по номеру», одинаковые квартиры в больших ЖК. Если вы решали похожие задачи — склейку объявлений, извлечение из смешанных языков, медианы на маленьких выборках, — будем рады обсудить в комментариях.

Автор: dikaleto

Источник