Как я парсил казахстанские госсайты через COM
Отдел аналитики FMCG-производителя каждый понедельник начинал одинаково: человек открывал stat.gov.kz, качал пачку Excel-таблиц, потом шёл на сайт Нацбанка за курсами, потом на KASE, потом за мировыми ценами на сахар и какао к FAO. Часа через два всё это оказывалось в общей папке под именами вроде data(1).xlsxИ мне сказали "Автоматизируй". Дали список сайтой откуда они берут данные Список был таков, но он рос по ходу:Казахстан: stat.gov.kz (Бюро национальной статистики), KASE, Нацбанк, goszakup.gov.kz, adilet.zan.kz
Свой AI-харнесс: прод-движок для десятков моделей — единое окно, роутер и управляемые прогоны
В прошлый раз я рассказывал, как в одиночку с AI-агентами собрал ERP-платформу на Kubernetes из 30+ сервисов. Эта статья — про её мозг: не «ещё один агентский фреймворк», а продакшн-движок, который год несёт живых клиентов (рекрутинг с AI-интервью, CRM, парсинг-конвейеры, копилот).
Система экстренных оповещений на 15 тысяч пользователей: LLM, PostGIS, Qdrant и Telegram
В нашем телеграм-боте — системе экстренных оповещений «Мигалка» — нужно в реальном времени обрабатывать сообщения примерно из тысячи телеграм-каналов и доставлять релевантные события пользователям в конкретных локациях.Официальные предупреждения о прилетах дронов и ракетных ударах часто приходят
Прыжок в бесконечность: как под капотом работает RBF SVM
Всех приветствую! Меня зовут Андрей, я студент 4 курса факультета математики и компьютерных наук, автор телеграм‑канала Andre | Data Science. Все мы знаем, что направление машинного обучения сейчас на огромном хайпе — практически из‑под каждого камня говорят о разных методах и о том, что они способны решить практически любую задачу. Но гайдов, которые бы подробно разбирали работу конкретного метода — от обычной загрузки данных до математического обоснования принципа его работы и визуализации каждого шага, — катастрофически мало.
Рынок «лимонов» в мире данных: почему современные исследования теряют контакт с реальностью
Размышления, вдохновленные статьей Марка Хау «Towards ‘augmented sociology’? A practice‑oriented framework for using large language model‑powered chatbots» (Hau, 2025) Джорджо де Кирико — «Беспокойные музы»
Что в работе аналитика поменялось за пять лет, а что только в вакансиях
Я пришла в аналитику в 2020 году, шесть лет в профессии, и среди прочего проверяю работы тех, кто учится на аналитика сейчас. Так что у меня перед глазами оба конца отрезка: и с чего начинала я, и с чем приходит новый поток, который я вижу каждую неделю десятками.И вот что не сходится: если открыть вакансии аналитика в 2026 и почитать требования, кажется, что профессия сменилась целиком: везде ML, LLM, дата-инженерия, облака, а SQL с Excel идут как что-то само собой разумеющееся, будто это уже даже не навык, а воздух. Человек, который вкатывается сейчас, читает это и решает, что опоздал на пять лет и учить надо всё и сразу.
Чемпионат среди uplift-моделей: групповой этап, плей-офф и неожиданный лидер
Привет! Меня зовут Гриша Крюков, я аналитик в команде доверия и безопасности Авито. Я провёл чемпионат среди четырёх популярных моделей для оценки индивидуальных эффектов: S-learner, T-learner, X-learner и Causal Forest. В статье расскажу, как проходили испытания и какая из моделей забрала золото после всех испытаний. Материал будет полезен тем, кто интересуется uplift-моделированием: новичкам, чтобы узнать об этом методе, профессионалам — посмотреть на сравнение моделей в формате турнира. Не каждый же день такое устраивают!
Внедрили AI-агента в BI-систему — чистая магия в обработке и визуализации терабайтов данных
Привет, это команда Далее. На одном из проектов у нас есть терабайты данных о рекламных кампаниях, которые хранятся на десятках площадок. Это множество таблиц, агрегаций, расчетных метрик и формул.Big Data обрабатывают аналитики и дата-инженеры: приводят в нормальный вид, следят за качеством, рассчитывают дополнительные метрики. В конце концов, все приходит в BI-систему, где менеджеры делают отчеты и визуализируют информацию на дашбордах.
Ускоряем и оптимизируем numpy, pandas, scipy и sklearn
С момента публикации статьи на Хабре «Импортозамещаем numpy, pandas, scipy и sklearn» прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube, который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook.
