Основы парсинга сайтов: от HTML до готового датасета для NLP
Вы освоили машинное обучение, знаете, чем transformer отличается от LSTM, но где брать данные для своих проектов? Готовые датасеты — это хорошо, но они общие. А если вам нужны посты из конкретного Telegram‑канала, отзывы с узкопрофильного форума или корпус текстов по редкой теме?Парсинг сайтов — это навык, который превращает интернет в вашу персональную фабрику данных. Без него даже самая умная модель останется без «топлива». В этой статье мы рассмотрим весь путь: от первого запроса к сайту до готового датасета, пригодного для обучения.
Правильная агентская архитектура в 2026 г. Часть 2. Durable state: approvals, session context и background jobs
Продолжение статьи https://habr.com/ru/articles/1028290/ Твой ии-агент мог бы сыграть в сериале "Кибердеревня"В прошлой серии
SmileLadder. Цикл «Память и мозг». Как формируется память
Недавно вышла в свет статья в уважаемоем научном издении Nature. Она натолкнула меня на идею показать как работает механизм внимания и как мозг формирует память. Это важно и дает ответ на вопрос о том, как вообще мы справляемся с огромным потоком задач нашего современного мира. de Sousa, A.F., Zeidler, Z.E., Almeida-Filho, D.G. et al. The prefrontal cortex controls memory organization in the hippocampus. Nat Neurosci (2026). https://doi.org/10.1038/s41593-026-02231-1Базовая анатомическая справкаКак устроен мозг в контексте этой работы (на примере мыши, по Brain Atlas)Чтобы понять статью, достаточно этих понятий:
Обратное распространение ошибки: от интуиции до кода
Введение.Современные нейросети часто воспринимаются как черная магия. Вы закидываете в черный ящик датасет, ждете пару часов, и вот уже модель пишет за вас код, генерирует картины и безошибочно отличает собаку от выпечки. Но под капотом нет никаких заклинаний. Вся эта вычислительная мощь держится на одном элегантном алгоритме, основы которого были заложены еще в 1970-х годах — обратном распространении ошибки (Backpropagation).Сейчас порог входа в машинное обучение низок как никогда. Чтобы заставить сеть учиться, достаточно написать loss.backward() в PyTorch или вызвать model.fit()
Мой первый ИИ: Пишем нейросеть на Python с нуля
1. Введение: Что такое нейросеть?Аналогия с мозгом Нейросеть — это математическая модель, имитирующая работу мозга. Как человек учится отличать «1» от «7» по визуальным шаблонам, так и алгоритм учится находить закономерности в данных, выделяя главные признаки и игнорируя шум.Упрощенная модель Весь процесс работы делится на 3 этапа:Входные данные: то, что алгоритм «видит» (в нашем случае — пиксели картинки).Обработка (веса): математические вычисления. Входные данные проходят через формулы, где умножаются на веса
Когда автоматизация становится умнее: как трансформеры изменили AutoDL в Альфа-Банке
Всем привет! С вами Артемий Лямин (@lyaminartemiy) и Иван Тренёв (@123-39
AI-агенты в продакшене: почему demo не равно реальность
Как я строил агента для код-ревью на LangGraph и где сломалась красивая теорияПару месяцев назад я смотрел демку: AI-агент получал пулл-реквест, пробегал по diff-у, находил потенциальный race condition и писал развёрнутый комментарий с предложением фикса. Всё это занимало около 40 секунд.В нашей команде ревью давно стало бутылочным горлышком. Двое сеньоров, около двенадцати PR в день, каждый висит в очереди по полдня. Идея автоматизировать первый проход — типовые замечания, проверки стайлгайда, очевидные ошибки — выглядела очень соблазнительно.
Govorun PC: переносим офлайн-диктовку с Android на Windows за один вечер (с Claude)
ПредысторияНа Android у меня живёт Govorun Lite — офлайн-диктовка на русском. Нажал кнопку, сказал, текст вставился. Никаких облаков, никакой отправки голоса на серверы. Работает через GigaAM v2 от Сбера.Проблема одна: на ПК такого нет. Встроенная Windows-диктовка — онлайн. Whisper — либо медленный, либо требует видеокарту. Сторонние сервисы — снова облако.Я решил портировать Govorun на Windows, и для ускорения взял Claude как пару-программиста. Что из этого вышло — в этой статье.СтекКомпонентБиблиотекаЛицензия
Изучаем машинное обучение scikit-learn за одну статью: от понимания API до боевого пайплайна
1. Введение: что за зверь этот scikit-learn и зачем он вамЕсли вы начинаете погружаться в машинное обучение на Python, scikit-learn (в народе просто sklearn) — это ваша отправная точка. Это абсолютный индустриальный стандарт и швейцарский нож для классического ML.Для чего он идеален:Табличные данные. Всё, что можно представить в виде CSV-файла или таблицы в базе данных.Классические задачи. Предсказать цену подержанного авто (регрессия), определить, болен пациент или здоров (классификация), или разбить покупателей на сегменты для маркетинга (кластеризация).
Как устроен Meshtastic, зачем он нужен и как я подключил его к локальной модели на ноутбуке
Я давно хотел попробовать не просто LoRa-модули как отдельные радиожелезки, а именно Meshtastic - готовую систему для обмена сообщениями без сотовой сети, Wi-Fi и интернета.Идея Meshtastic выглядит очень привлекательно: берём несколько маленьких устройств с LoRa, прошиваем их, настраиваем общий канал - и получаем автономную mesh-сеть для коротких сообщений. Без SIM-карт, без роутеров, без облаков и без базовых станций оператора.
