Рождение LLM: история, которую мало кто знает
Когда люди слышат "языковая модель", у большинства сразу всплывает ChatGPT, Gemini, ну или на худой конец что-то связанное с Яндексом. Но мало кто задумывается - а с чего вообще всё началось? Кто первым решил, что машина может понимать текст не по шаблону, а по-настоящему?Я попробую рассказать эту историю без лишнего академизма - просто, но честно.До нейросетей была статистикаКонец 1980-х. Никаких тебе трансформеров, никакого обучения с подкреплением. Тогда языковые модели строились на банальной статистике - модель просто смотрела, какое слово чаще всего следует за предыдущим. Это называлось n-граммными моделями.
Обратное распространение ошибки: от интуиции до кода
Введение.Современные нейросети часто воспринимаются как черная магия. Вы закидываете в черный ящик датасет, ждете пару часов, и вот уже модель пишет за вас код, генерирует картины и безошибочно отличает собаку от выпечки. Но под капотом нет никаких заклинаний. Вся эта вычислительная мощь держится на одном элегантном алгоритме, основы которого были заложены еще в 1970-х годах — обратном распространении ошибки (Backpropagation).Сейчас порог входа в машинное обучение низок как никогда. Чтобы заставить сеть учиться, достаточно написать loss.backward() в PyTorch или вызвать model.fit()
Аугментация ограничивающих боксов в детекции: форматы, `BboxParams` и типичные ошибки
Когда в пайплайне детекции всё вроде настроено правильно, а mAP
Induction Heads на TinyStories: почему простой датасет мешает In-context Learning
Код: https://github.com/fanat503/Induction-Heads-TinystoriesВведениеИсследования Induction Heads и SAE очень важны, чтобы разобраться в современных моделях и понять, что же в них происходит. Цель эксперимента — проверить формирование Induction Heads на датасете TinyStories. Почему был выбран именно такой датасет? Потому что он очень простой и понятный, что позволяет изолировать влияние сложности данных на формирование механизмов.Архитектура и методология
WACV 2026 в Тусоне: конференция, пустыня и немного экзистенции
Привет, Хабр! Я — Максим Куркин из лаборатории FusionBrain AIRI. Когда мне сказали «поедешь на WACV», первая мысль была — отлично, конференция. Вторая мысль — Тусон, Аризона. Пустыня Сонора. Кактусы‑сагуаро высотой с двухэтажный дом. +25°C в начале марта, когда в Москве ещё лежит снег. Круто!В итоге я провёл в командировке девять дней — с 5 по 13 марта. Два дня дороги в каждую сторону, пять дней конференции, немного пустыни вокруг. Поездка получилась насыщенной: и по науке, и по ощущениям, и очень хочется поделиться увиденным!
Как подбирать аугментации: гипотезы, протокол и метрики
Одно и то же изображение под разными аугментациями
Как научить плейлист-генератор не лезть с персонализацией куда не просят
Статья о том, почему «лучшие хиты Queen» и «что-нибудь под пробежку» – это принципиально разные запросы, и что с этим делать ML-инженеру музыкального стриминга
Аугментации изображений: как улучшить качество моделей без новых данных
Примечание: эта статья — перевод страницы документации библиотеки Albumentations
