Языковая модель с нуля на одной RTX 4060: dpp-gpt 2.2 Pro (260M), претрейн, SFT и RL
Я делаю свою линейку маленьких языковых моделей dpp-gpt. Не файнтюн чужой модели, а всё с нуля: токенизатор, претрейн, SFT, RL, бенчмарки. Всё это на одной домашней видеокарте RTX 4060 с 8 ГБ памяти. Недавно вышла версия 2.2 Pro на 260 миллионов параметров. В статье расскажу, как она устроена, что получилось, что нет, и какие неожиданные вещи всплыли по дороге.Сразу честно: это не конкурент моделям, обученным большими командами на триллионах токенов. На общепринятых английских бенчмарках она отстаёт даже от самых маленьких из них (бенчмарки ниже). Интересна она другим: тем, сколько можно выжать из одной видеокарты, и тем, что видно изнутри.
NLP с трдельником: какие идеи я привезла с EMNLP 2026
Привет, Хабр! Я — Мария Марьина, научный сотрудник лаборатории «Вычислительная семантика» AIRI. В конце октября я побывала на EMNLP в Будапеште, где мы с коллегами представили две работы, а я впервые выступила с устным докладом.Расскажу, как прошёл эксперимент оргкомитета с AI‑рецензированием, какие исследования мне запомнились, куда дальше двигаться NLP и за что дали Best Paper Awards. Поделюсь своим способом выбирать постеры, когда посмотреть всё невозможно, и покажу немного Будапешта, на улочках которого можно выдохнуть после конференции. Термы и трдельники тоже будут.Погнали!
Злой автономный ИИ который реверс-инженерит чужой софт и отправляет багрепорты чтобы владелец работал бесплатно
Посмотреть пример транспиляции можно по ссылкеЗлой ИИ. Картина масломПару слов PyneSys и PyneCoreНа момент 2026 года прямые продажи не работают. Чтобы продать что-то нужно следовать стратегии
Сколько стоит ИИ построить?
Собрать по кускам БЯМ и сшить из неё ассистента, отличающегося умом и сообразительностью, выливается в солидную копеечку. Выясняем, сколько в итоге нужно потратить на ChatGPT и прочих флагманов столь непростой индустрии.ChatGPTGPT-1, она же «предварительно обученный генеративный трансформер», появилась в 2018 году. Это была модель со 117 миллионами параметров, предварительно обученная на неразмеченных текстах и заложившая основы полууправляемого многоцелевого обучения для обработки естественного языка.Уже исторический артефакт: архитектура трансформерной модели.
Дипфейк на связи: как мы защитили видеозвонки на платформе IVA MCU от мошенников
Привет, Хабр! Меня зовут Татьяна Дешкина, я замдиректора по развитию продуктов в VisionLabs. Вместе с Дмитрием Журавлёвым, директором продукта IVA MCU в IVA Technologies, мы расскажем, как
Абляционный анализ компонентов StyleGAN-NADA: от ансамбля CLIP до Gradient Clipping
ВведениеГенеративные модели, такие как StyleGAN2, способны создавать изображения лиц. Однако для управления ими обычно требуется либо оптимизация латентного представления, поступающего на вход генератора, либо обучение генератора с нуля, либо fine-tuning (дообучение) предобученной модели. Метод StyleGAN-NADA (No Annotation Domain Adaptation) предложил подход: адаптировать генеративную модель (StyleGAN2) к новому домену без единого изображения. Вместо этого используется семантическая сила больших моделей, предварительно обученных контрастивным методом на тексте и изображениях (CLIP).
Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench
Мы поменяли требования в задачах кодингового бенчмарка и увидели, как модели отговаривают себя их выполнять.Иногда агент прекрасно понимал новое требование. Он описывал, что нужно изменить, прикидывал реализацию, а потом решал, что скрытые тесты, скорее всего, ждут чего-то другого. В одном прогоне модель правильно реализовала изменение, спросила у другой модели исходное решение бенчмарка и, получив его, удалила свой правильный код.
Нейросетевая чертовщина 2026 года и странные артефакты машинного разума
Десять лет назад поиск аномалий в сети был уделом исследователей и безопасников: они сканировали диапазоны IP-адресов, искали забытые ханипоты, анализировали утечки из баз данных и разбирали городские легенды даркнета. Интернет казался огромной промзоной, где за каждой странной находкой стояла чья-то халатность, кривой конфиг nginx или арт-хаос. К концу 2026 года природа "призраков в машине" изменилась.
Можно ли заменить системный промпт начальным состоянием? Эксперименты на RWKV-7
Что такое начальное состояние модели? Почему у RWKV оно может заменить системный промпт? И чем это отличается от обычного промпта? Ответы на эти вопросы в этой статье.

