gpt.
Своя GPT-like LLM по WH40K с нуля. Часть 3: pre-train LLM
Привет, Хабр! Меня зовут Владимир, и это третья часть цикла статей по написании и обучению небольшой decoder-only LLM с нуля. В первой части мы обучили токенизатор и собрали pretrain-датасет, во второй части реализовали класс Трансформер-блока. В этой части будем собирать и предобучать нашу LLM.Содержание циклаПодготовка и токенизация данныхТрансформерСборка и обучение LLM (вы находитесь здесь)SFT этап (дообучение на Вопрос-Ответ)
Своя GPT-like LLM по WH40K с нуля. Часть 2: собираем трансформер
Привет, Хабр! Меня зовут Владимир, и это вторая часть цикла статей по написании и обучению небольшой decoder-only LLM с нуля. В первой части мы вытащили текст, обучили Byte-level BPE токенизатор и собрали pretrain-датасет. Теперь напишем сердце модели - трансформер.Содержание циклаПодготовка и токенизация данныхТрансформер (вы находитесь здесь)Сборка и обучение LLMSFT этап (дообучение на Вопрос-Ответ)Интеграция с Hugging FaceСодержание может меняться и дополняться ссылками по мере написания
Вайбкодинг на минималках: как настройка OpenClaw убила веру в магию нейросетей (или история дефолт-юзера с openclaw)
ОГЛАВЛЕНИЯ:ВВОДНАЯ ЧАСТЬОЖИДАНИЕ ОТ ПРОГРАММЫПЕРВАЯ УСТАНОВКАСТОИМОСТЬ И ИСПОЛЬЗУЕМЫЕ МОДЕЛИ
GPT-5.6: передовой интеллект, который растёт вместе с вашими амбициями
Эта статья — перевод оригинальной статьи «GPT-5.6: Frontier intelligence that scales with your ambition».Также я веду телеграм канал «Frontend по‑флотски», где рассказываю про интересные вещи из мира разработки интерфейсов и AI.ВступлениеЗаранее извиняюсь за "gpt 5 целых 6 десятых" в видео, буду работать над качеством переводаМы запускаем семейство моделей GPT-5.6 в общий доступ после
Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. И в прошлом году я решил серьёзно подойти к этому вопросу - поискал в интернете с чего начать. Интернет подсказал, что единственный путь начать - почитать Ересь Хоруса. Дальнейший поиск показал
Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment
На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment, какие у него есть подводные камни.В этой статье - чеклист по GPT-like моделям, prompt engineering, этапам обучения LLM и alignment. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.Содержание:
Можно ли лучше? Activation Steering, pt 2: repeng, pyreft и другие способы найти вектор правильнее
У статьи есть 1 часть: Стягивай куда нужно: Activation Steering Tutorial Привет, друзья! В первой части мы разобрали базовую идею steering-а и реализовали её тремя способами: через сырые PyTorch hooks, через nnsight и через pyvene. Сработала ли наша база? Да — мы это видели. Нормально ли? Нет — и это мы тоже видели: вектор оказался инвертирован, эффект был умеренным, а на некоторых промптах не было никакого. Что с этим делать и как это сделать на питоне — и есть тема второй части.
Почему ChatGPT называет одни бренды и молчит про другие: как машина знает компании
Я изучаю AEO/GEO (продвижение брендов в ответах нейросетей) и наткнулся на разбор про странную вещь: нейросети называют одни бренды и будто не замечают другие, причём качество продукта тут ни при чём (SearchAtlas). Объясняют это через понятие сущности: и поиск, и нейросети воспринимают бренд как отдельный объект знания со своими свойствами и связями.
