Полноценный GPT в 243 строках Python от Andrej Karpathy

Andrej Karpathy только что создал полноценный GPT в 243 строках Python

Аннотация: В феврале 2026 года известный исследователь ИИ Андрей Карпати опубликовал проект microGPT — минималистичную реализацию трансформера, обучающуюся и выполняющую инференс всего в 243 строках чистого Python без внешних зависимостей. Этот «арт-проект» демонстрирует фундаментальные математические принципы работы больших языковых моделей, делая архитектуру GPT прозрачной и доступной для изучения. [[5]]

Краткое содержание

*** Что такое microGPT и зачем он нужен?***

«Это самый атомарный способ обучить и запустить инференс GPT на чистом Python без зависимостей. Этот файл содержит полный алгоритм. Всё остальное — лишь вопрос эффективности.» — Andrej Karpathy [[9]]

Ключевая идея

Большинство современных реализаций трансформеров (PyTorch, TensorFlow, JAX) скрывают математическую суть за слоями абстракций. microGPT делает обратное: всё построено «с нуля» на базовых операциях Python, чтобы любой мог прочитать код и понять:

• Как работает автоматическое дифференцирование (autograd)

• Как устроено многоголовое внимание ^[2] (multi-head attention)

• Как происходит обучение через обратное распространение ошибки ^[3]

• Как работает оптимизатор Adam

Аналогия

Игрушечная машинка и Tesla: у обеих есть двигатель, колёса, руль и тормоза. Игрушка не выиграет гонку, но если вы хотите понять, как работает автомобиль — она идеальна.

Архитектура microGPT: разбор по компонентам

1️⃣ Токенизатор (строки 15–20)

uchars = sorted(set(”.join(docs))) # Уникальные символы в датасете

BOS = len(uchars) # Токен начала последовательности

vocab_size = len(uchars) + 1 # Размер словаря

Аннотация: Компьютеры не понимают буквы — только числа. Токенизатор сопоставляет каждый символ уникальному целочисленному ID. Специальный токен <BOS> (Beginning of Sequence) обрамляет каждую последовательность, помогая модели понимать границы.

* Autograd Engine: обратное распространение «с нуля» (строки 23–60)*

class Value:

__slots__ = ('data', 'grad', '_children', '_local_grads')
 [4]

​

def __init__(self, data, children=(), local_grads=()):

    self.data = data        # Значение узла

    self.grad = 0           # Градиент функции потерь по этому узлу

    self._children = children   # Дочерние узлы в графе вычислений

    self._local_grads = local_grads  # Локальные производные

def __add__(self, other):

    other = other if isinstance(other, Value) else Value(other)

    return Value(self.data + other.data, (self, other), (1, 1))
 [4]

​

def backward(self):

    # Топологическая сортировка + применение цепного правила

    ...
 [4]

Аннотация: Класс Value — это «атом» вычислительного графа. Каждый объект хранит:

• data — скалярное значение

• grad — градиент функции потерь по этому значению

• _children — ссылки на операнды

• _local_grads — локальные производные для обратного прохода

Метод backward() выполняет топологическую сортировку графа и рекурсивно применяет цепное правило для вычисления градиентов — точная копия механизма autograd в PyTorch, но в 40 строках кода. [[5]]

3️⃣ Архитектура GPT: трансформер «в лоб» (строки 95–150)

def gpt(token_id, pos_id, keys, values):

# 1. Эмбеддинги токена и позиции

tok_emb = state_dict['wte'][token_id]

pos_emb = state_dict['wpe'][pos_id]

x = [t + p for t, p in zip(tok_emb, pos_emb)]

x = rmsnorm(x)
 [4]

​

for li in range(n_layer):

    # 2. Multi-head Self-Attention

    q = linear(x, state_dict[f'layer{li}.attn_wq'])

    k = linear(x, state_dict[f'layer{li}.attn_wk'])

    v = linear(x, state_dict[f'layer{li}.attn_wv'])

    # ... вычисление attention-весов и контекста ...
 [4]

​

    # 3. Feed-Forward Network (MLP)

    x = linear(x, state_dict[f'layer{li}.mlp_fc1'])

    x = [xi.relu() for xi in x]  # ReLU² активация

    x = linear(x, state_dict[f'layer{li}.mlp_fc2'])
 [4]

​

# 4. Логиты для предсказания следующего токена

logits = linear(x, state_dict['lm_head'])

return logits
 [4]

Аннотация: Реализация следует архитектуре GPT-2 с минимальными упрощениями:

• ✅ RMSNorm вместо LayerNorm (проще, стабильнее)

• ✅ ReLU² вместо GeLU (квадрат ReLU: x.relu() ** 2)

• ✅ Без bias-параметров в линейных слоях

• ✅ Кэширование ключей/значений (KV-cache) для инференса

⚠️ Это не «упрощённая» модель — это та же математика ^[5], что в GPT-4, просто в миниатюре. [[1]]

4️⃣ Оптимизатор Adam: «с нуля» (строки 155–175)

# Параметры Adam

learning_rate, beta1, beta2, eps_adam = 0.01, 0.85, 0.99, 1e-8

m = [0.0] * len(params) # Первый момент (среднее градиентов)

v = [0.0] * len(params) # Второй момент (среднее квадратов)

# Обновление параметров

for i, p in enumerate(params):

m[i] = beta1 * m[i] + (1 - beta1) * p.grad

v[i] = beta2 * v[i] + (1 - beta2) * p.grad ** 2

m_hat = m[i] / (1 - beta1 ** (step + 1))  # Bias correction

v_hat = v[i] / (1 - beta2 ** (step + 1))

p.data -= learning_rate * m_hat / (v_hat ** 0.5 + eps_adam)
 [4]

Аннотация: Adam — самый популярный оптимизатор в глубоком обучении. Здесь он реализован полностью прозрачно:

• Коррекция смещения (bias correction) для первых шагов

• Адаптивный learning rate на основе истории градиентов

• Численная стабильность через eps_adam

5️⃣ Цикл обучения и инференс (строки 180–220)

# Обучение

for step in range(num_steps):

doc = docs[step % len(docs)]

tokens = [BOS] + [uchars.index(ch) for ch in doc] + [BOS]
 [4]

​

# Forward pass + вычисление loss

losses = []

for pos_id in range(n):

    logits = gpt(tokens[pos_id], pos_id, keys, values)

    probs = softmax(logits)

    losses.append(-probs[tokens[pos_id + 1]].log())
 [4]

​

loss = sum(losses) / n

loss.backward()  # Backward pass
 [4]

​

# Обновление параметров через Adam

...
 [4]

# Инференс: генерация новых имён

for sample_idx in range(20):

token_id = BOS

for pos_id in range(block_size):

    logits = gpt(token_id, pos_id, keys, values)

    probs = softmax([l / temperature for l in logits])  # Temperature sampling

    token_id = random.choices(range(vocab_size), weights=[p.data for p in probs])[0]

    if token_id == BOS: break

    sample.append(uchars[token_id])
 [4]

Аннотация:

• Обучение: Модель учится предсказывать следующий символ в имени, минимизируя кросс-энтропийный loss.

• Инференс: Генерация через temperature sampling — чем ниже температура, тем более «консервативны» предсказания.

🎓 Почему microGPT — прорыв в обучении?

💡 «Всё, что выходит за рамки этих 243 строк — это оптимизация, а не интеллект ^[6].»

⚙️ Как запустить microGPT

# 1. Скачайте код

curl -O https://gist.githubusercontent.com/karpathy/8627fe009c40f57531cb18360106ce95/raw/microgpt.py ^[7]

# 2. Запустите

python microgpt.py

Что произойдёт:

1. Автоматически скачается names.txt (список имён)

2. Модель обучится 1000 шагов (~3 часа на CPU)

3. Сгенерирует 20 новых «имён»

🐌 Да, это медленно. Но цель — не скорость, а понимание.

📊 Ограничения и практические замечания

🔬 Идеи для экспериментов

# 🧪 1. Измените архитектуру

n_layer = 2 # Добавьте второй слой трансформера

n_embd = 32 # Увеличьте размер эмбеддингов

n_head = 8 # Больше голов внимания

# 🧪 2. Попробуйте другие данные

docs = open(“shakespeare.txt”).read().split(“n”) # Шекспир вместо имён

# 🧪 3. Добавьте регуляризацию

def dropout(x, p=0.1):

return [xi if random.random() > p else Value(0) for xi in x]
 [4]

# 🧪 4. Визуализируйте градиенты

for p in params[:10]:

print(f"param grad: {p.grad:.4f}")
 [4]

📚 Заключение

microGPT — это не просто код. Это манифест образовательной прозрачности в эпоху «чёрных ящиков» ИИ.

✅ Для студентов: Лучший способ понять трансформеры — прочитать 243 строки, а не 243 000.
✅ Для инженеров: Шаблон для создания минимальных прототипов без фреймворков.
✅ Для исследователей: Базовый «атом» для экспериментов с новыми архитектурами.

Скачайте, прочитайте, измените, сломайте, соберите заново. Именно так рождается настоящее понимание.

🔗 Полезные ссылки

• 📄 Оригинальный gist Karpathy ^[8] — исходный код microgpt.py [[9]]

• 📰 Analytics Vidhya: разбор microGPT ^[9] — детальное объяснение архитектуры [[5]]

• 💻 Порты на другие языки ^[10] — C++, Rust, JS, Ruby, PHP от сообщества

• 🎥 Лекции Karpathy по нейросетям ^[11] — фундамент для понимания кода

Лицензия: Код microGPT распространяется под лицензией MIT — используйте, модифицируйте, делитесь с указанием авторства. [[Авторский комментарий в gist]]

Документ подготовлен на основе статьи Sumit Pandey (Towards Deep Learning) и официальных материалов Andrej Karpathy. Перевод и аннотация выполнены в образовательных целях.