сжатие контекста.

Миллион в config.toml, 828 тысяч в Codex и 890 тысяч на входе: что на самом деле значит окно контекста

В ~/.codex/config.toml у меня стоит model_context_window = 1000000. Codex на GPT-6.1 Sol в каждой задаче сообщает окно 828 400. Я разобрал, откуда берётся это число, поднял его до 900 000 своим каталогом моделей и прогнал синтетический вход на 890 547 токенов с контрольными метками.Контрольный запуск показал больше основного: тот же вход на 888 330 токенов прошёл и без моей правки, при окне 828 400. Ниже - как устроены эти числа, как я мерил и чего мерить не стал.Замеры сделаны 27.10.2026 на Codex CLI 0.163.0, вход через подписку ChatGPT. Часть данных - из сентябрьских проб на GPT-6 Astra, это помечено.Откуда 828 400

продолжить чтение

Асинхронное ротационное сжатие, или Как сделать бесшовной беседу с вашим локальным агентом

Издревле (вот уже целый год) человечество пытается примириться со сжатием контекста.Вот вы мило беседовали с чубриком, и дзинь…Он замолкает на несколько десятков секунд, потом вроде отдупляется, бросается перечитывать доки и вроде бы с горем пополам продолжает беседу, но вы-то видите, что он не помнит шутку, которую вы только что пошутили.К спонтанной амнезии мы уже привыкли, она воспринимается как неизбежное зло, сидящее чуть ли не в архитектуре трансформера. Контекст-то конечен, говорите вы себе, но…Неужели с этим действительно ничего нельзя сделать?Кое-что об устройстве трансформера

продолжить чтение

Headroom на 80 запусках агента: что получилось с расходом токенов

Недавно увидел ещё один репозиторий с обещанием резко сократить расход контекста у LLM-агентов — Headroom. Я сейчас исследую эту тему на примере SKILL.state и уже писал о первых результатах на Хабре - это были первые инженерные эксперименты; более строгие проверки ещё продолжаются. Так что меня заинтересовал подход headroom и я решил заодно с прочими экспериментами наскоро прогнать Headroom через тот же тестовый стенд. Эта статья — о том, что получилось.

продолжить чтение

RLM-Toolkit v1.2.1: Теоретические основы и оригинальные разработки

Научное исследование архитектурных решений в контексте теории информации, криптографии и когнитивных систем📌 Это продолжение статьи RLM-Toolkit: Полное руководство по обработке 10M+ токеновПервая часть охватывала практические аспекты. Здесь — глубокий теоретический анализ: от теории Шеннона до когнитивной архитектуры памяти.АннотацияНастоящая работа представляет комплексный анализ архитектурных решений RLM-Toolkit v1.2.1, разработанного в рамках проекта SENTINEL AI Security Platform.Мы демонстрируем:Криптографическую необходимость

продолжить чтение