Контекст растёт, KV-кэш — нет: Qwen3.8-27B на ограниченной VRAM с CMF формате
Экспериментальный O(1)-режим CMF заменяет растущий KV-кэш в 16 full-attention слоях Qwen3.8-27B фиксированным состоянием 44,1 МиБ. На длине 64K это сопоставляется с 4 ГиБ FP16 KV-кэша, но ценой приближённого восстановления дальнего контекста.Статья про CMF форматВ CMF
Чит‑код к реальности: как я устал от школы и написал для 15-летней дочери мануал по нейробиологии и логике
Всё началось в 7–8 классе, когда система начала давать сбой. Дочь просто перестала вытягивать школьную нагрузку. Организм рос стремительно — заболели коленные суставы, посыпались частые простуды, ресурс ЦНС уходил в минус.
Квантизация LLM: как запихнуть 70B модель в свою видюху
Ну что, думаете что для запуска LLaMA 3 70B вам нужна серверная стойка за лярд рублей? Поздравляю, вас обманули маркетологи GPU-вендоров. Модели с сотнями миллиардов параметров — LLaMA 3 70B, DeepSeek-V3 с его 671 лярдом параметров — жрут vRAM как не в себя, но есть способ запихнуть это все в обычную потребительскую видюху.Сегодня в статье разберем, как работает чудо квантизации под капотом, чем отличаются PTQ и QAT, почему MoE-модели (DeepSeek-V3, Mixtral, LLaMA 4 Scout) квантизовать сложнее и как выбрать между GPTQ, GGUF и AWQ.
Tymbal — нейросинтезатор на одном чипе
0. Об имениИнструмент называется Tymbal.Характер задаёт учитель — обработанный сигнал, на который натаскивается уточнитель. Смените учителя, и характер сменится целиком, а конструкция останется прежней.Tymbal — орган звукоизвлечения цикады: ребристая мембрана, которая щёлкает при нелинейном выгибании. Маленький аппарат, громкий и богатый обертонами результат, и весь механизм держится на одной нелинейности. У нас нелинейность учителя переносится сетью на детерминированный скелет, и всё это живёт на одном чипе.Слово к тому же приходит оттуда же, откуда «тембр». Merriam‑Webster выводит tymbal
Как оценить стоимость ручного поиска документов в компании на 200 человек
В корпоративных системах обычно хорошо считают то, что приходит отдельным счётом: лицензии, серверы, внедрение, поддержку, подрядчиков. Эти расходы видно в бюджете, у них есть владелец, договор и понятная строка в финансовой модели.Но есть другой тип расходов — менее заметный. Он не приходит отдельным счётом, но каждый день съедает рабочее время сотрудников. Речь о ручном поиске документов, старых версий файлов, договоров, регламентов, презентаций, отчётов и решений, которые уже когда-то были созданы внутри компании.
Один ход агента — 120 000 токенов. Разбираемся, куда они уходят и как мы это починили
Мы делаем Uma Computer
Мой 2-летний путь в английский: любимые приложения и методы изучения
Обратите внимание, что автор статьи оценивает свой английский примерно на уровне B2 и в данный момент все еще стремится улучшать свои навыки, так что здесь всё будет чисто субъективно и на основе моего опыта. С профессиональными лингвистами я никогда не общался, поэтому не могу гарантировать как свои знания, так и чужие.
Почему нельзя идеально оптимизировать светофоры: дело не в алгоритмах
Каждый айтишник, который хоть раз стоял «на красном» на пустом перекрестке в три часа ночи, думал одно и то же: «Да я бы это за выходные пофиксил».
