gpt-oss.

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.

продолжить чтение

Тест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов

Публичные тарифы, токены фактические (у Gemini учтены токены мышления). Поиск без реранка даёт Acc@1 0.487 — ниже нижней границы графика.

продолжить чтение

Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов.Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:инструкциях по возврату средствсписке сотрудниковсообщениях электронной почтыДля правильного ответа (

продолжить чтение

Миф о «равных весах»: что на самом деле скрывается внутри малых моделей

продолжить чтение

Чат GPT (ГПТ) бесплатно в России: ChatGPT без регистрации и ограничений

Чат GPT (ГПТ) бесплатно в России: ChatGPT без регистрации и ограничений

продолжить чтение

Облачные модели Ollama в задачах code review — честное сравнение на примерах

С недавних пор AI-инструменты стали важной частью разработки. Такие решения, как Cursor, Codex и Claude Code позволяют разработчикам генерировать код, ускорять написание функций и автоматизировать рутинные задачи. Это существенно повышает скорость разработки. Однако у такого подхода есть и обратная сторона: код начинает появляться быстрее, чем команды успевают его качественно проверять. В результате нагрузка на процесс code review

продолжить чтение

Запускаем GPT-OSS-120B на 6 Гб GPU и ускоряем до 30 t-s. Вам нужна RAM, а не VRAM. Параметр -cmoe для ускорения MoE LLM

продолжить чтение

ИИ-консерва: как мы «взламывали» LLM-модели, чтобы извлечь датасеты и рассуждения

продолжить чтение

Как открытые веса раскрыли секреты обучения GPT-5

Команда AI for Devs перевела статью, показывающую, что открытые веса — это не только про прозрачность, но и про утечку тайн обучения.На примере модели GPT-oss автор показывает, как можно восстановить части обучающего пайплайна и даже выявить, что GPT-5 видела фразы с сайтов для взрослых.Недавно OpenAI выпустила модель с открытыми весами. В этой статье разберём, как этот релиз неизбежно раскрывает часть информации об их обучающем пайплайне — и заодно покажем, что GPT-5 действительно обучалась на фразах с сайтов для взрослых.

продолжить чтение

От GPT-2 к gpt-oss: анализ достижений архитектуры

И как они выглядят на фоне Qwen 3📌 Telegram @TheWeeklyBrief — краткие обзоры и подкасты 📌 GitHub Pages — углублённые разборы статей5 августа, 2025 года OpenAI выпустила новые модели LLM с открытым весом: gpt-oss-120b и gpt-oss-20b — первые полностью открытые модели с момента выхода GPT-2 в 2019 году. И да, благодаря некоторым умным оптимизациям, их можно запускать локально (но об этом чуть позже).

продолжить чтение

12