llm. - страница 7

llm.

Вайбкодинг для самых маленьких. Часть 1

Привет, Хабр!В повседневной жизни я постоянно пользуюсь ИИ: от простых вопросов до разработки. Поэтому вайбкодинг для меня стал чем-то обыденным, и в силу своей сферы деятельности я думал, что вайбкодит уже каждый. Но оказалось, что это далеко не так.Поэтому я решил написать несколько статей, в которых расскажу, что такое вайбкодинг, как начать им заниматься и какие практики использую я сам.ВайбкодингВайбкодинг— использование искусственного интеллекта, управляемого инструкциями на естественном языке, для помощи в написании программного кода (Collins Dictionary)

продолжить чтение

Ускоряем AI модель на процессоре Qwen3.8-Flash‑Next Gyro

Существует много различных проектов и вариантов по ускорению генерации AI. Но в большинстве случаев они используют тюнинг модели, а так же использование внешней видео карты. Но можно ли ускорить генерацию модели, если у нас есть только процессор и ОЗУ?Для тестирования использовалась модель Qwen3.8-Flash‑Next Gyro GGUF

продолжить чтение

Монтируем LLM как жесткий диск. Бесконечная файловая система на Python + FUSE

продолжить чтение

Аудит MIT-p50c для Qwen3.5-0.8B и редактирование весов с сохранением норм (SGNE-CC) при лимите 32 768 токенов

Qwen3.5-0.8B — модель с 752 млн параметров, 18 рекуррентными слоями GatedDeltaNet и 6 слоями внимания. В проверенных прогонах с весами BF16 она часто не завершает размышление до лимита в 32 768 новых токенов. В работе MIT CSAIL Sparks of Weight-Space Programming (Takehi et al., 2026) правка весов без дообучения MIT-p50c повышает точность на MATH-500 с 7.9% до 48.1% — в среднем по четырём прогонам vLLM с настройками из карточки модели: температурой 0.6 и штрафом 1.5 за уже использованные токены. Базовая модель в этом эталоне достигает предела длины в 93.0% генераций.

продолжить чтение

Новая правка SGNE-CC опережает MIT-p50c в 8.6 раза на MATH-500 (T=0), расходуя в 3.7 раза меньше токенов

Компактная рассуждающая модель Qwen3.5-0.8B (752 млн параметров в текстовой части, 18 рекуррентных слоёв GatedDeltaNet и 6 слоёв внимания) умеет решать математические и логические задачи, но в проверенных опытах часто не доводит ответ до конца. Даже получив верный промежуточный результат, она может повторять самопроверки вплоть до предела генерации в 32 768 новых токенов.В недавней работе MIT CSAIL Sparks of Weight-Space Programming (Takehi et al., 2026) была предложена правка весов без дообучения MIT-p50c

продолжить чтение

Семь способов обмануть себя метриками: как я измерял точность ИИ-проверки ЕГЭ

В первой части я рассказал, как устроена проверка второй части ЕГЭ по обществознанию в моём боте: модель размечает ответ, код считает балл. Закончил обещанием рассказать, насколько точно это работает и сколько раз я обманывал себя метриками. Насчитал семь.Сначала итог. В апреле 2026 года бот ставил тот же балл, что эксперт, в 50% ответов и завышал балл каждому третьему. В ноябре совпадает в 71,5% и завышает в 9,4%. Между этими цифрами полгода, четыре модели и семь случаев, когда число в отчёте означало не то, что я думал.

продолжить чтение

Достаточно «Искры» одной…

Почему я начал делать эту штуку? От жадности и от лени.

продолжить чтение

LLM-беседа: явление пользователю: обзор экспериментов

В каком образе LLM-беседа является пользователю? Чем форма такого образа определяется? Этот вопрос экспериментально исследовался многими – см. список литературы ниже.В теории LLM-бесед как лумановских смысловых систем нового типа (полное описание: (Krupkin, 2026)) взаимодействие LLM-беседы с пользователем может быть описано стандартной схемой социального взаимодействия – парой Ego-Alter. Ego – это тот образ, в котором LLM-беседа является пользователю. Alter – её модель пользователя как партнёра по взаимодействию.

продолжить чтение

Тринадцать LLM на русских отзывах: как я выбирал модель и почему не поверил судье

Я делаю сервис, который отвечает на отзывы покупателей на Wildberries, Ozon и Яндекс Маркете. Звучит просто: пришёл отзыв, модель написала «спасибо за покупку». На деле всё интереснее. Покупатель пишет, что часы встали через три дня, а модель с самым серьёзным видом отвечает: «Передадим замечание на производство для проверки партии». Никакую партию никто проверять не будет.Таких мест много. А ещё есть цена: ответ на отзыв — массовая и дешёвая операция, и если одна модель стоит вчетверо дороже другой, разница должна быть видна в качестве.

продолжить чтение

Как ускорить локальную LLM на 50% без покупки новой видеокарты

На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная способность тоже выросла, хотя и заметно меньше: с 639 до 719 токенов в секунду.Эксперимент проводили на Kubernetes-кластере с четырьмя NVIDIA A100 по 80 ГБ. У каждого участника был собственный кластер, на котором можно было разворачивать модели, менять конфигурацию и измерять производительность. Помимо квантизации, на занятии разбирали NVIDIA Dynamo, маршрутизацию запросов с учётом KV-кеша, автоматическое масштабирование и разделение prefill/decode между GPU.

продолжить чтение

1...5678910...2030...421