локальные модели. - страница 2

Локальный ассистент для зумов, часть 11: девять моделей проверяли мой код — кто остался и почему

Код Чароита я пишу в Claude Code. Каждое изменение до мержа читает другая модель и пишет вердикт. Такую модель я зову головой, а один прогон — кругом.За два месяца в головах побывали Codex, GLM, Gemini, DeepSeek, две локальные Qwen, MiMo, Sonnet и Opus. Вердикты Sonnet ещё перечитывает Haiku. Посредников я перебрал три: Fireworks, OpenRouter, Nebius. Ниже — кто пришёл, кто ушёл и какие замеры это решили.Зачем вообще вторая головаPR #381: гейты режима правки графа. Скрытые пути, удаление, откат, карантин, замок. Пять кругов.КругCriticalГде14исходный код

продолжить чтение

Где заканчивается самостоятельность ИИ-агента? Я дал ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста

Что показал мой эксперимент:ИИ-агент Ника действительно совершала действия в реальном мире: купила авиабилет, регулярно покупала мне кофе, забронировала гостиницу, столики в ресторанах «Сахалин», «Воронеж», EVA и других, и даже русскую баню в Дубае…В моих тестах главным ограничением стали внешние интеграции: на инструменты, MCP и API приходилось 94% зафиксированных ошибок – именно ошибок, а не всех задач. Готовность внешних сервисов стала одним из главных ограничений.MCP-интеграциям нужен следующий уровень зрелости

продолжить чтение

Как я подружил llama-server с Claude Code: доработка Go-лаунчера для локальных LLM

ВведениеВ своих прошлых материалах я уже рассказывал о запуске крупных MoE-моделей на ограниченном железе через llama-server и о сравнительных экспериментах с 35B, 120B и 176B-классами моделей. Практика показала, что llama.cpp давно перестал быть просто «запускатором GGUF»: сегодня это полноценный рантайм с OpenAI-совместимым API, поддержкой инструментов, Jinja-шаблонов, спекулятивного декодирования и гибкого CPU/GPU-offload. Единственное, чего ему не хватало для повседневной работы, — удобной обвязки, которая избавила бы от ручного набора десятка флагов при каждом старте.Именно поэтому у меня появился небольшой лаунчер на Go:

продолжить чтение

Почему на десктопе до сих пор нет нормального T9 и при чем тут LLM

продолжить чтение

Локальный ассистент для зумов, часть 10: NLI — три места, куда я его примерял, и два, откуда ушёл

Бюджет на квартал согласован и бюджет на квартал не согласован. Для эмбеддингов это почти одна фраза: слова те же, частица не в векторе весит мало. Для встречи это значит, что решили обратное.Вот из-за таких пар в Чароите живёт NLI-модель. Ниже — где она работает третий месяц, где я её снял и почему, и во что это обошлось.Зачем вообще полезНе из-за ленты. Сначала были протоколы.

продолжить чтение

Устроил маленьким моделям проектный институт: слабой деление на разделы дало вчетверо, рой пять пунктов

Я тепломеханик, начальник отдела в проектной организации, в проектировании четырнадцать лет. Программистом не был ни дня, с нейросетями вожусь меньше года. Весной взялся вырастить из слабых локальных моделей рой, который окажется умнее самой сильной из них. Рой не поумнел. Зато по дороге я разложил шесть маленьких моделей по схеме, по которой работает любой проектный институт, и замерил, что из этой схемы держит нагрузку. Держит одно деление на разделы, и слабой модели оно дает больше, чем сильной.

продолжить чтение

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.

продолжить чтение

Домашний ИИ: простой способ добавить «интеллект» своему компьютеру

В этой статье мы рассмотрим открытые модели машинного обучения. Они не требуют обязательного подключения к интернету и подписки, никуда не передают ваши данные и достаточно компактные, чтобы их можно было запускать на ПК или ноутбуке. Эксперименты выполнялись на ПК с Core i5-14600, 32 ГБ DDR5 и RTX 3070Ti c 8 ГБ VRAM. Комментарии подготовлены экспертами лаборатории искусственного интеллекта российской ИТ-компании «Криптонит».Быстрый стартЕсть множество оболочек для запуска моделей: Ollama, Open WebUI, GPT4All, Unsloth Desktop,

продолжить чтение

ИИ в отечественной микроэлектронике: итоги опроса 74 компаний на форуме «Микроэлектроника 2026»

ВведениеНа прошлой неделе состоялся форум “Микроэлектроника 2026”. Было представлено множество компаний микроэлектронной отрасли, проведено множество встреч, круглых столов и сессий.Вопросы использования ИИ активно обсуждались, и в голову пришла идея собрать статистику по отрасли. К счастью, большая часть компаний этого направления была представлена на мероприятии.Как собирались данныеВремени было не так много: у нас тоже был стенд и докладчики, поэтому удалось быстро пробежать по всем стендам уже ближе к закрытию выставки. Опросить не удалось где-то 5-6 стендов, потому что они уже были закрыты.

продолжить чтение

Локальный ассистент для зумов, часть 9: Nemotron от NVIDIA — почему взял и что получил

Чароит записывает мои созвоны, а после кнопки Стоп собирает стенограмму, протокол и граф встречи. Самое капризное место во всей цепочке — понять, кто что сказал. Это называется диаризацией. Ошиблась она, и решение в протоколе повисает на другом человеке.23 сентября NVIDIA выложила нейросеть, которая только этим и занимается. Через пять дней она уже работала у меня. Сейчас через неё идут оба канала звонка, очные встречи и живая лента.Что за нейросетьNemotron 3 Diarization. Веса открытые, на Hugging Face. Сто миллионов параметров, по нынешним меркам кроха: модель, которая пишет мне протоколы, больше в триста с лишним раз.

продолжить чтение