Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent
Иногда я за час работы с облачной моделью выбираю весь доступный лимит. Потом ещё четыре часа жду его восстановления. Задача уже в голове, хочется продолжать, но приходится прерываться.В последнее время всё чаще смотрю на следующий тариф ChatGPT за 100 евро. Но жаба душит: прежде чем платить больше, хочется понять, нельзя ли часть работы выполнять на своём компьютере.
Где заканчивается самостоятельность ИИ-агента? Я дал ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста
Что показал мой эксперимент:ИИ-агент Ника действительно совершала действия в реальном мире: купила авиабилет, регулярно покупала мне кофе, забронировала гостиницу, столики в ресторанах «Сахалин», «Воронеж», EVA и других, и даже русскую баню в Дубае…В моих тестах главным ограничением стали внешние интеграции: на инструменты, MCP и API приходилось 94% зафиксированных ошибок – именно ошибок, а не всех задач. Готовность внешних сервисов стала одним из главных ограничений.MCP-интеграциям нужен следующий уровень зрелости
70 токенов в секунду в qwen3.8–27b на RTX 3090
На текущий момент qwen3.8–27b, без сомнений, лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению, прямой путь — скачать модель с официального аккаунта qwen на huggingface → запустить в своем любимом инференс‑движке может не привести к хорошему результату, поэтому я решил написать эту статью.План действий такой:Установить необходимые пакеты для сборки llamAmpere (https://github.com/JakeATX/llamAmpere) — это форк llama.cpp, оптимизированный для запуска на поколении графических адаптеров Ampere.Скомпилировать llamAmpere.Установить huggingface client.
Такого нет даже у OpenAI Dots, Grok Bot и Muse: NIKA — личные ИИ-агенты с on-device LLM (я доверила ИИ банковскую карту)
Сегодня мы публикуем десктопную macOS версию NIKA – личного ИИ-агента. Ее можно использовать как универсального автономного агента, а еще в ней можно завести личных агентов (как у Grok и OpenAI) и запускать LLM прямо на своём компьютере (а такого у них нет!). On-device здесь означает полноценный локальный инференс самой LLM-модели: после загрузки модели для диалога с ней не нужны ни облачный API, ни интернет. Это бесплатно и безопасно – в локальном режиме LLM обрабатывает запросы прямо на вашем устройстве, без обращения к облачному API. Здесь доступны диалог с моделью и память на компьютере.
Локальный инференс на Ryzen AI Halo
GMKTec EVO X2 (у меня такой), но есть еще много
Запустить LLM локально: что считать до покупки видеокарты?
Всем привет, меня зовут Сергей Прощаев, я Tech Lead и руководитель направления Java/Kotlin‑разработки в FinTech & E‑commerce, преподаю на курсах разработки и архитектуры в ОТУС.В этой статье расскажу про домашний стенд для локального инференса
Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов
В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько? Что, если не делать маленькую модель, не учить её заново и не заставлять копировать большую, а просто найти более короткую запись тех же «мозгов»?Здравый человек, вероятно, скачал бы готовую квантизацию и пошёл заниматься своими делами. Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного. Без дообучения, дистилляции, pruning и изменения архитектуры. Только математика над уже готовыми весами и небольшая выборка текстов для калибровки.
NVIDIA выпустила PAIR — виртуальный маршрутизатор локального инференса для домашних ПК
NVIDIA представила
Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле
Разговор повторяется примерно раз в месяц, с небольшими вариациями.— Мы за API платим уже прилично. Может, купим карту и будем гонять у себя? — Может. Сколько токенов в месяц жжете? — Ну... много.Вот на этом месте всегда наступает пауза. Потому что «много» никто не считал, а без этой цифры весь разговор превращается в обмен ощущениями.
Пора переезжать на локальные LLM. Или нет?
Нет большой разницы в инструментах, когда речь идет о создании простеньких чат-ботов. Но когда вы работаете над продуктом посерьезнее, например создаете сложного AI-агента или работаете с чувствительными данными, облачные LLM начинают выставлять счета. И не только финансовые.Что если переход на локальную инфраструктуру (вроде Ollama) это решение, которое не просто поможет сэкономить, но изменит саму динамику разработки?Налог на итерацию
