qwen.
Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3
В первой части я рассказал, как запустил Qwen на списанной FPGA-плате за $50 с открытым TPU (openTPU). Комментаторы справедливо заметили: это больше анонс, чем статья. Где сборка, где кристалл, где замеры, почему 133 МГц, где КЕДР?
Лимиты ChatGPT и локальные LLM: мой эксперимент с Hermes Agent
Иногда я за час работы с облачной моделью выбираю весь доступный лимит. Потом ещё четыре часа жду его восстановления. Задача уже в голове, хочется продолжать, но приходится прерываться.В последнее время всё чаще смотрю на следующий тариф ChatGPT за 100 евро. Но жаба душит: прежде чем платить больше, хочется понять, нельзя ли часть работы выполнять на своём компьютере.
70 токенов в секунду в qwen3.8–27b на RTX 3090
На текущий момент qwen3.8–27b, без сомнений, лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению, прямой путь — скачать модель с официального аккаунта qwen на huggingface → запустить в своем любимом инференс‑движке может не привести к хорошему результату, поэтому я решил написать эту статью.План действий такой:Установить необходимые пакеты для сборки llamAmpere (https://github.com/JakeATX/llamAmpere) — это форк llama.cpp, оптимизированный для запуска на поколении графических адаптеров Ampere.Скомпилировать llamAmpere.Установить huggingface client.
Офлайн-ИИ в десктопном приложении: что я узнал, встраивая Ollama в лаунчер для трёх ОС
Я делаю Lumi, открытый лаунчер в духе Spotlight: по горячей клавише открывается строка, в которой можно запустить программу, найти файл или задать вопрос нейросети. Честно скажу сразу: код я пишу вместе с Claude, сам я не программист. Но тесты, цифры и ошибки ниже настоящие, и о них хочется рассказать.Задача была такая: человек без опыта нажимает одну кнопку и получает ИИ, который работает без интернета. Ему не нужен терминал и не нужно знать, что такое Ollama. Дальше расскажу, что из этого вышло и обо что я споткнулся.1. Какую модель выбрать: тест четырёх кандидатовКандидаты: gpt-oss 20B, Qwen 3.5 9B, Gemma 4 E2B
Такого нет даже у OpenAI Dots, Grok Bot и Muse: NIKA — личные ИИ-агенты с on-device LLM (я доверила ИИ банковскую карту)
Сегодня мы публикуем десктопную macOS версию NIKA – личного ИИ-агента. Ее можно использовать как универсального автономного агента, а еще в ней можно завести личных агентов (как у Grok и OpenAI) и запускать LLM прямо на своём компьютере (а такого у них нет!). On-device здесь означает полноценный локальный инференс самой LLM-модели: после загрузки модели для диалога с ней не нужны ни облачный API, ни интернет. Это бесплатно и безопасно – в локальном режиме LLM обрабатывает запросы прямо на вашем устройстве, без обращения к облачному API. Здесь доступны диалог с моделью и память на компьютере.
Устроил маленьким моделям проектный институт: слабой деление на разделы дало вчетверо, рой пять пунктов
Я тепломеханик, начальник отдела в проектной организации, в проектировании четырнадцать лет. Программистом не был ни дня, с нейросетями вожусь меньше года. Весной взялся вырастить из слабых локальных моделей рой, который окажется умнее самой сильной из них. Рой не поумнел. Зато по дороге я разложил шесть маленьких моделей по схеме, по которой работает любой проектный институт, и замерил, что из этой схемы держит нагрузку. Держит одно деление на разделы, и слабой модели оно дает больше, чем сильной.
Нафиг NVIDIA! Я запустил Qwen на FPGA за $50 — а свой TPU назвал бы «КЕДР». Часть 1
Я хотел разработать собственный AI-процессор, нашёл openTPU, взял FPGA за ~$50 с 4 ГБ оперативной памяти, подключил её к обычному мини-ПК и запустил на ней большую языковую модель - и улетел в космос (в позитивном и дофаминовом смыслах). Без NVIDIA. Без видеокарты. На открытой архитектуре, которая разработана при активном участии ИИ-агентов. openTPU — открытый AI-ускоритель Felipe Sens Bonetto.Мне стало интересно: а можно ли действительно взять такой проект с GitHub, загрузить его в физическую FPGA и запустить настоящий LLM-инференс?По замерам автора проекта на такой же плате:
Своя модель решений на русском за вечер аренды GPU: что она умеет, сколько стоит и где проигрывает
Своя модель решений за вечер на GPU
Selectel расширяет платформу для запуска и развития ИИ-проектов
Selectel анонсировал обновление ИИ-платформы. Решение дополнят два новых продукта для инференса: Token Factory и Custom Inference.
