Делаем лимиты ИИ почти бесконечными: умный роутер, который режет затраты на токены в разы и делает их почти бесплатными
У меня несколько пет-проектов, которые дёргают LLM через API. Чат-бот для внутренних задач, штука для генерации тестов, пара скриптов для код-ревью. Ничего масштабного, но за последнюю неделю счёт за API вышел $47 — и это только мои личные эксперименты.Проблема очевидная: я гоняю всё через Claude Sonnet, хотя половина запросов — тривиальщина. «Переименуй переменные в этом куске», «напиши docstring», «переведи этот текст». Любая модель за $0.10 / M токенов справится, а я плачу $3 / $15 .Ручной if/else по типу задачи — хрупко и лень. Начал смотреть на LLM-роутеры и наткнулся на ClawRouter. Потестировал неделю, расскажу что получилось.
Как с помощью A-B-платформы найти лучшее решение, если вариантов слишком много, чтобы тестировать все?
Как найти сокровище, если вариантов, где оно может быть, очень много?
Лифт не знает, куда ехать. И это лучший алгоритм, который мы придумали
Вчера я 4 минуты стоял в подъезде и смотрел, как два лифта одновременно поехали вверх. Все два. На табло — 12, 15, 18. Я на первом. Мне на шестой. И я подумал: вот я кучу лет пишу софт, оптимизирую запросы к базе данных, кеширую всё что движется — а эти две коробки на тросах не могут разобраться, кто из них должен спуститься за мной.Потом я погрузился в тему. И выяснил, что они не «не могут разобраться». Они математически
Edge AI: почти всё о видеокамерах с искусственным интеллектом. Часть 2
Привет, Хабр! Это вторая часть статьи по мотивам доклада реверс-инженера Дмитрия Ильина для прикладной конференции по Data Sience Ai Conf 2025. Дмитрий рассказал о своём проекте OpenIPC, где IPC — это аббревиатура от IP-камера. Изначально он задумывался как специализированный дистрибутив Linux для IP-камер, но со временем превратился в большое комьюнити любителей опенсорса, каждый из которых является носителем уникального кусочка знаний.
Edge AI: почти всё о видеокамерах с искусственным интеллектом. Часть 1
Привет, Хабр! Эта статья написана по мотивам доклада реверс-инженера Дмитрия Ильина для прикладной конференции по Data Sience Ai Conf 2025
Архитектура «Обратного Хэша»: Нейросети без умножения
Современный Deep Learning уперся в производительность вычислений с плавающей точкой и пропускную способность памати. Мы предлагаем архитектуру, где нейрон — это не сумма произведений, а битовая хэш-функция. Ноль умножений, ноль сложений. Только логика и статистика.Концепт: Нейрон как компараторКлассический нейрон: Activation(Sum(Weight * Input))Наш нейрон: Output = AРазберем формулу:Input (64 бита): Входные данные.Mask (64 бита): «Взгляд» нейрона. Фиксированный случайный шаблон.XOR: Битовое сравнение. 0 — совпадение, 1 — отличие.popcount:
