ANE.
Внутри Apple Neural Engine, часть 2: запускаем модель
Продолжаем человеческий ANE reverse engineering. В этот раз разберёмся, чем таким интересным можно накормить компилятор, чтобы получить желаемый результат - Qwen, запущенный без GPU и CPU.Ищем примеры MILРеверсить бинарник компилятора целиком не хотелось. Примеры, доступные в сети, довольно однообразны, и все копируют друг друга - все проекты, так или иначе, ссылаются на исследование Maderix Claude. Где же ещё искать примеры под чип Apple, если не в системе Apple?find /System/Library -name ‘*.mil’ -type f
Внутри Apple Neural Engine в M4. Часть 1: реверс-инжиниринг
Статья о том, как мы обошли Core ML и начали работать с железом напрямую.Всё началось с простого вопроса: можно ли обучать модель на Apple Neural Engine?Apple не хочет, чтобы вы знали ответ. Компания не публикует систему команд ANE, не документирует его внутреннюю архитектуру и даже не позволяет программировать его напрямую. Всё проходит через Core ML, который добавляет несколько уровней абстракции, проходы оптимизации и накладные расходы. Из-за этого почти невозможно понять, что на самом деле делает железо.Поэтому мы занялись реверс-инжинирингом.
