Внутри Apple Neural Engine, часть 2: запускаем модель
Продолжаем человеческий ANE reverse engineering. В этот раз разберёмся, чем таким интересным можно накормить компилятор, чтобы получить желаемый результат - Qwen, запущенный без GPU и CPU.Ищем примеры MILРеверсить бинарник компилятора целиком не хотелось. Примеры, доступные в сети, довольно однообразны, и все копируют друг друга - все проекты, так или иначе, ссылаются на исследование Maderix Claude. Где же ещё искать примеры под чип Apple, если не в системе Apple?find /System/Library -name ‘*.mil’ -type f
Вверх ногами: как научить OCR понимать, что документ перевернут
Всем привет! В своих постах мы часто пишем о разных этапах систем распознавания документов (например, тут и тут). Настало время рассказать о еще одной задаче (и нашем решении для нее), которая часто опускается из подробного рассмотрения.Наверняка каждый из вас хоть раз клал лист в сканер перевернутым (ну или вы очень везучи). Человек в случае такой оказии может повернуть изображение в редакторе или немного повертеть головой, а что делать системе распознавания?
Пятьдесят лет священной войны
В 1951 году Марвин Минский построил первую в мире работающую нейросеть, а через восемнадцать лет он написал книгу, которая убила все финансирование нейросетей на полтора десятилетия. Кстати, эту книгу он посвятил человеку, которого, собственно, она уничтожила.
FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных
Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только данные, но и потенциальная инструкция.В обычном приложении строка остаётся строкой. В LLM пользовательский текст интерпретируется самой моделью, поэтому граница между «данными» и «командой» становится значительно менее очевидной.Отсюда появляются prompt injection, попытки извлечения системных инструкций, обход ограничений и утечки информации через ответы модели.С этой проблемой мы столкнулись при разработке FlautFast — нашей LLM внутри инфраструктуры FlautCompany.
Внутри Apple Neural Engine в M4. Часть 1: реверс-инжиниринг
Статья о том, как мы обошли Core ML и начали работать с железом напрямую.Всё началось с простого вопроса: можно ли обучать модель на Apple Neural Engine?Apple не хочет, чтобы вы знали ответ. Компания не публикует систему команд ANE, не документирует его внутреннюю архитектуру и даже не позволяет программировать его напрямую. Всё проходит через Core ML, который добавляет несколько уровней абстракции, проходы оптимизации и накладные расходы. Из-за этого почти невозможно понять, что на самом деле делает железо.Поэтому мы занялись реверс-инжинирингом.
