llm.
Локальные LLM на iPhone: память, Core ML, MLX и ограничения
Всем привет! Меня зовут Никита Нагорнов, я iOS‑разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone.Поговорим про:Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память;Память, квантование и KV Cache — где приложения начинают падать и как это отловить;Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре;Температуру и троттлинг — что происходит с телефоном на длинной сессии;
Unpacking the Problem of the Autonomous Neural Network
Recipes for building a truly autonomous neural network surface in the information space on a regular basis. More often than not, the methods and approaches coincide regardless of the author. And although they look original, most of them have in fact been formalized with the help of LLMs — and LLMs, as we know, work very well with existing knowledge.In this article I will analyze the main techniques being proposed and the faulty foundation they rest upon.IntroductionThe occasion for writing this was a recent (though since withdrawn) article on Habr by @VSVLADILEN.The author proposed much of what is endlessly discussed on specialized blogs and forums — and professional researchers often say the very same things.So, what the author and many of his colleagues mean by an autonomous neural network:A being possessed of internal motives, capable of boredom, of changing the priorities of its life, of making illogical creative leaps, and, ultimately, of searching for the reasons behind its own creation.
ИИ-агент в тестировании: почему сильный результат рождается не из промпта, а из инженерного контура
Введение: агент — не оракулПредставим обычную задачу «к тестированию». В ней есть краткое описание, несколько комментариев, ссылка на документ, родительская задача, пара коммитов и стенд, который иногда доступен. Часть требований уже изменилась. Часть — живёт в коде соседней команды. Часть — существует только как договорённость между людьми.Можно потребовать от постановщика идеальный документ. Можно не начинать работу, пока не появятся критерии в правильной форме. В реальном проекте это часто означает не повышение качества, а перенос ответственности и задержку обратной связи.
Почему мы разделили UI, бизнес-логику и ядро: архитектура платформы «Галактика Сверхновая»
Большинство корпоративных платформ, которые сегодня работают на крупных предприятиях, проектировались 15-20 лет назад. С тех пор сменились языки программирования, подходы к разработке, требования к интеграциям и интерфейсам. Архитектура же во многих случаях осталась прежней.Мы задумались – можно ли сохранить проверенную бизнес-логику, не переписывая накопленный за десятилетия код, и одновременно сделать платформу открытой для современных технологий?
Как защитить LLM-агентов от gradient-based adversarial attacks-атак: VRF + LoRA подход
Представьте LLM-агента, который читает торговые сигналы из публичных источников, анализирует их и принимает решение покупать/продавать токены. Каждый день он управляет миллионами долларов. Такие агенты встречаются везде: в Discord, Twitter, Telegram, на собственных серверах компаний.Проблема? Как и большинство LLM-систем в production, они работают на открытых моделях - LLaMA, Mistral и т.д.Открытая модель означает одно: атакующий может скачать её веса и локально оптимизировать адверсариальную атаку через градиентный спуск. И самое страшное - найденная атака будет работать на всех инстансах одновременно, независимо от платформы.
Как не дать ИИ‑психологу поддакивать и галлюцинировать. Инженерный разбор safety‑обвязки
От автора. Здесь разбираю инженерную задачу safety‑обвязки ИИ‑психологов и привожу конкретные сервисы с рынка как примеры её решения. Проверяйте утверждения и спорьте в комментариях, я специально оставил открытый вопрос в конце.
Как я без опыта программирования создал Telegram‑бота, который уже два года ведёт новостной канал
Два года назад у меня практически не было опыта программирования. Когда‑то в школе мы немного изучали Pascal, но после этого я не написал ни одного скрипта. Я впервые открыл PyCharm, по ходу работы узнал, что такое API, SSH, виртуальная машина, системная служба и облачные задачи. При этом за несколько месяцев я создал систему, которая собирает новости из турецких источников, переводит и сокращает их, помогает администратору отбирать материалы, готовит полноценные публикации и размещает их в Telegram по расписанию.
Exit-интервью на LLM: что пользователи говорят в момент закрытия пейволла (схема, промпты, грабли)
TL;DR. Когда игрок закрывает окно оплаты в моей игре, с ним заговаривает отдельный LLM-бот — короткое custdev-интервью по книге «Спроси маму», максимум 5 реплик. За 2 недели: 59 сессий, 20 ответили (34%). Главная находка: заметная часть людей шла из поиска со словом «бесплатно» в моём же title. Ниже отдам вам архитектуру, промпты и код-каркас под любой проект — и расскажу, что это дало.Два слова о продукте, чтобы вы понимали цитаты
