Ассистент и рекурсивное самоулучшение: доучиваем нейросеть с LoRA
Часть 1: Как я создавал персонального ассистента на домашнем железеЧасть 2: Ассистент получает личность: память, сновидения и самовыражениеЧасть 3: Ассистент рисует и достраивает самого себя: метапознание и зарождение собственного замыслаВкратце.
Я измерил «личность» 6 open-source LLM (7B-9B), заглянув в их hidden states. Вот что получилось
У LLM есть устойчивые «личности», даже если вы об этом не просили. DeepSeek — восторженный друг, который объясняет всё в три раза подробнее, чем нужно. Llama — пугающе нейтральный (4 из 7 осей в «слабой зоне»). Yi — слегка холодный, терпеливый и уверенный. У каждой модели свой измеримый «отпечаток» в hidden states.Под «личностью» дальше имею в виду устойчивые стилевые тенденции, измеряемые в hidden states, — не «чувства» и не внутренние состояния.TL;DR
