контекстная дистилляция.

Можно ли заменить системный промпт начальным состоянием? Эксперименты на RWKV-7

Что такое начальное состояние модели? Почему у RWKV оно может заменить системный промпт? И чем это отличается от обычного промпта? Ответы на эти вопросы в этой статье.

продолжить чтение