Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как
Три месяца назад я наблюдал, как мой агент на Llama 3.1 8B в третий раз спрашивает, как меня зовут.Я представился в первом сообщении. Двести сообщений назад...Агент забыл. Не потому что тупой. Потому что контекст переполнился и начало разговора уехало в никуда.Это был момент, когда я понял: мы неправильно думаем о памяти.Почему большие контексты — это ловушкаКогда вышел Claude с контекстом на миллион токенов, казалось — проблема решена. Запихиваем всё в контекст, модель помнит всё. Красота.Потом пришёл счёт за API.
RLM-Toolkit: Полная замена LangChain? FAQ часть 2
Продолжение статьи о RLM. Первая часть: Почему ваш LLM-агент забывает цельО чём эта статья?В первой части я разобрал 10 проблем LLM-приложений и как RLM их решает. Но остался очевидный вопрос:"Чем это отличается от LangChain? Зачем ещё один фреймворк?"Короткий ответ: RLM-Toolkit — это пока не полная замена LangChain. Не весь запланированный функционал реализован, но в своей нише (огромный контекст, H-MEM память, безопасность, InfiniRetri, самоулучшающиеся агенты) — уже конкурент и опережает в вопросах развития под современные задачи.
