PPO.
Эпизод 1. Трансформер идёт в Atari Frostbite
Какие информационные процессы протекают в нашем мозгу? Какие цели он преследует? Какой моделью данных и какой алгеброй можно передать его работу? Почему мы подвержены разным когнитивным искажениям? Зачем нам сон и можно ли без него? Как использовать наш мозг на полную катушку?
Не знаю базы ЯП, но с агентами построил ИИ, которому нужно в 250 раз меньше опыта, чем PPO
×250 — столько опыта не хватило PPO, чтобы догнать мой ИИ
Мы обошли фильтр Калмана на одной камере, но сначала три недели измеряли труп
Цель видна только через камеру, детектор отдает рамку, дальномера нет. В какой-то момент цель уходит из кадра на три четверти секунды, и ее надо продолжать вести вслепую. Классический фильтр Калмана в этой ситуации теряет цель в 84% эпизодов. Наш трекер теряет ее в 18% и возвращает в центр кадра в 80%.трекердержит цель вслепуювозврат в кадртеряет цельклассический фильтр Калмана−0,0322%84%нейросетевой пилот0,4184%8%
Походка за двадцать минут и миллион рублей: что RL сделал с двуногими роботами и во что упёрся их «мозг»
За один 2026 год двуногие роботы успели пробежать полумарафон быстрее человеческого рекорда, довести публику до того, что CEO пришлось резать роботу ногу ножницами прямо на сцене, и провалить задачу «пройтись ровно» на презентации за миллионы долларов. В апреле гуманоид Honor Robotics D1 финишировал в Пекине за 50 минут 26 секунд — у людей мировой рекорд, 57:20 Джейкоба Киплимо
Продвинутые RL алгоритмы: NPG, TRPO, PPO
Продолжение постов про RL:1) Intro Reinforcement Learning2) Reinforcement Learning: Model-free & Deep RL3) Reinforcement Learning: Policy gradient methods
RL (RLM): Разбираемся вместе
Всем привет! Недавно я познакомился с курсом по глубокому обучению с подкреплением от HuggingFace Deep Reinforcement Learning Course и захотел сделать выжимку самого интересного. Эта статья — своего рода шпаргалка по основам Reinforcement Learning (RL) и одному из ключевых алгоритмов — PPO, который лежит в основе тонкой настройки современных LLM (Large Language Models).Вы наверняка слышали про такие модели, как o1 от OpenAI или QwQ от Alibaba. Их "рассуждающие" способности во многом — результат применения RL. Давайте разберемся, как обычный принцип обучения, известный по играм вроде AlphaGo, помогает языковым моделям стать умнее.
