GRPO.
Как мы обеспечили +33% к точности на сложных SQL-запросах
Генератор SQL на базе LLM — понятный продукт с понятной ценностью. Он может быть отдельной платформой или инструментом для агента, решающего более общую задачу. Генерировать код модели с попеременным успехом, к счастью, умеют. И что же? Берем API с моделью помощнее, даем ей доступ к БД, задаем вопрос, смотрим на результат, и всё — полноценная замена аналитику? Конечно, нет, ведь аналитик делает гораздо больше, чем просто пишет и исполняет SQL. Однако давайте остановимся на SQL и посмотрим, почему это тоже не так просто:
GEPA вместо RL: как рефлексивная эволюция промптов обгоняет обучение с подкреплением
АннотацияБольшие языковые модели (LLMs) всё чаще адаптируются к downstream-задачам с помощью методов RL, таких как Group Relative Policy Optimization (GRPO), которые нередко требуют тысячи прогонов для освоения новых задач. Мы утверждаем, что интерпретируемая природа языка может предоставлять LLM куда более богатую обучающую среду по сравнению с policy gradient’ами, основанными на разреженных скалярных наградах.
GSPO (Qwen RL Algorithm by Alibaba Cloud)
😎 Следуй за белым кроликом 💊📌 Telegram @TheWeeklyBrief — краткие обзоры и подкасты 📰🎧🐇📌 GitHub Pages — углублённый разбор статей, ныряем в кроличью нору 📝💻🐾СодержаниеВведениеПроблема существующих методовМетодология GSPOКлючевые алгоритмические различияРезультаты экспериментовПрактическое применение и преимущества для инфраструктурыЗначение и будущие последствия1. Введение
