sft.
Как Claude научился файн-тюнить опенсорсные LLM
Claude получил возможность файн-тюнить языковые модели с помощью нового инструмента под названием Hugging Face Skills. Не просто писать скрипты для обучения, а реально отправлять задачи на облачные GPU, следить за прогрессом и пушить готовые модели на Hugging Face Hub. В этом туториале показано, как это работает и как использовать самому.Claude Code умеет использовать "скиллы" — упакованные инструкции, скрипты и доменные знания для выполнения специализированных задач. Скилл hf-llm-trainer
SFT vs RL: Сравнение методов настройки LLM для задач программирования и игровых сред
ВведениеВ современной разработке AI-агентов возникает необходимость адаптации больших языковых моделей (LLM) для решения специфических задач, требующих не просто генерации текста, а выполнения последовательных действий с рассуждениями. В этой статье мы рассмотрим и сравним два основных подхода к настройке моделей: Supervised Fine-Tuning (SFT) и Reinforcement Learning (RL), используя библиотеку TRL (Transformer Reinforcement Learning) от Hugging Face. Мы рассмотрим применение этих методов для двух категорий задач: Задачи программирования:Нахождение подходящего инпута для программы
Kandinsky 4.1 Image – новый генератор изображений от Сбера
В декабре прошлого года на конференции AI Journey наша команда представила диффузионную генеративную модель Kandinsky 4.0 Video (статья на habr
Исследование AI выявило ключевые факторы, лежащие в основе долгосрочных способностей LLM к рассуждениям
Систематическое исследование раскрывает методы, с помощью которых генерируются длинные цепочки мыслей моделей рассуждений. Результаты дают практические советы по оптимизации стратегий обучения. Команда IN.AI вместе с исследователями из Университета Цинхуа и Университета Карнеги-Меллона составила карту того, как модели AI развивают свою способность работать с длинными цепочками мыслей. Их систематическое исследование использовало контролируемую тонкую настройку (SFT) и обучение с подкреплением (RL) для выявления ключевых факторов, лежащих в основе этой способности.
