Выбросить нельзя, переобозначить. Или как дообучать LLM даже на ошибках и без RLHF
Одним из сложнейших этапов дообучения LLM является процесс выравнивания (alignment), который зачастую играет решающую роль в качестве модели. Традиционным подходом к решению данной задачи является RLHF, но для него нужны дополнительные обучаемые модели, а это дополнительные вычислительные затраты и трудности в настройке. В цикле своих исследований об обучении LLM я наткнулся на интересную статью, в которой авторы предлагают метод Hindsight Instruction Relabeling (HIR).Ссылка на источник находится тут. Очень проработанная статья, советую почитать.Предыдущие материалы цикла:
Retrieval-Augmented Generation (RAG): глубокий технический обзор
Retrieval-Augmented Generation (RAG)
Кто, как и зачем внедряет Gen AI в 2025: опыт 100 CIO
Чуть больше года назад мы выделили 16 ключевых изменений в том, как компании подходили к разработке и закупке генеративных ИИ. С тех пор ландшафт продолжил стремительно эволюционировать, поэтому мы снова провели беседы с более чем двумя десятками корпоративных заказчиков и опросили 100 CIO из 15 отраслей, чтобы помочь фаундерам понять, как в 2025 в корпорациях используют, приобретают и закладывают бюджеты под generative AI.Даже в такой динамичной сфере, где единственная постоянная — это перемены, структура рынка genAI изменилась куда сильнее, чем мы ожидали после прошлого исследования.
Разработка LLM моделей для обновления кода приложений на более высокие версии фреймворков или языков программирования
В этой статье я планирую исследовать, как можно использовать большие языковые модели (LLM) для миграции проектов между различными фреймворками. Применение LLM в задачах на уровне репозитория — это развивающаяся и всё более популярная область. Миграция кода со старых, устаревших фреймворков на новые является одной из ключевых задач в крупных корпоративных проектах.Актуальность
Дообучение моделей на своих данных — просто и эффективно
Большинство статей в блогах посвящены использованию топовых LLM-моделей или настройке сложных AI-пайплайнов для крупных корпораций. Но что, если ваши данные конфиденциальны, а у вас нет доступа к экспертам по машинному обучению или масштабной инфраструктуре? В этой статье мы покажем, как дообучить модель для средних команд разработчиков или IT-поддержки, используя ваши собственные экспертные знания. С помощью Apache Answer и InstructLab вы сможете создать мощное и экономичное AI-решение, адаптированное под ваши задачи.InstructLabInstructLab
Руководство по созданию системы оценки качества AI
Всем привет! Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь полезными материалами, которые считаю стоят внимания. В основном про AI, изменение процессов, тренды и продуктовое видение.У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.Сегодняшний перевод — Mastering AI Evals: A Complete Guide for PMsУспешные AI-продукты отличаются от посредственных
Накорми языковую модель документами
Задача поиска ответов по внутренней документации
Академия OpenAI для разработчиков: Разбор 10 лекций про API, RAG, Fine-tuning
OpenAI запустила свою Академию — десятки видеолекций. Полезно, но много. Если вы разработчик или аналитик, которому нужны технические детали и практические руководства по API, моделям и их оптимизации, смотреть всё подряд — не вариант.Я изучил доступные материалы и сделал выжим из только технических материалов. Этот гайд проведет по 10 ключевым лекциям вышедшим на сегодня, которые помогут разобраться в Function Calling, RAG, Fine-tuning, Evals и других важных темах. Мы не будем здесь касаться
Fine tuning или RAG. Что выбрать?
При разработке ИИ чатов существует два способа интеграции внешних данных: RAG хранилища и Fine tuning. Для не технаря отличия не очевидны, я столкнулся с мнением менеджера проекта, что первое это новая версия второго. Это не так. Поэтому, я сделал short summary, чтобы по существу изложить плюсы и минусы двух решенийЧто такое RAG?Языковые модели умеют запускать python/javascript функции через tool_calls. Делается такая функция, ей на вход аргумент search
