Опыт гуманитария в дообучении LLM с помощью WebUI Text Generation
Введение.Продолжаю делиться опытом освоения нейросетей человеком с гуманитарным образованием и без IT-бэкграунда. На этот раз моей целью было разобраться, как происходит дообучение готовых LLM-моделей, как выстраивать процесс, какие использовать данные, модели, настройки и прочее. Зачем мне это понадобилось?Во-первых, это вызов самому себе. Юристов, которые смогли бы дообучить языковую модель под свои задачи, думаю, единицы. Хотелось стать одним из тех, кому это по силам, тем более что тема мне интересна.
Стартап Thinking Machines представил инструмент автоматизации создания пользовательских моделей ИИ
Стартап Thinking Machines Lab, основанный известными исследователями из OpenAI, представил свой первый продукт — инструмент Tinker, который автоматизирует создание пользовательских передовых моделей искусственного интеллекта.
Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисковых выдач
Что важнее: создать продукт, или доставить его до пользователя? Оба этапа необходимы. Сегодня обсудим второй. Как нам построить поисковую e-com систему.Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку, но и настройка поисковой выдачи по запросу.Быстро соберем поисковой MVP-сервис. Дообучим модель E5 на реальных данных от Amazon. Определим метрики качества и сравним BM25, pretrain E5 и fine-tune E5. Так же взглянем глазами с отладочной информацией
