Собираем MVP product search: дообучение E5 и веб-сервис для сравнения поисковых выдач
Что важнее: создать продукт, или доставить его до пользователя? Оба этапа необходимы. Сегодня обсудим второй. Как нам построить поисковую e-com систему.Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку, но и настройка поисковой выдачи по запросу.Быстро соберем поисковой MVP-сервис. Дообучим модель E5 на реальных данных от Amazon. Определим метрики качества и сравним BM25, pretrain E5 и fine-tune E5. Так же взглянем глазами с отладочной информацией
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта
Зачем?У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание протестировать разнообразные настройки LLM. До этого момента я пробовал запускать разные небольшие модели исключительно на cpu. А вот опыта с большими моделями не было.Где?
Накорми языковую модель документами
Задача поиска ответов по внутренней документации
SmolAgents: или как заставить LLM работать на тебя за 30 минут
Кто такие эти ваши агенты?
Fine tuning роя агентов
Исходный код, разобранный в статье, опубликован в этом репозиторииВ вакансиях LLM инженеров присутствует слово RAG. Это подразумевает интеграцию во внешнюю базу данных, например, PostgreSQL с PGVector или MongoDB Atlas Vector Search.
Открываем instruct-версию YandexGPT 5 Lite
Недавно мы выложили в открытый доступ pretrain-версию модели YandexGPT 5 Lite, обученную нами с помощью технологий Яндекса и без применения каких-либо сторонних моделей. За прошедший месяц в сообществе её скачали более 15 тысяч раз, на её основе создали больше десятка квантизованных моделей и даже дообучили instruct-версии.
Делаем свой reasoning dataset
Привет, Хабр! Туториал будет посвящен подготовке узкоспециализированного русскоязычного медицинского датасета для последующего файнтюнинга (тонкой настройки) открытых языковых моделей. Описанная методика выверена методом многочисленных проб и ошибок. Русификация тут приведена больше как пример того, как при помощи сырого набора данных, можно сгенерировать качественные данные под узкую задачу с минимальными затратами.В данном туториале описан процесс создания русского медицинского датасета из англоязычного
На сколько Ollama готова для Production?
Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособнымПроблемы OllamaПункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Hugging Face расширяет свою платформу LeRobot данными для обучения беспилотных машин
В прошлом году Hugging Face, платформа разработки AI, запустила LeRobot, коллекцию открытых моделей AI, наборов данных и инструментов для создания реальных робототехнических систем. Во вторник Hugging Face объединилась с AI-стартапом Yaak, чтобы расширить LeRobot с помощью обучающего набора для роботов и автомобилей, которые могут автономно перемещаться в среде, например, по городским улицам.
Hugging Face Tutorial: Unleashing the Power of AI and Machine Learning
In this article, I'll take you through everything you need to know about Hugging Face—what it is, how to use it, and why it's a game-changer in the ever-evolving landscape of artificial intelligence. Whether you're a seasoned data scientist or an enthusiastic beginner eager to dive into AI, the insights shared here will equip you with the knowledge to Hugging Face's full potential.What is Hugging Face?What is Hugging Face?
