«Привет! Я [0.44, -0.91, 0.66…]» или как научить машину понимать смысл слов
Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.
«Привет! Я [0.44, -0.91, 0.66…]» или как научить машину чувствовать смысл слов
Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.
Создаем простую систему RAG на Python
Представьте, что вы предоставляете своему ИИ конкретные релевантные документы (или фрагменты), которые он может быстро просмотреть, чтобы найти необходимую информацию, прежде чем ответить на ваши вопросы. То есть, вместо поиска по всей базе данных (которая может не поместиться в контекстное окно модели LLM, или даже если поместится, это потребует много токенов для ответов), мы предоставляем LLM только релевантные документы (фрагменты), которые ему необходимо найти, чтобы ответить на вопрос пользователя.
- Оставлено в
RAG — это главное. Почему специализированные LLM реже галлюцинируют
Когда закрылся Skype
Как мы построили систему матчинга товаров с помощью трансформеров и LLM
Привет! Мы — команда ML-разработчиков «Магнит Фудтех», входящей в состав бизнес-группы Магнит OMNI. Меня зовут Виктория Костерина, я тимлид команды. В этой статье мы вместе с моим коллегой, ML-инженером Богданом Тонанайским, рассказываем, как создавали систему автоматического сопоставления товаров между ассортиментом конкурентов и товарами «Магнита».
- Оставлено в
Облачные технологии в контексте агентских AI-систем
В настоящее время процветает разработка агентов — приложений на базе Generative AI, реализующих автономные рабочие процессы. Извлечение и анализ данных, управление детерминированными программами и так далее. Массу вещей можно автоматизировать с помощью LLM и вызова функций, отсюда и спрос на такие системы.Как и традиционное ПО, агенты обычно реализуют принцип разделения логики на специализированные узлы обработки конкретных задач
Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи
Автор статьи: Сергей СлепухинВ первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области.Во этой части
Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 3. Retrieval-Augmented Generation (RAG) на службе GenAI
В предыдущих статьях серии (Часть 1, Часть 2) мы обсудили концепцию корпоративной GenAI-платформы и подходы к ее разработке. Теперь перейдем к одному из ключевых компонентов такой платформы — интеграции знаний с помощью Retrieval-Augmented Generation (RAG). Что такое RAG и зачем он нуженRetrieval-Augmented Generation (RAG)
Путешествие одного промпта: Что на самом деле происходит под капотом у LLM?
Мы все там были. Пустой курсор мигает на экране, в голове крутится сложный вопрос, и вы обращаетесь к своему цифровому оракулу — большой языковой модели. Представьте, вы пишете в чат что-то вроде: "Объясни механизм внимания в трансформерах так, как будто мне 10 лет". Вы нажимаете Enter, и… магия. Через пару секунд на экране разворачивается идеально структурированный, понятный и даже остроумный ответ. Кажется, будто на той стороне сидит невидимый гений, который мгновенно понял ваш запрос и нашел лучшие слова для объяснения.
Автоматизация поддержки клиентов на основе контекстной близости вопросов
Привет, Хабр!Меня зовут Анатолий, занимаюсь диалоговыми системами и применением Искусственного Интеллекта в бизнесе.Кейсовая задача - предоставить клиентам возможность составлять вопрос на естественном языке, а не искать вопрос в списке FAQ-раздела сайта. При этом система должна выдавать ответ из существующей базы знаний "Вопрос-Ответ" существующего FAQ-раздела.Задача реализована с помощью определения контекстной близости вопросов.Техническая реализация:Все вопросы из базы знаний переводятся в векторные представления (embeddings) с помощью искусственной нейронной сети.
