nlp. - страница 6

nlp.

Курс Natural Language Processing & LLMs — новый сезон

Всем привет! 10 февраля мы в очередной раз запускаем бесплатный онлайн-курс по обработке естественного языка (Natural Language Processing). Если кто-то не знал или забыл, это проект Open Data Science и компании MWS AI в партнерстве с ИТМО, МФТИ и ВШЭ, мы его проводим уже 10 сезонов. 

продолжить чтение

RAG-системы: что это такое, принципы работы, архитектура и ограничения

Привет, Habr!Эта статья — первый шаг в серии материалов о технологии RAG. Здесь мы разберёмся, что это вообще такое, зачем она появилась и почему её так часто требуют в вакансиях. К концу статьи у вас должно сложиться целостное понимание, когда RAG действительно нужен, какие архитектуры бывают и где чаще всего возникают ошибки.В статье мы разберём:почему вообще появился RAG;что такое RAG в общем смысле;основные способы расширения контекста модели;кому RAG действительно нужен (и кому нет);как устроен RAG и как работает в принципе;где и почему RAG чаще всего ломается;

продолжить чтение

Как создать чат-бота с LLM?

Это уже четвертая часть статей по разработке AGI, и в предыдущих частях мы обсуждали теоретические и философские аспекты тех или иных вопросов, с ними всегда можно ознакомиться здесь. Сегодня же речь пойдёт о практике.Что получилось в иогеА зачем?

продолжить чтение

Трёхстрочный Deep Learning: 20 примеров нейросетевой магии

В 2012 году команда из Торонто потрясла мир компьютерного зрения: их нейросеть AlexNet распознавала объекты на фотографиях лучше любого алгоритма, написанного вручную. Код занимал тысячи строк, требовал двух видеокарт и недель обучения. Сегодня вы можете превзойти AlexNet одной строкой кода, а модель загрузится за секунды.

продолжить чтение

Как правильно ставить учебные цели. Разница между мечтой и целью

Кажется, что цели ставить легко: мы вроде бы чётко понимаем, чего хотим. «Хочу быть богатым». «Хочу начать ходить в зал и быть спортивным» и тд.Но то, что большинство целей и всех наших «с понедельника начну» проваливаются — тоже правда. А значит, легко не то, чтобы ставить цели — легко мечтать.А вот ставить цели, да так, чтобы действительно к ним прийти, и не увязнуть в прокрастинации, не так уж и легко.Тем, как правильно это делать, мы сегодня и займёмся.

продолжить чтение

«Привет! Я [0.44, -0.91, 0.66…]» или как научить машину понимать смысл слов

Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.

продолжить чтение

«Привет! Я [0.44, -0.91, 0.66…]» или как научить машину чувствовать смысл слов

Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.

продолжить чтение

Как я заменил BI-дашборд на AI-чат: архитектура RAG-системы для 600K записей

После 10 лет внедрения BI-систем (Qlik Sense, Power BI, Data Lens) я понял одну вещь: дашборд — это не решение. Это данные для решения. А между данными и решением — пропасть, которую преодолевает человек.В этой статье покажу, как построил RAG-систему с чат-интерфейсом для базы из 600 000 записей техники из Федресурса. Без философии — только архитектура, код и грабли.Проблема: почему дашборды не работаютТипичный сценарий. Аналитик открывает дашборд с данными о технике в лизинге. Нужно найти топ-10 компаний с бензовозами в Московской области.Что происходит:Ищет нужный дашборд (их 15 штук)

продолжить чтение

Как я отучил нейросеть писать «Я коммуникабельный» и заставил её проходить HR-фильтры

Сейчас каждый второй джун пытается генерировать сопроводительные письма через ChatGPT.И каждый первый рекрутер научился их детектить за секунду.Стандартный ответ LLM выглядит так:«Уважаемый менеджер по найму! Я с большим энтузиазмом пишу вам, чтобы выразить свой интерес к позиции... Я обладаю уникальным сплавом навыков...»Это мусор. Это «AI-slop», как пишут в комментариях. Такие письма летят в корзину, потому что они пустые.Когда я писал своего агента для поиска работы , передо мной стояла инженерная задача:

продолжить чтение

Антипаттерн LLM-приложений: когда модель игнорирует контекст. Часть 2

Всем привет! В первой части мы разобрали теорию

продолжить чтение

1...456789...19