обработка естественного языка. - страница 3

ИИ — просто мешок слов. Как перестать видеть интеллект там, где его нет

Или: Claude, пойдёшь со мной на выпускной?Слушайте, я не знаю, уничтожит ли нас когда-нибудь искусственный интеллект, сделает ли он нас всех богатыми или что-то ещё, но одно я знаю точно: мы всё ещё используем неправильную метафору.Мы пытаемся понимать эти модели как людей. Когда вы задаете вопрос ChatGPT, а он отвечает полноценными предложениями, кажется, будто внутри сидит крошечный человечек и печатает ответы. Возникает яркое ощущение «он живой!!», и мы включаем весь арсенал ментальных механизмов, который эволюционировал для взаимодействия с другими людьми:

продолжить чтение

Nvidia выпустила большой открытый набор данных Granary для обучения ИИ и работы с текстами на европейских языках

Nvidia представила

продолжить чтение

Стирая языковые границы для NLP-датасетов

Всем привет. В этом посте расскажем, как мы тестировали БЯМ для переноса англоязычных датасетов на русский. «Мы» — это ваш покорный слуга и ребята из ФИЦ ИУ РАН. Пост по факту перевод нашей научной статьи, которая была опубликована еще в апреле, но вот руки до поста дошли только сейчас.

продолжить чтение

Автоматизация поддержки клиентов на основе контекстной близости вопросов

Привет, Хабр!Меня зовут Анатолий, занимаюсь диалоговыми системами и применением Искусственного Интеллекта в бизнесе.Кейсовая задача - предоставить клиентам возможность составлять вопрос на естественном языке, а не искать вопрос в списке FAQ-раздела сайта. При этом система должна выдавать ответ из существующей базы знаний "Вопрос-Ответ" существующего FAQ-раздела.Задача реализована с помощью определения контекстной близости вопросов.Техническая реализация:Все вопросы из базы знаний переводятся в векторные представления (embeddings) с помощью искусственной нейронной сети.

продолжить чтение

15 примеров применения Natural Language Processing

Машинное обучение — это технология искусственного интеллекта, используемая для распознавания закономерностей, обучения на основе данных и принятия решений автоматически — без вмешательства человека. С другой стороны, обработка естественного языка (Natural Language Processing, NLP) — это форма ИИ, позволяющая машинам интерпретировать и понимать человеческий язык.

продолжить чтение

От хаоса к порядку: как ML помогает искать и защищать конфиденциальную информацию

продолжить чтение

Семантический поиск по статьям Хабра в PostgreSQL + индексация текстов LLM в Ollama

Покажу вам практическую реализацию семантического поиска на основе векторных представлений - эмбеддингов из текста. Здесь я создам систему, которая анализирует статьи с Хабра, извлекает из них темы и ключевые слова с помощью локально работающих больших языковых моделей LLM, и на основе этих данных создает векторные представления для эффективного поиска по смыслу, а не по запросу на вхождение определенного текста.

продолжить чтение

Рекомендательная система для вашего каталога научных работ (и не только!)

Используем обработку естественного языка и теорию графов для сравнения и рекомендации различных типов документов. ВведениеПочти все проекты начинаются с одного важного этапа — активных исследований. Инвестировать в то, что уже было сделано другими, в развитие их работы — это один из путей к повышению ценности вашего проекта. Важно не только извлечь уроки из опыта других, но и понять, чего не стоит делать в своем проекте, чтобы повысить его шансы на успех.

продолжить чтение

«Авито» планирует инвестировать в GenAI 12 млрд рублей и запустить новые образовательные программы для подготовки кадров

продолжить чтение

Умный поиск по API, или NLP против функционального поиска

Всем привет! Это Игорь Густомясов, CTO кластера техноплатформы в МТС, и Никита Бояндин, ведущий разработчик в том же кластере. (Да, мы создали текст вместе.) Рассказываем о поиске данных API для Интеграционной платформы МТС. Наш коллега Александр Бардаш круто расписал,

продолжить чтение