обработка естественного языка.

Погружение в большие языковые модели (часть 1)

Сбор данныхДопустим, мы хотим обучить какую-нибудь модельку. Как в целом будет выглядеть процесс обучения?

продолжить чтение

Основы глубокого обучения. Часть 4

Всем привет! Эта статья является четвёртой в серии статей про основы глубокого обучения. В прошлых трёх частях я рассказал много интересного и полезного новичкам, так что рекомендую перечитать.В этой части мы продолжим работу с нейронной сетью обработки естественного языка (NLP) и реализуем новую сеть, которая будет определять пропущенное слово по остатку фразы.Какие мы имеем результаты с прошлой части?

продолжить чтение

Как оценить надежность диагнозов LLM, если доступен только API

Привет! Меня зовут Глеб Кузьмин, я научный сотрудник лаборатории FusionBrain и занимаюсь методами оценки неопределенности для моделей машинного обучения. В этом тексте я хотел бы рассказать про нашу работу "Uncertainty Guardrails for LLM-Based Medical Diagnostic Systems", которая была представлена на Industry track EMNLP 2026, а на воркшопе UncertaiNLP 2026 получила Spotlight. В статье мы исследовали задачу оценки неопределенности ответов модели медицинской диагностики.

продолжить чтение

Основы глубокого обучения. Часть 3

Всем привет! Эта статья является третьей в серии статей про основы глубокого обучения. В прошлых двух частях я рассказал много интересного и полезного новичкам, так что рекомендую перечитать. В этой части мы разберём подробнее задачи связанные с обработкой естественного языка (NLP) и реализуем двухслойную нейронную сеть классификации текста.Разберём, что подразумевает под собой область ИИ под названием обработка естественного языкаКакие задачи решает NLP?Эта область посвящена автоматизированному изучению человеческого языка (не обязательно с использованием именно глубокого обучения).

продолжить чтение

Что умеет и где ломается Jev: большое тестирование

В работе с моделями важно не только знать их точность, скорость и цену, но и понимать, где им можно доверять, а где нужна дополнительная проверка. Многие ограничения обнаруживаются уже в процессе интеграции — и о них хотелось бы знать заранее.

продолжить чтение

От совпадения слов к пониманию смысла запроса: как эволюционировали поисковики и AI‑чаты

Кто помнит поисковики начала двухтысячных, наверняка помнит, что результаты выдачи иногда имели мало общего с самим запросом. Системы слабо учитывали порядок слов, синонимы, предлоги и отрицания, поэтому пользователям приходилось упрощать формулировки, добавлять уточнения и пробовать запрос в нескольких вариантах.Чат‑боты того времени тоже были совсем не похожи на современные AI‑чаты. Они находили во фразе знакомое ключевое слово и выбирали одну из заранее подготовленных реплик, а любое отклонение от предусмотренного сценария быстро заводило диалог в тупик.

продолжить чтение

Эволюция ‘More Like This’

Во многих поисковых сценариях пользователь начинает не с пустой строки запроса, а с существующего результата.

продолжить чтение

Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 3]

Доброго времени суток!В прошлой статье, мы рассмотрели 2 достаточно универсальные метрики характерные для почти любой агентской системы, в этой сместим фокус внимания и поговорим об оценке самого популярного архитектурного шаблона RAG.Есть довольно значительная вероятность, что уважаемый читатель, открывший статью про инженерию качества, уже знает, что такое RAG. Но на всякий случай дам краткое описание с ключевыми смыслами:Что такое RAG и зачем он нужен

продолжить чтение

AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику

Как компьютер превращает текст в числа и почему TF–IDF десятилетиями оставался основой поисковых систем. Разбираем Bag of Words, TF–IDF и поиск похожих документов на чистом PHP.Это шестая часть проекта.Часть 5: От массивов к GPU: как PHP-экосистема приходит к настоящему MLЧасть 4: Практическое использование TransformersPHPЧасть 3: Практика без Python и data scienceЧасть 2: Собираем простейшую RAG-систему на PHP с Neuron AI за вечерЧасть 1:

продолжить чтение

От каши к структуре: гибридная AI‑система для обработки свободного текста

Я занимаюсь проектом, где нужно из свободных текстов на естественном языке вытаскивать структурированные данные. Не разово — постоянно, по мере поступления. За несколько месяцев я перепробовал регулярки, чистый LLM и в итоге пришёл к гибриду. Ниже расскажу, что из этого всего вышло: архитектура, промпты, трудности и неочевидные решения.Стек: Python 3.12, Ollama + Qwen 2.5 (всё локально), YAML как формат хранения, SHA256 для дедупликации, Jinja2 для шаблонизации промптов.Проект называется Svyazi

продолжить чтение