nlp.
Data, ML, CV и NLP: как освоить актуальные для рынка специальности вместе с фундаментальной базой
Привет, это команда Яндекс Практикума. Сегодня поговорим про то, как погружаться в профессии DE, ML, CV, NLP так, чтобы с одной стороны, получить основательный теоретический фундамент, а с другой — освоить навыки, которых ждут работодатели. Очевидный спойлер: нужно прокачивать теоретическую базу и параллельно много практиковаться — про практику отдельно расскажем на примере учебного проекта в онлайн-магистратуре НИЯУ МИФИ в партнёрстве с Яндекс Практикумом
Маленький LLM-чат на Python с Ollama и LiteLLM. Часть 2: делаем консольный чат
В первой части мы сделали самый важный стартовый шаг: подняли локальную модель через Ollama, подключили её к Python через LiteLLM и получили первый осмысленный ответ из кода.Но пока это ещё не чат. Наш main.py умел только одно: отправить один заранее заданный вопрос, вывести ответ и завершиться.Для учебного эксперимента этого достаточно. Для приложения — уже нет.Во второй части превратим этот одноразовый скрипт в маленький консольный чат
Маленький LLM-чат на Python с Ollama и LiteLLM. Часть 1: ставим окружение и пишем первый запрос
Во многих туториалах по LLM всё начинается с API-ключей, платных токенов и облачных сервисов. Это рабочий путь, но для первого знакомства он не самый удобный: нужно регистрироваться, разбираться с биллингом и постоянно помнить, что каждый эксперимент что-то стоит.Здесь пойдём проще. В этой серии мы соберём маленький LLM-чат на Python, который сначала будет работать локально: модель запускается через Ollama, а Python-код общается с ней через LiteLLM.Это хороший стартовый маршрут по трём причинам:не нужны API-ключи;не нужен интернет для каждого запроса;
Как маскировать персональные данные на изображениях: наш эксперимент с OCR и NER
Всем привет! Меня зовут Андрей Иванов, я NLP-исследователь в R&D red_mad_robot. Мы разрабатываем систему Guardrails для защиты персональных данных (PII) и фильтрации небезопасного контента.
Тихая эволюция zero-shot энкодеров. От UniNER до GLiNER 2
Эта статья является адаптацией моей статьи, опубликованной в Towards AIIntroБольшие языковые модели показывают впечатляющую обобщающую способность, причём не только в задачах генерации текста вроде QA-ассистентов, но и в классификации, распознавании именованных сущностей (Named Entity Recognition) и других NLP-задачах.С одной стороны, мы на старте эпохи AI агентов, где приложения с тулами управляются
Как мы с ИИ сделали локальный ИИ, который учится по моим книгам и пишет за меня отчёты
Предыстория: зачем вообще это нужноКаждый семестр одна и та же история: кипа учебников, дедлайны, отчёты, которые нужно было сдать «вчера», и презентации, от одного вида которых хочется закрыть ноутбук. ChatGPT и Claude помогают, но:Они не читали мои учебники — отвечают «в целом», а не по конкретному материалу курсаКонфиденциальность — не все учебные материалы хочется загружать в облакоЗависимость от интернета — в поезде, в общаге с плохим Wi-Fi это критичноСтоимость — подписки на API складываются
RAG vs Fine-tuning: когда что выбирать — опыт 30+ проектов
RAG vs Fine-tuningПредставьте: клиент хочет «умного бота для базы знаний». Первый вопрос, который я задаю: «Данные часто меняются?»От ответа зависит архитектура. И бюджет. И сроки. И головная боль на следующие полгода.
ТЕХНИКА ПРИНЯТИЯ РЕШЕНИЙ «КВАДРАТ ДЕКАРТА» НА ПРИМЕРЕ СЦЕНЫ ИЗ «МАТРИЦЫ»
На примере всем известной сцены выбора таблеток из фильма «Матрица» объясню простую, но важную коучинговую технику, которая помогает принимать решения — Квадрат Декарта.Она помогает упорядочить мысли в ситуации трудного выбора из двух ситуаций. Помогает понять, хотим ли мы на самом деле что-либо делать или нет.
Машинный перевод. Как развивалась технология
Машинный перевод - это одно из самых удивительных достижений ИИ. Под этим термином понимают автоматический перевод текста с одного языка на другой с помощью компьютерных алгоритмов. Несколько десятилетий назад сама идея о том, что компьютер или программа может переводить тексты с одного языка на другой, казалась настоящей фантастикой. Меня зовут Алексей Рудак, я основатель компании Lingvanex
