ner.
Продолжаю разработку расширения для Chrome по обезличиванию персональных данных с Docx Anonymizer
Начало тут. Привет всем и трем моим подписчикам! Кто вы, герои? )Вообще, я писал уже, что изначально я планировал сделать расширение только для договоров. Почему? Да потому что там проще всего распознавать персональные данные, так как они располагаются по понятной логике, которую довольно легко определить простой эвристикой.
NER для юристов, у которых нет A100: как мы догнали Ministral 14B моделью почти в 10 раз меньше
Юристы не могут отправлять материалы дел во внешние API, а держать A100 ради одного лишь разбора документов дорого. Мы обучили Qwen2.5-1.5B извлекать сущности из судебных документов на уровне Ministral 3 14B: макро-F1 0.70 против 0.71 на 145 реальных документах. На A5000 она работает в 2.2 раза быстрее, чем Ministral на A100. Рассказываем, почему балансировка классов синтетикой не сработала и что сработало вместо неё.Всем привет! Меня зовут Даниил Шеремет, я AI-инженер в Agentic Lab. В компании делаем Агату — ИИ-ассистента и рабочую среду для юристов.
Как не нарушить 152-ФЗ при проверке договора с помощью ИИ или обезличивание персональных данных c Docx Anonymizer
Вопрос в последнее время становится крайне актуальным, так как чаты с искусственным интеллектом стали обыденностью не только в обычной жизни, но и в работе.
Корпуса персональных данных: 56 тысяч размеченных сущностей и ни одного вызова инструмента
В первой статье мы проверяли, что происходит с агентом после маскирования данных. Здесь другой вопрос: на каких наборах вообще проверять такой шлюз? Эту статью можно читать отдельно.Допустим, шлюз нашёл телефон в сообщении и заменил его. Проверка детектора прошла. Затем модель вызвала find_customer(phone=...). Какой номер получила CRM? Нашла ли нужного человека?В корпусе для распознавания сущностей обычно нет ни CRM, ни вызова, ни результата поиска. Там есть текст и разметка телефона. Для проверки детектора этого достаточно. Для проверки всей цепочки нужны дополнительные данные.
Маскирование ПДн для LLM: метрика, которую не считает никто, и шесть шлюзов против живого агента
Это первая статья серии: измеряем, что происходит с LLM-агентом, когда шлюз замаскировал данные. Дальше разберём находки по чужим системам и то, что нашлось у нас.1. Зачем это меритьАгент поддержки получает: «Здравствуйте, я Кузнецова Дарья, телефон 8 935 747 66 22, проверьте заказ». До модели доходит «я <PERSON_1>, телефон <PHONE_NUMBER_2>», и она вызывает check_order(phone=…).Тут половина решений на рынке и ломается: инструменту нужен настоящий телефон, по <PHONE_NUMBER_2> заказ не найдётся. Шлюз обязан вернуть реальное значение в аргумент вызова ровно в той форме, в какой написала модель.
DLP для LLM: как обезличивать запросы и не ломать поиск по сотрудникам
Меня зовут Андрей Непряхин, я технический директор AGIMA. В AGIMA мы строим внутренний контур, через который сотрудники работают с LLM и агентами. Одна из самых неприятных задач в таком контуре — не просто спрятать имя или телефон перед отправкой запроса во внешнюю модель, а сохранить смысл запроса. Представьте: сотрудник пишет «найди последние задачи Петрова по проекту X и сравни их с обсуждением на встречах». Если заменить Петрова на NAME_1, а в соседнем сообщении — на случайный NAME_7
AudioToText: управление требованиями через записи встреч
Ссылка на GitHub с кодом проекта в конце статьиТранскрибация встреч и краткое summary сегодня уже не редкость: это умеют и корпоративные сервисы, и связка «транскрипт + LLM». Не хватает другого — материала, по которому можно сопоставлять позиции разных людей по одним и тем же сущностям и не терять историю принятых решений. Из этой задачи и вырос AudioToText: pet‑проект, который пытается превратить записи встреч в основу для управления требованиями на проекте, а не просто в ещё один текстовый артефакт.
Почему Word Error Rate (WER) недостаточно: Семантическая декомпозиция ошибок ASR
ОглавлениеВступлениеБизнес-ценность и определение проблемыКак измеряется качество распознавания речи?Недостатки индустриального стандартаКак мы измеряем точность моделей у себяЗадача 1: Получить корректный датасет и сделать результаты сопоставимымиЗадача 2: Понять, где именно ошибка и к какой категории она относитсяЗадача 3: Объединить ошибки и семантику
Как решать задачу NER на практике
Всем привет! Меня зовут Максим. Я NLP‑инженер в red_mad_robot и автор Telegram‑канала Максим Максимов // IT, AI. Сегодня я расскажу о том, как решать задачу NER на практике. Теории будет по минимуму — вместо неё разберёмся, как решать задачу руками: подходы, ресурсы, код на Python. Сегодня в меню:Что такое NERПонимание целей и задачРабота с даннымиМоделированиеСоздание сервиса на основе модели Давайте начинать!Что такое NER
Как маскировать персональные данные на изображениях: наш эксперимент с OCR и NER
Всем привет! Меня зовут Андрей Иванов, я NLP-исследователь в R&D red_mad_robot. Мы разрабатываем систему Guardrails для защиты персональных данных (PII) и фильтрации небезопасного контента.
