Как математическая модель победила нейросеть: ректификация документов, сложенных втрое

Сегодня практически любую задачу компьютерного зрения пытаются решить нейронной сетью. Геометрическая ректификация документов — не исключение: современные модели умеют распрямлять даже скомканные листы бумаги.

Реальность устроена иначе: никто не комкает деловые документы перед распознаванием, гораздо чаще их просто складывают пополам или втрое для удобства хранения или транспортировки. Поэтому большие нейросетевые модели на самом деле представляют скорее лишь научный интерес, а для практических целей куда полезнее придумать простой, но эффективный и быстрый алгоритм. 

В Smart Engines мы пошли другим путем: вместо универсальной нейросети построили математическую модель документа, сложенного втрое. В результате получили алгоритм, который не только превосходит современный геометрический трансформер DocTr по качеству, но и работает до 60 раз быстрее.

В этой статье мы расскажем, как работает наш подход, зачем нам понадобилась школьная проективная геометрия и каким образом она обеспечивает нам неразрывность ректифицированного изображения.

Что такое геометрическая ректификация документов?

Прежде чем распознавать текст на фото документа, необходимо подготовить изображение к распознаванию, поскольку алгоритмы OCR ожидают на вход отсканированное изображение. Даже если документ на изображении плоский, он всё равно может быть проективно искажен, что создаёт необходимость в таком препроцессинге, не говоря уже о том, что документ может быть, например, сложен. Такой препроцессинг, который извлекает из изображения сам документ и выравнивает его, называется геометрической ректификацией. 

Большинство современных алгоритмов ректификации в научной литературе являются нейросетевыми и направлены на наиболее общую задачу ректификации, то есть авторы стремятся справиться с самыми сложными видами искаженных документов: гнутыми или скомканными листами бумаги. Из-за такого обобщенного подхода получающиеся нейросетевые алгоритмы получаются громоздкими и, следовательно, пригодными только для десктопных систем распознавания. 

В Smart Engines мы ставим приватность данных во главу угла, поэтому разрабатываем системы распознавания, которые работают на мобильных устройствах, не передавая данные по сети. Поэтому, что касается времени выполнения алгоритмов, используемых в  наших системах распознавания, то на счету каждая миллисекунда, а значит, применение тяжеловесных и долгих ректифицирующих нейросетей для нас нерелевантно. 

По этой причине мы предпочли разработать свой алгоритм, который не будет решать задачу в самом общем виде, а обратится к конкретному, но частому виду искажений документов. Раньше мы уже решали задачу локализации и ректификации сложенных пополам документов, поэтому взялись за документы, сложенные втрое. Этот вид геометрических искажений нами рассмотрен из-за того, что он встречается повсеместно при пересылке деловых документов по почте, ведь все стандартные размеры конвертов в России, Европе и США рассчитаны именно на них.

Контурно-линейный подход к детекции документов

Прежде чем рассматривать ректификацию документов, сложенных втрое, вспомним сначала метод локализации плоских объектов, который уже давно используется в наших решениях (кстати, прототип этого метода мы описывали даже на Хабре больше 10 лет назад). Кстати, совсем недавно нами был получен патент США на этот метод.

Метод состоит из четырёх простых шагов: выделение границ, вычисление Хаф-образа от карты границ и нахождение на нём максимумов, полный перебор всевозможных четырёхугольников с вычислением их контурной оценки и выбор самого контрастного. Наша реализация данного алгоритма на основе контурно-линейного подхода позволяет добиться высокого качества на датасете SmartDoc и MIDV-500, сохраняя высокую скорость работы.

Локализация документов сложенных втрое в кадре

Применим теперь рассмотренный подход к локализации плоских объектов к локализации документов, сложенных втрое. Для этого применим этот алгоритм к верхней и нижней половине изображения для грубой локализации “верха” и “низа” документа. На рисунке эти грубые четырёхугольники показаны фиолетовым и жёлтым.

Теперь,  когда мы грубо нашли верхнюю и нижнюю часть документа, найдём между ними две самые яркие разнесённые в пространстве прямые. Для построения внешнего контура документа остаётся только пересечь эти линии сгиба с граничными пикселями, соответствующими грубым боковым прямым, детектированным на более раннем этапе. Таким образом получился восьмиугольник, соответствующий границам документа.

Однако, если теперь каждую из третей просто проективно ректифицировать на желаемые трети документа, то в области конкатенации прямоугольников может появиться разрыв содержимого. Этот эффект был нами обнаружен еще при разработке алгоритма локализации и ректификации документов, сложенных пополам.

Понятно, что если отправить в систему распознавания такое изображение, то  строчка, выделенная на рисунке оранжевым, не распознается.

Чтобы избежать разрыва содержимого, обратимся к школьной проективной геометрии. Как для сложенных пополам, так и для сложенных втрое документов (и вообще в случае произвольного числа сгибов, параллельных короткой стороне документа) имеет место утверждение, гарантирующее отсутствие разрывов при таком кусочно-проективном преобразовании: 

Кусочно-проективное преобразование, задаваемое ранее описанным образом, непрерывно тогда и только тогда, когда горизонтальные прямые детектированного документа пересекаются в одной точке. 

Для того, чтобы наш восьмиугольник удовлетворял этому критерию, скорректируем его положение минимальным допустимым образом. Для этого используем алгоритм, который помогает нам находить точки схода для локализации российского паспорта.

Теперь, когда восьмиугольник найден и гарантирована непрерывность кусочно-проективного преобразования, остаётся только ректифицировать каждую четырехугольную треть на соответствующую прямоугольную треть на исправленном изображении.

Результат

Мы протестировали наш алгоритм на датасете сложенных втрое документов FDI/3fold, и сравнили его с передовым геометрическим трансформером DocTr. Наш алгоритм превосходит DocTr по ключевым метрикам ректификации.

Кроме этого, мы протестировали скорость обоих методов на Arm-устройстве Jetson Orin Nano. Измерения показали, что предлагаемый алгоритм локализации в 60 раз быстрее, чем нейросеть, которую использует DocTr, а ректификация в 3 раза быстрее самой модели DocTr. Кроме этого, алгоритм протестирован на реальном мобильном телефоне: время запуска на относительно старом iPhone XR составляет всего 17 миллисекунд.

Заключение

В последние годы почти любую задачу в компьютерном зрении решают нейросетями. Однако грамотное исследование пользовательских сценариев может позволить разработать математические модели, которые проще, быстрее и эффективнее  нейросетей. Ровно такой подход мы применили при решении задачи ректификации документов сложенных втрое. 

Наш метод превосходит геометрический трансформер DocTr как по скорости, так и по качеству. Его реализация позволяет системе распознавания деловых документов Smart Document Engine успешно справляться с документами, сложенными втрое.