За наждачкой к ИИ: как технологии решают проблемы

Абразивные материалы — обязательный инструмент в хозяйстве домовладельцев: с их помощью шлифуют дерево, зачищают металл и приводят в порядок поверхности перед покраской. В строительстве от качества абразивов зависит буквально все: ровно ли будут обработаны стены и полы, можно ли вообще будет назвать дом красивым и удобным, который не стыдно показать гостям. А на производстве точность обработки абразивами определяет финальное качество деталей. Для предприятий-изготовителей качество абразивной продукции — это вопрос их престижа и постоянных клиентов, которые должны быть уверены, что абразивы под их брендом точно не подведут. Рассказываем про белгородский стартап «Солид» — интеллектуальную платформу визуальной аналитики для контроля качества абразивных изделий. Он создан студентами Белгородского государственного технологического университета им. В. Г. Шухова (БГТУ) и прошел прокачку на межвузовском акселераторе «Хоумнет», реализуемом в рамках ФП «Технологии».

Зачем проверять соединительные швы шлифленты

Вы, наверно, даже не слышали о таких терминах, как «недозачистка» или «перезачистка», по крайней мере, когда речь идет о швах шлифленты. Коли так, то главное, что вы должны знать, что речь идет о швах т. н. бесконечной шлифовальной ленты: она представляет собой гибкий абразивный инструмент в виде замкнутого кольца со склеенными встык концами. Бесконечная шлифлента как бы бесконечно (пока не сотрется, разумеется) вращается по кругу на шлифовальном станке или, скажем, ручной ленточной машине.

Так вот, эти швы могут серьезно повлиять на качество готового изделия: они банально могут его испортить, оставив на самом видном месте некрасивые царапины. И чтобы этого не произошло, команда «Солид» использовала систему машинного зрения, которая помогает прямо на заводском конвейере, по которому движется готовая лента, автоматически оценивать ее качество и моментально находить любые отклонения от идеала. Таким образом, у автоматизации контроля качества производства абразивных лент есть вполне конкретная задача: обнаружить дефект, прежде чем изделие перейдет на следующий этап.

Стартап уже создал MVP, который прямо сейчас проверяют в деле на Белгородском абразивном заводе. Если все сложится удачно, у команды откроется неплохая перспектива: согласно исследованию Sostav.ru, рынок абразивов в России составляет около 1,5 млрд рублей, при этом на бумажные абразивы на ленте или в пачках приходится до 25 % рынка. Как сказано в презентации компании, доля брака на производстве может составить от 5–10%, а порой и 40–50%, в зависимости от отрасли и уровня организации процессов. И до 40% дефектов связаны исключительно с человеческим фактором.

Почему разработку начали непосредственно на заводе

Промышленный ИИ сложно создавать, опираясь только на ТЗ: оно не всегда передает особенности производственного процесса, которые становятся понятны лишь при очном знакомстве с процессом в цеху. Поэтому одним из первых этапов разработки стала рабочая поездка на завод. Команда работала там под руководством старшего преподавателя кафедры программного обеспечения вычислительной техники и автоматизированных систем БГТУ и руководителем проектного офиса предприятия, который на месте помог уточнить задачу. На заводе разрабам из «Солид» показали, как проходит зачистка соединительных швов в течение рабочей смены, они разобрались в ограничениях производства и требованиях к результату и определились, где точно на линии нужно установить их систему компьютерного зрения.

Принцип работы комплекса можно описать несколькими последовательными этапами. Сначала камера получает изображение обработанной поверхности. Затем модели компьютерного зрения анализируют визуальные данные и определяют, есть ли на участке признаки отклонения от нормы. Результат передается в программную часть системы, где уже можно работать с настройками и регистрировать обнаруженные дефекты.

Архитектура рассчитана на автоматизированный анализ изображений в реальном времени. При этом система объединяет несколько моделей компьютерного зрения, каждая из которых отвечает за свою часть задачи, всего используют три основных компонента:

• YOLO определяет объект, который необходимо анализировать на изображении.

• ResNet формирует представление изображения в виде признаков, которые используют для последующего анализа.

• PatchCore выявляет отклонения от нормы для поверхности.

Модули работают в составе единой системы, а не как отдельные инструменты. ПО связывает результаты анализа изображений с интерфейсом оператора, настройками и отчетностью. Рабочий процесс разработки включает несколько направлений:

• Получение изображений и подготовка данных для обучения моделей.

• Разметка кадров, на которых представлены разные состояния поверхности.

• Обучение и тестирование моделей технического зрения.

• Разработка программного интерфейса для взаимодействия с системой.

• Настройка параметров моделей и регистрация обнаруженных дефектов.

• Подготовка решения к интеграции в производственный процесс.

Особенности промышленного применения: необходимо учитывать характеристики оборудования, допустимую скорость проверки, особую роль играет материаловедение. Поэтому система должна допускать настройку под конкретные условия и в перспективе поддерживать дополнительные типы продукции. 

Что модель уже умеет распознавать

На момент подготовки диагностического отчета, который и лег в основу этой статьи, команда «Солид» обучила модели технического зрения и провела апробацию прототипа, добившись решения ключевой задачи — различать три состояния поверхности после зачистки соединительного шва. Вот эти три состояния:

• Недозачистка. Обработка выполнена недостаточно, поэтому на проверяемом участке присутствуют признаки, соответствующие этому состоянию.

• Норма. Поверхность соответствует ожидаемому результату обработки.

• Перезачистка. Обработка оказалась чрезмерной и вышла за допустимые пределы.

При этом модель не ограничивается присвоением изображению одного из трех классов. В демонстрационных примерах система также выделяет аномальные области, показывая, где именно обнаружено отклонение. Для производственного контроля это важная функция. Оператору недостаточно получить сигнал о возможной проблеме — ему нужно понимать, какой участок следует проверить. Визуальное выделение аномалии помогает быстрее разобраться в ситуации и локализовать предполагаемый дефект.

В диагностическом отчете «Солид» приведены показатели точности распознавания для двух вариантов основания (подложки) шлифовальной ленты, светлого и темного.

Авторы отчета указывают, что эти значения относятся только к текущему прототипу и образцам, которые он исследовал, их нельзя автоматически переносить на все типы абразивных лент и любые производственные условия. Для дальнейшего повышения точности команда планирует собрать больше изображений, представляющих разные ленты и состояния их поверхности. Разница между результатами на светлом и тёмном основании пока составляет два процентных пункта.

Что дальше

Однако по двум показателям пока нельзя сделать окончательный вывод об устойчивости модели: для этого потребуется проверить ее на более разнообразной выборке и в условиях, приближенных к реальной эксплуатации. Тем не менее первые результаты показывают, что задачу можно решать с помощью компьютерного зрения. Следующий этап — расширить набор данных, проверить качество распознавания на новых изображениях и улучшить работу модели с учетом производственных условий. Помимо алгоритмов анализа изображений, команда работает над интерфейсом, через который сотрудники предприятия смогут взаимодействовать с системой компьютерного зрения.

Белгородский стартап разрабатывает несколько элементов будущего программного продукта:

• Основное окно системы — рабочий интерфейс для взаимодействия с программно-аппаратным комплексом.

• Настройки модели — инструменты для управления параметрами, от которых зависит анализ изображений.

• Журнал дефектов — раздел для регистрации обнаруженных отклонений.

• Панель прав доступа — механизм разграничения доступа пользователей к функциям системы.

Такой набор компонентов необходим, чтобы превратить алгоритм распознавания в инструмент, которым можно пользоваться в повседневной работе предприятия. Помимо самого анализа изображений, промышленной системе нужны средства настройки, фиксации результатов и управления доступом. При этом представленный интерфейс пока следует рассматривать как демонстрационную версию. В диагностическом отчете разработка полноценного программного обеспечения платформы, механизмов интеграции и взаимодействия подсистем обозначена как один из следующих этапов проекта. 

Еще одна задача «Солид» — повысить точность распознавания. Для этого, как указывается в диагностическом отчете, необходимо получить больше изображений и видеоматериалов с разными шлифовальными лентами. Архитектура проекта предусматривает возможность добавлять новые изделия и дообучать систему на существующих. Это создает основу для расширения разработки. Если предприятие решит применять его для контроля дополнительных типов продукции, разработчикам не обязательно начинать работу с нуля: можно адаптировать существующую архитектуру и модели.

Однако сама по себе возможность дообучения не гарантирует необходимой точности. Результат нужно подтверждать на новых данных и в ходе комплексного тестирования. Важно убедиться, что после расширения области применения система сохраняет требуемое качество распознавания в конкретных производственных условиях.

Еще команде предстоит создать механизмы интеграции и настройки взаимодействия подсистем. Этот этап должен помочь объединить отдельные компоненты в единый программно-аппаратный комплекс. После этого предусмотрены тестирование, подготовка эксплуатационной документации и обучение персонала.