Обзор «Атом.Мост»

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре продукт «Атом.Мост».

С 2024 года я встречаюсь с вендорами и делаю обзоры продуктов, которые относятся к классу ESB (корпоративная шина данных). За это время удалось пообщаться с разработчиками 15 разных решений. Для всех, кто интересуется шинами данных, я также создал сообщество в Телеграме «Шины не для машины». Это площадка для диалога между российскими разработчиками ESB и компаниями, которым нужна интеграционная шина. 

Ссылка на продукт: https://greenatom.ru/services/corporate_it-systems/atom-most/ 

О компании: «Гринатом» – ИТ-инте��ратор Госкорпорации «Росатом». Компания ведет собственную разработку ПО, осуществляет поддержку и развитие корпоративных ИТ-систем, разрабатывает программных роботов, занимается проектным управлением, импортозамещением, применяет искусственный интеллект и машинное обучение. 

В 2010 год ознаменовался началом внедрения интеграционной шины в корпоративной архитектуре. Компания, в рамках стратегии импортозамещения, инициировала анализ рынка для поиска аналогов SAP PI/PO. Так было установлено, что существующие решения не соответствуют требованиям компании, и появилась задача по разработке собственного продукта. 

2020 год начался с запуска проекта по созданию «Атом.Мост». Через два года началась миграция с устаревшей интеграционной шины на новую систему, построенную на базе «Атом.Мост». Этот этап стал важным в развитии корпоративной архитектуры. Еще через год была успешно развёрнута импортонезависимая интеграционная шина в общем ландшафте архитектуры госкорпорации, и продукт «Атом.Мост» вышел на рынок. 

За период с 2010 по 2023 год корпорация прошла путь от внедрения первой интеграционной шины до создания и вывода на рынок собственного импортонезависимого продукта, отвечающего требованиям современной информационной инфраструктуры.

Технологический стек

В основе «Атом.Мост» находится широко известный ETL-инструмент с открытым исходным кодом — Apache NiFi.

Функциональные возможности 

Несмотря на то что Apache NiFi разрабатывался как ETL-инструмент, с функциями шины он вполне справляется.

В терминологии NiFi обрабатываемое сообщение называется flowfile. Кроме самого содержимого сообщения, у него есть набор атрибутов, в которых содержится сопутствующая информация. Практически вся настройка интеграционного решения сводится настройке последовательности процессоров. Интерфейс выглядит как полотно, на котором последовательно соединяются процессоры обработки. Роутинг сообщений (маршрутизация по условию) делается также при помощи процессоров роутинга и может выполняться как по содержимому самого сообщения, так и по его атрибутам.

Преобразования сообщений выполняются с помощью процессоров, поддерживающих XSLT, JOLT и другие варианты конвертации. Если по каким-то причинам вы не нашли возможность создать требуемую конвертацию при помощи процессора или в вашей конвертации требуется какая-то сложная логика, можно написать свой код на одном из доступных языков программирования:

• Clojure,

• ECMAScript,

• Groovy,

• Lua,

• Python,

• Ruby.

Для проверки формата сообщения есть процессоры валидации XML, JSON, CSV, поддерживаются avro-схемы и т. д. В сложных случаях можно написать свой валидатор на одном из языков программирования, которые поддерживает «Атом.Мост».

Дополнительно в рамках разработки «Атом.Мост»:

• доработана отказоустойчивость в части корректности работы функции, возвращающей обрабатываемое сообщение в очередь в случае потери ноды в момент обработки сообщения процессором;

• разработаны новые и доработаны существующие процессоры:

  • AFAssignSequence — выстраивает последовательность отправки сообщений по очереди;

  • AFValidateSequence — валидирует, что последовательность из файлов в очереди выстроена верно;

  • AFAuthorizer — реализует аутентификацию по логину и паролю для информационных систем;

  • AFFetchFTP — исправление ошибки с кодировкой;

  • AFGetFTP — исправление ошибки с кодировкой;

  • AFPutFTP — исправление ошибки с кодировкой;

  • AFHandlerHttpRequest — исправлено множество ошибок, добавлена работа с multipart-сообщениями, добавлен debug-режим, позволяющий получить входящий трафик в исходном виде;

  • AFInvokeHTTP — NTLM-аутентификация, исправлено множество ошибок, оптимизирована логика работы процессора, улучшена работа с переотправкой сбойных файлов;

  • AFInvokeHTTPGost — поддержка подписания трафика гостовым сертификатом;

  • AFJoltTransformJSON — портирован процессор из более свежей версии NiFi;

  • AFMergeContent — исправление ошибок, корректировка логики при работе с атрибутами;

  • AFSapPiPackager — поддержка протокола SAP X;

  • AFSoapEnveloper — добавление soap-оболочки для сообщения;

  • AFSoapRequestBuilder — работа с вложениями;

  • AFSoapRequestParser — разбор soap-сообщения;

  • AFValidateXML — исправлены ошибки, доработано хранение схем прямо в процессоре;

  • AFTransformXML — исправлены ошибки процессора;

  • AFTransformXPathXML — упрощенный метод преобразования xml через xpath.

Масштабирование и отказоустойчивость

Гибкое масштабирование под текущие потребности: легко нарастить ресурсы, легко отключить лишние. Работа в режиме кластера — устойчивость к потере узлов. 

Мониторинг и траблшутинг

В процессе создания интеграционной платформы «Атом.Мост» разработчики уделили особое внимание построению эффективной системы мониторинга. На начальном этапе было важно обеспечить базовый функционал отслеживания работы системы. Специалисты реализовали механизмы, позволяющие детально следить за нагрузкой на потоки и контролировать путь каждого сообщения. Особое внимание уделили системе логирования, разместив хранилище данных на надёжной файловой о��нове.

Следующим важным шагом стало внедрение комплексного подхода к мониторингу. Разработчики интегрировали передовые open-source решения, среди которых особое место занял GrayLog. Этот компонент значительно расширил возможности системы, добавив:

• углублённый анализ производительности,

• инструменты для оперативного выявления проблем,

• механизмы предиктивной аналитики,

• системы автоматического реагирования на инциденты.

Сегодня система мониторинга «Атом.Мост» представляет собой целостное решение, которое не только отслеживает работу платформы, но и обеспечивает её бесперебойное функционирование. Благодаря продуманной архитектуре и интеграции дополнительных компонентов, пользователи получают полный контроль над всеми процессами в реальном времени.

Примеры кейсов

Решения «Атом.Мост» успешно применяются в различных отраслях для крупных корпоративных клиентов. Особое внимание уделяется проектам, где требуется соответствие строгим стандартам безопасности, включая наличие сертификата ФСТЭК. У компании есть стратегическое партнёрство с Axoft. Это упрощает процесс внедрения решений в информационные системы заказчиков и позволяет сократить сроки реализации проектов. Команда «Гринатом» совместно с партнёрами активно работает над расширением географии присутствия продукта и его адаптацией под потребности различных отраслей.

В качестве кейса также может выступать пример самой госкорпорации «Росатом», в которой более 9 тысяч интеграционных процессов переведено с SAP PI на «Атом.Мост». Вместе с лицензий ребята из «Гринатом» готовы предоставить экспертизу по переходу с SAP PI на «Атом.Мост». Для безболезненного перехода «Атом.Мост» может имитировать работу SAP PI для SAP ERP, что позволяет постепенно, процесс за процессом, переводить интеграцию на новый продукт. 

Требования к ПО

Пользовательское ПО является веб-клиентом и поддерживает работы в следующих средах:

• – операционные системы семейства Microsoft Windows, Linux (Unix), MacOS и др., поддерживающие работу веб-браузеров;

• – веб-браузер Mozilla Firefox версии не ниже 70.0, или Google Chrome версии не ниже 50.0, или Safari.

Серверная часть может исполняться в следующих ОС:

• – ОС СН Astra Linux Special Edition версии 1.6 «Смоленск»;

• – CentOS версии 8.3;

• – РЕД ОС версии 7.2 «Муром».

Ценообразование

Лицензии

Лицензионная модель продукта построена на принципе лицензирования вычислительных ядер, задействованных в обработке интеграционных процессов.

Базовые требования к инфраструктуре предусматривают развёртывание системы на трёх серверах, каждый из которых должен быть оснащён минимум четырьмя вычислительными ядрами.

При этом для проектов с невысокой нагрузкой предусмотрена возможность оптимизации затрат: допускается использование двух ядер на сервер, что позволяет сократить расходы на лицензирование вдвое без потери функциональности системы.

Наличие пробной версии и условия получения

Триал-версия выдается в рамках пресейла.

Наличие версии для preprod и test окружений

Лицензируется только сервера продуктивного контура, все тестовые среды работаю�� бесплатно. 

Наличие открытой документации

Открытую документацию можно найти на сайте.

Наличие обучения

Отдельная гордость разработчиков — обучение. Есть специальные менторы, которые готовят специалистов к работе с продуктом. Обучение длится несколько месяцев, при этом подходит даже для начинающих специалистов. Обучение на данный момент проводится только после приобретения лицензии. Дополнительную информацию по обучению можно получить по почте: atom.bridge@greenatom.ru.

Партнерская сеть

Компания обучает партнеров и активно развивает партнерскую программу.

Наличие публичной дорожной карты развития продукта

Информационное сопровождение (упоминание в СМИ, рейтингах, наличие комьюнити)

Так как «Атом.Мост» обратно совместим с ванильной версией Apache NiFi то большую часть ответов на свои вопросы можно найти в свободном комьюнити NIFI.

Заключение

В качестве заключения соберем достоинства и недостатки интеграционного решения. 

Достоинства ванильного NiFi:

• Очень низкий порог входа, буквально, за один день можно развернуть продукт и разобраться с небольшой интеграцией.

• Наличие множества готовых процессоров обработки данных — на сегодня 364, информация с официального сайта.

• Еще больше различных процессоров разной степени работоспособности на GitHub’е.

• Отличное комьюнити в России https://t.me/nifiusers, натоящие эксперты NiFi помогут найти ответ на любой вопрос.

• Множество материалов в открытых источниках, практически любой вопрос решается изучением материалов по первой-второй ссылке в выдаче поисковика.

Достоинства продукта «Атом.Мост»:

• Комплексная поддержка и безопасность. Компания «Гринатом», как разработчик и владелец продукта, обеспечивает полный цикл технической и сервисной поддержки. 

• Инструменты миграции. Разработаны специализированные инструменты для конвертации интеграционных потоков с SAP PI на «Атом.Мост». В настоящее время процесс конвертации частично автоматизирован, при этом работы по дальнейшей автоматизации продолжаются, что позволяет оптимизировать переход на новое решение.

• Сертифицированное решение. Продукт имеет сертификат ФСТЭК России по четвёртому уровню доверия.

• Интеграция с государственными системами. Встроен готовый протокол взаимодействия со СМЭВ, что обеспечивает эффективную работу с государственными информационными системами.

• Совместимость с корпоративными решениями. Наличие SAP-коннектора и отработанная методология поэтапного замещения SAP PI позволяют плавно переходить на отечественное решение без нарушения бизнес-процессов.

• Импортонезависимость. «Атом.Мост» зарегистрирован в реестре российского ПО, что позволяет использовать продукт в рамках государственных программ перехода на отечественные технологии.

Ог��аничения:

• Исправления и доработки ванильного NiFi в сообщество не передаются, такова политика госкорпорации. Из-за этого ядро убегает вперед, и на сегодняшний день «Атом.Мост» под капотом имеет NiFi версии 1.12. «Гринатом» активно ведет разработку и сертификацию новой версии 

• «Атом.Мост», на базе NiFi 2.0i. 

• Отсутствие готовых инструментов мониторинга внутри системы.

В статье отражена моя субъективная точка зрения, у которой нет цели нанести ущерб деловой репутации создателям этого продукта.

За последние 1,5 года я встретился с разработчиками 20 ESB-решений, изучил их и собрал большой обзор, который будет обновляться. Вы познакомитесь с разными корпоративными шинами данных и интеграционными платформами в одном документе и найдете решение, оптимально подходящее под задачи вашего бизнеса. 

Скачать обзор российских ESB-платформ

Также у нас есть сообщество в Телеграме «Шины не для машины», там обсуждаем насущные вопросы рынка. Среди подписчиков много вендоров, которые могут ответить на вопросы по продуктам.