Руководство по установке#

Модуль «Интеграция с Универсальной витриной данных» предназначен для выполнения функций:

предоставление данных по государственным и муниципальным услугам из ГИСОГД в региональную витрину данных для обеспечения выгрузки, трансформации и загрузки данных в региональную витрину данных;

проведение работ по нагрузочному тестированию процесса загрузки данных в витрину, в том числе связанных с утверждением методики и созданием и (или) модернизацией инструментов для проведения нагрузочного тестирования;

настройка ГИСОГД для передачи данных обо всех государственных и муниципальных услугах (заявления, статусы, результаты оказания услуг), оказываемых в ГИСОГД.

Назначение – выполнение требований ЕФТТ Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации по предоставлению данных из информационных систем – источников данных в региональную витрину данных, опубликованным в рамках письма от 07.07.2025 № ГБ-П30-65454 Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации.

Модуль реализует сквозной конвейер через который внешние источники передают данные в целевой приёмник – региональную витрину данных. Для всех источников доступен только один способ интеграции – HTTP API сервиса извлечения (ApiHandler).

Термины и сокращения#

Термин	Уникальный идентификатор	Определение (для проекта)
Конвейер	CNV	Совокупность процессов и настроек, единое «приложение» обеспечивающие передачу данных в приемник
Процесс	PRO	Самостоятельная цепочка обработки в рамках конвейера (от соединений до отправки)
Этап процесса	STG	Логический сегмент процесса (EXTRACT/CLEAN/VALIDATE/LOAD и т.п.)
Запрос	REQ	Транспортная единица передачи в конвейере (FlowFile)
Исходный (групповой) запрос	RAW-REQ	Входной файл/ответ API до разбиения на единичные REQ
Объект	OBJ	Бизнес-сущность внутри запроса (заявление, документ и т.д.)
Опорная система	RSYS	Система-источник данных (Geometa, др. ИС регионов)
Соединение	CNX	Коннектор/адаптер (Kafka, REST, JDBC, SFTP и др.)
Региональная витрина данных	RVD	Система-получатель (витрина/хранилище региона)
Шаблон	TPL	Экспортируемый шаблон NiFi/мастер создания процессов
Конфигурация	CFG	Схемы, JRXML, маппинги, параметры
Управление	CTRL	Запуск/остановка процесса/конвеера через API/скрипт
Мониторинг	MON	UI/сервис для статусов, ошибок, метрик

Схема взаимодействия#

Установка#

Чтобы установить Сервис интеграции:

Получите дистрибутив Ansible для установки Сервиса.
Распакуйте архив ansible-data-1.1.0.zip в любую удобную директорию.
Настройте переменные и inventory:
3.1. Переменные настраиваются в файле ansible/group_vars/custom.yml:
time_zone – часовой пояс;

server_ip – IP-адрес сервера, на который производится установка Витрины данных;

server_user_name – имя пользователя с доступом к sudo;

install_dir – директория для установки компонентов;

postgres_db – наименование БД;

postgres_password – пароль для пользователя PostgreSQL;

postgres_user – имя пользователя PostgreSQL;

datamart_environment – переменная среды (продуктовая или тестовая);

minio_root_user – имя пользователя MinIO;

minio_root_password – пароль пользователя MinIO;

redis_password – пароль Redis;

redis_user – имя пользователя Redis;

redis_user_password – пароль пользователя Redis.
3.2. Inventory настраивается в файле ansible/host_vars/stand.yml:
Если используется пароль для SSH-подключения, то раскомментировать следующие строки:

ansible_password (пароль пользователя из переменной server_user_name) ansible_become_password (пароль от sudo)

Если используется SSH-ключ, то необходимо разместить его в папке ansible, раскомментировать переменную и указать в ней путь до SSH-ключа:

ansible_ssh_private_key_file

Загрузите образ с ansible:

Если есть доступ до registry.gemsdev.ru (можно проверить с помощью ping):
docker pull registry.gemsdev.ru/ansible-ubuntu:latest
Если нет доступа:
docker load -i E:\datamart\ansible\docker_ansible.tar

\\  где E:\datamart\ansible – путь к ansible для Сервиса

Запустите установку Сервиса:

docker run -it --rm -v E:\datamart\ansible\:/ansible registry.gemsdev.ru/ansible-ubuntu:latest bash -c "chmod -R 644 /ansible" && docker run -it --rm -v E:\datamart\ansible\:/ansible registry.gemsdev.ru/ansible-ubuntu:latest ansible-playbook -i hosts install.yml -vv

\\ где E:\datamart\ansible – путь к ansible для Сервиса

Если после установки failed – 0, то установка произведена успешно.