Руководство по установке#

Модуль обеспечивает отображение данных ГИСОГД в формате витрины для обеспечения просмотра и получения данных другими системами.

Предварительные действия перед установкой Витрины данных и Агента ПОДД СМЭВ 4#

  1. Остановите службу firewalld (RedOS):

systemctl stop firewalld
systemctl disable firewalld

  1. Отключите SELinux (RedOS). В файле /etc/selinux/config укажите значение SELINUX=disabled и перезагрузите сервер.

    Проверьте, что служба отключена командой: sestatus.

  2. Укажите часовой пояс, соответствующий местоположению сервера:

timedatectl set-timezone Asia/Omsk (вместо Asia/Omsk укажите свой часовой пояс)

Важно

  • Для корректной установки программы необходимо убедиться, что на всех серверах установлен сервис синхронизации времени.

  • ПО Витрина данных и Агент ПОДД СМЭВ устанавливаются на отдельно выделенном сервере.

  • Операционные системы, на которых возможно развёртывание функционала, – Astra Linux и RedOS.

Установка Витрины данных#

Чтобы установить Витрину данных:

  1. Скачайте ansible для установки Витрины данных, переданный в установочном пакете.

  2. Распакуйте архив ansible-datamart-1.14.0.zip в любую удобную директорию.

  3. Настройте переменные и inventory:

    3.1. Переменные настраиваются в файле ansible/group_vars/custom.yml:

    • time_zone – часовой пояс;

    • server_ip – IP-адрес сервера, на который производится установка Витрины данных;

    • server_user_name – имя пользователя с доступом к sudo;

    • install_dir – директория для установки компонентов;

    • postgres_db – наименование БД;

    • postgres_password – пароль для пользователя PostgreSQL;

    • postgres_user – имя пользователя PostgreSQL;

    • datamart_environment – переменная среды (продуктовая или тестовая);

    • minio_root_user – имя пользователя MinIO;

    • minio_root_password – пароль пользователя MinIO;

    • redis_password – пароль Redis;

    • redis_user – имя пользователя Redis;

    • redis_user_password – пароль пользователя Redis.

    Важно

    Остальные переменные редактировать не нужно!

    3.2. Inventory настраивается в файле ansible/host_vars/stand.yml:

    • если используется пароль для SSH-подключения, то раскомментировать следующие строки:

    ansible_password (пароль пользователя из переменной server_user_name)
ansible_become_password (пароль от sudo)

    • если используется SSH-ключ, то необходимо разместить его в папке ansible, раскомментировать переменную и указать в ней путь до SSH-ключа:

    ansible_ssh_private_key_file

  4. Загрузите образ с ansible:

    • Если есть доступ до registry.gemsdev.ru (можно проверить с помощью ping):

    docker pull registry.gemsdev.ru/ansible-ubuntu:latest

    • Если нет доступа:

    docker load -i E:\datamart\ansible\docker_ansible.tar

\\  где E:\datamart\ansible – путь к ansible для Витрины данных

  5. Запустите установку Витрины данных:

docker run -it --rm -v E:\datamart\ansible\:/ansible registry.gemsdev.ru/ansible-ubuntu:latest bash -c "chmod -R 644 /ansible" && docker run -it --rm -v E:\datamart\ansible\:/ansible registry.gemsdev.ru/ansible-ubuntu:latest ansible-playbook -i hosts install.yml -vv

\\ где E:\datamart\ansible – путь к ansible для Витрины данных

Если после установки failed – 0, то установка произведена успешно.

Установка Агента ПОДД СМЭВ 4#

Примечание

Установка выполняется под пользователем root.

Чтобы установить Агент ПОДД (Агент СМЭВ 4):

  1. Скачайте образ с Агент ПОДД (дистрибутив агента на основе докер-образа версия): Скачать образ.

  2. Скачайте образцы конфигурационных файлов (образцы файлов конфигурирования агента): Скачать образцы конфигов из раздела «Развёртывание Агента ПОДД СМЭВ».

  3. Поместите скачанные файлы на сервер, где установлена Витрина данных.

  4. Разархивируйте скачанные файлы:

tar -xvf путь_до_директории_с_файлом/conf_(версия).tar.gz
mkdir /opt/agent-podd
tar -xvf путь_до_директории_с_файлом/docker_(версия).tar.gz -C /opt/agent-podd/

  1. Перейдите в директориию conf с конфигурационными файлами и заполните их согласно документации.

    Ознакомьтесь с инструкцией по заполнению конфига, скачав файл Составление конфигурационного файла Агента ПОДД для поcтавщика ЕСКС.pdf, или по ссылке Составление конфигурационного файла Агента ПОДД для поcтавщика.

    Данные об идентификаторе агента ПОДД будут переданы заказчиком в архиве agent_[мнемоника системы].zip, который он должен сформировать на этапе Регистрации в СМЭВ4 в п. 2.

    Пример заполненного конфига
    # 3.15.0
spring:
profiles:
    active:
    - QueryConsumer
    - ApiGwConsumer

# Общие настройки агента
agent:
# Идентификатор агента
id: 000000
ogrn: '0000000000000'
use-ca: true

keys:
alias: '0000000000000 123456789 - Copy'
password: '1Q-2ks3S<t4<'


# Настройки подключения ко всем ЦОД с установленным ПО ядра
data-center:
# Конфигурация ядер
nodes:
    - node-id: NODE1
    broker-addresses:
        - host: 109.207.9.87
        port: 6651
        - host: 109.207.9.87
        port: 6652

    # Настройки подключения к Pulsar
    pulsar:
        client:
        serviceUrl: pulsar://podd.test.gosuslugi.ru:6650
        auth:
        keycloak-oauth:
            auth-server:
            - url: https://podd.test.gosuslugi.ru:443/auth

# Общий блок настроек для всех ядер
default-node:
    pulsar:
    auth:
        enabled: true

ntp:
servers:
    - host: podd.test.gosuslugi.ru
    - host: i22dns02.unix.local

####### НЕ РЕДАКТИРОВАТЬ НИЖЕ ЭТОЙ СТРОКИ #######

core:
mnemonic: MNSV48_3S
broadcast-tenant: core_broadcast

  2. Скопируйте сконфигурированный файл в директорию с Агентом СМЭВ 4:

cp (наименование файла) /opt/agent-podd/distr/einfahrt/application.yml

  1. Создайте директорию certs:

mkdir /opt/agent-podd/distr/einfahrt/certs

  1. Поместите сертификат, полученный с криптоконтейнером, в директорию /opt/agent-podd/distr/einfahrt/certs/.

Примечание

Необходимо предупредить заказчика, что для работы функционала будут использоваться сертификаты электронной подписи продуктивных систем.

  1. Создайте директорию keys:

mkdir /opt/agent-podd/distr/einfahrt/keys

  1. Поместите ключи в директорию /opt/agent-podd/distr/einfahrt/keys/example.000. Где example.000 название папки с ключами, например – HMAO24.000.

  2. Измените права на директорию keys:

chown -R 1000 keys

  1. Создайте директорию licenses:

mkdir /opt/agent-podd/distr/einfahrt/licenses

  1. Разместите файл csp.txt в /opt/agent-podd/distr/einfahrt/licenses/ с лицензией КриптоПро CSP.

  2. Загрузите образ Агента СМЭВ 4:

docker load < /opt/agent-podd/distr/einfahrt/image.tgz

  1. Запустите Агент СМЭВ 4:

chmod +x /opt/agent-podd/distr/einfahrt/*.sh
bash /opt/agent-podd/distr/einfahrt/run.sh

\\ в случае запроса подтверждения нажать Y и Enter

Модуль интеграции с Витриной данных (Zircon)#

Установка#

Чтобы установить модуль интеграции с Витриной данных:

  1. Установите API Jasper.

  2. Обновите Diamond с переменной gvDIAMOND_ENABLE_OUTBOX в значении true.

  3. Укажите следующие переменные в файле vars.yml.

Важно

Файл vars_default.yml редактировать не нужно. Он содержит дефолтные значения переменных.

Чтобы изменить значение переменной из vars_default.yml, добавьте (продублируйте) переменную в vars.yml и укажите нужное значение – при установке оно будет перезаписано.

Название переменной

Значение по умолчанию

Описание переменной

vars.yml:

gvZIRCON_INSTALL_DIR

/opt/Zircon

Директория, в которую будет установлен Zircon

gvZIRCON_DATA_MART_URL

http://10.4.1.53:52356

Адрес расположения Витрины данных

gvZIRCON_DATA_MART_NAME

GisogdDocuments_1_1

Логическое название схемы Витрины данных

gvZIRCON_KAFKA_HOST

10.4.1.53

Адрес расположения Kafka

gvZIRCON_KAFKA_USERNAME

guest

Имя пользователя Kafka

gvZIRCON_KAFKA_PASSWORD

guest

Пароль пользователя Kafka

gvDIAMOND_ENABLE_OUTBOX

true

Флаг включения/отключения функционала регистрации событий размещения документов в ГИСОГД. Взможные значения: true – включение, false – отключение

vars_default.yml:

gvZIRCON_CONNECTION_STRING

Server={{ gvPOSTGRESQL_SERVER }};Port={{ gvPOSTGRESQL_PORT }};Database={{ gvPOSTGRESQL_IAS_DB_NAME }};User Id={{ gvPOSTGRESQL_IAS_USER }};Password={{ gvPOSTGRESQL_IAS_USER_PASS }};ApplicationName=Zircon;

Строка подключения к базе данных Geometa

gvZIRCON_LOGS_TO_COLLECTOR

false

Флаг включения отправки логов в Loki

gvZIRCON_TRACES

false

Флаг включения сбора трассировок

gvZIRCON_MINIO_URL

http://{{ gvGEOMETA_IP }}:9030

Адрес расположения хранилища Minio

gvZIRCON_MINIO_ACCESS_KEY

{{ gvMINIO_USER_LOGIN }}

Ключ доступа файлового хранилища (Minio)

gvZIRCON_MINIO_SECRET

{{ gvMINIO_USER_PASS }}

Секрет файлового хранилища (Minio)

gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED

false

Флаг включения функционала полного импорта (перенос в Витрину данных тех документов, которые уже размещены в Diamond)

gvZIRCON_EXLUDED_DOCUMENT_SCHEMAS

[]

Список алиасов проектов, с которых не нужно выгружать данные в рамках полного импорта

gvZIRCON_DOCUMENT_UPLOAD_DOCS

[]

Список алиасов документов, которые будут выгружаться в витрину в рамках полного импорта

gvZIRCON_DOCUMENT_UPLOAD_RATE

100

Количество документов за одну итерацию, обрабатываемых во время полного импорта

gvZIRCON_JASPER_CLIENT_ID

geometa

Клиент ID Jasper

gvZIRCON_JASPER_CLIENT_SECRET

secret

Секрет клиента Jasper

gvZIRCON_ZOOKEEPER_PORT

2181

Порт ZooKeeper

gvZIRCON_KAFKA_PORT

9092

Порт, по которому доступна Kafka

gvDIAMOND_OUTBOX_SEND_MESSAGES_INT_SEC

30

Интервал обработки записи в таблице outbox.outbox_diamond

gvZIRCON_TASK_CONFIGURATION_PERIOD_SECONDS

1

Интервал обработки задач импорта

  1. Установите сервис Zircon с помощью тега install_zircon.

Примечание

Вместе с основным сервисом Zircon разворачивается и сервис Kafka.

Мониторинг отправляемых данных#

Diamond фиксирует информацию о новых зарегистрированных документах и исправлениях технических ошибок в таблице outbox.outbox_diamond, после чего передает в Kafka для дальнейшей передачи в Zircon.

В сервис передаются тип события, ключ объекта Geometa, регистрационный номер документа в ГИСОГД, алиасы схемы и размещённого документа. Эта информация записывается в поле [content] и имеет следующий вид:

{
    "Timestamp":"2024-11-06T03:52:37.4185273Z",
    "EventType":"Registered",
    "SchemeAlias":"zircongo",
    "DocumentAlias":"DocAdressAccept",
    "DocumentKey":1000570000194017,
    "RegistrationNumber":"42334561-13-2024-220"
}

После успешного получения информации о размещённом документе в Kafka в поле [processed] записывается дата обработки записи.

При возникновении ошибок дата обработки не заполняется, а в поле [error] отображается причина возникновения ошибки. Через указанное время в переменной gvDIAMOND_OUTBOX_SEND_MESSAGES_INT_SEC Diamond повторно попытается отправить событие в очередь Kafka.

При получении записи из Kafka, сервис Zircon создает задачу в таблице zircon.import_task, соответствующую типу события. Возможные типы событий:

  • Registered – документ размещён в ГИСОГД;

  • TechnicalCorrection – исправлена техническая ошибка;

  • StatusChanged – изменён статус документа.

Для события с типом Registered создается задача с типом CREATE.

Для TechnicalCorrection и StatusChanged задача с типом UPDATE.

Также внутри Zircon формируются еще два типа задач: FULLIMPORT и RELATION.

Задачи FULLIMPORT создаются во время процесса полного импорта на каждый существующий в ГИСОГД документ.

Задачи с типом RELATION создаются, когда Zircone необходимо связать пару документов между собой.

Значение типа задачи записывается в столбец [type].

Описание таблицы задач zircon.import_task:

  • project – схема проекта;

  • alias – алиас размещённого документа;

  • geometa_id – ключ объекта в Geometa;

  • type – тип события;

  • reg_num – регистрационный номер ГИСОГД;

  • date_insert – дата создания записи;

  • date_proccess – дата обработки записи;

  • status – статус отправки документа в Витрину;

  • description – описание ошибок, произошедших при обработке задачи.

Примечание

Проект, алиас, ключ Geometa и регистрационный номер документа берутся из события из очереди Kafka.

После успешной отправки данных в Витрину проставляется статус COMPLETE и дата обработки записи, после чего в таблицу zircon.state записываются отправленные документы и связанные c документом объекты.

Существующие статусы задач:

  • PENDING – новая необработанная задача;

  • ERROR – задача обработана с ошибкой и будет обработана повторно;

  • COMPLETE – задача успешно обработана.

После проставления статуса COMPLETE и даты обработки записи в таблицу zircon.state записываются отправленные в Витрину документы и связанные c документом объекты.

Таблица zircon.state содержит следующие столбцы:

  • schema – схема проекта;

  • alias – алиас документа или связанного с ним объекта, размещённого в Витрине;

  • data_mart_key – ключа объекта в Витрине;

  • date_insert – дата создания записи.

Полный импорт#

Для того чтобы выгрузить в Витрину данных документы, которые были размещены ранее, до запуска работы сервиса Zircon, в нём реализована возможность полного импорта – выгрузки уже размещённых документов.

Чтобы настроить полную выгрузку данных:

  1. Установите для переменной gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED значение true.

  2. Заполните переменную gvZIRCON_DOCUMENT_UPLOAD_DOCS массивом алиасов тех документов, которые необходимо выгрузить в Витрину в рамках полного импорта.

  3. В рамках работы основного сервиса по алиасам из массива будут найдены все ранее размещённые в ГИСОГД документы и занесены в таблицу zircon.import_task для дальнейшей отправки в Витрину данных.

Важно

Полный импорт необходим только при первом запуске сервиса, в дальнейшем его следует отключить.

Чтобы отключить полный импорт, установите для переменной gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED значение false.

Работы на стороне заказчика перед подключением модуля#

  1. Для сервера, на котором будет расположена Витрина данных, выполнить установку КриптоПро CSP v5.0.10003 (Сертифицированная). На это ПО нужны лицензии, можно найти в прайс-листе КриптоПро. ПО «КриптоПро CSP» необходимо для подписания СМЭВ-запросов. Данный формат подписи является обязательным условием для взаимодействия с ПО Витрина данных и Агент ПОДД СМЭВ.

  2. Зарегистрироваться в СМЭВ 4.

  3. Зарегистрировать Витрину данных в ЕИП НСУД.

Регистрация в СМЭВ 4#

Для успешной настройки взаимодействия необходимо пройти регламентные процедуры, предназначенные для получения возможности выступать в СМЭВ4 в качестве Поставщика сведений и владельца Витрины данных.

Инструкция для выполнения процедур регистрации участника взаимодействия и информационной системы в СМЭВ4:

  1. Пройдите регистрацию участника взаимодействия (УВ) в СМЭВ4:

    Примечание

    Регистрировать Участника и ИС в тестовой среде СМЭВ4 не нужно, если информационная система планируется использоваться та же, что и для СМЭВ3.

    1.1. Заполните форму Заявка на присоединение к Регламенту обеспечения предоставления государственных услуг и исполнения государственных функций в электронном виде.

    Скачать форму заявки

    Желтым цветом в форме отмечено то, что необходимо заполнить.

    Правила заполнения:

    • В заявке на присоединение укажите данные участника, который является владельцем информационной системы, регистрируемой в СМЭВ4.

    • Основание подключения – НПА, на основании которого участник имеет право осуществлять межведомственное взаимодействие (в большинстве случаев это Положение о создании системы).

    1.2. В Личном кабинете СЦ создайте запрос на регистрацию УВ в СМЭВ с приложением заполненного и подписанного документа Заявка_на_присоединение_к_СМЭВ.docx.

  2. Пройдите регистрацию информационной системы (ИС) в СМЭВ4 в тестовой среде:

    2.1. В ЛКУВ перейдите на вкладку Информационные системы → Мои системы:

    ../../../_images/data_mart_1.png

    2.2. В разделе Тестовая среда выберите систему ГИСОГД, для которой будет настраиваться подключение к СМЭВ4:

    ../../../_images/data_mart_2.png

    2.3. На вкладке Подключение к СМЭВ4 → Роль в СМЭВ4 выберите редактирование роли:

    ../../../_images/data_mart_3.png

    2.4. Выберите роль системы Поставщик и потребитель:

    ../../../_images/data_mart_4.png

    2.5. Выберите действие Скачать текущий установочный пакет:

    ../../../_images/data_mart_5.png

    Будет скачан zip-архив с наименованием agent_[мнемоника системы].zip.

    Передайте данный архив руководителю проекта.

  3. Подпишите лицензионный договор.

    Необходимо подписать лицензионный договор на передачу типового тиражируемого программного обеспечения «Витрина данных» (далее – ПО витрины) и программного обеспечения агента (далее – ПО агента ПОДД СМЭВ) подсистемы обеспечения доступа к данным СМЭВ (далее – ПОДД СМЭВ).

    Примечание

    Подписание лицензионного договора осуществляется стороной, являющейся владельцем серверов, на которых будет разворачиваться Витрина данных.

    Скачать типовую форму лицензионного договора

    Подписанный договор отправьте в Минцифры по МЭДО. Также оригинал подписанного договора отправьте Почтой России или курьером.

  4. Заполните анкету для формирования требований к инфраструктуре.

    В Минцифры России по МЭДО предоставьте заполненную анкету для формирования требований к инфраструктуре для развёртывания ПО витрины, ПО агента ПОДД СМЭВ.

    Скачать типовую форму анкеты

    Скачать пример заполнения типовой формы анкеты

    Руководителю проекта необходимо передать заказчику данные для заполнения анкеты. Для получения данных скачайте и выполните скрипт.

  5. Передайте полученные рекомендации к инфраструктуре.

    После выполнения п. 4 от представителя Минцифры России будут направлены ответственным РОИВ рекомендации по инфраструктуре.

    Передайте руководителю проекта полученные рекомендации. На их основании будут сформированы рекомендуемые требования к инфраструктуре для развёртывания ПО витрины и ПО агента ПОДД СМЭВ.

  6. Пройдите регистрацию информационной системы в СМЭВ4 в продуктивной среде.

    Выполнить все те же действия из п. 2 только для раздела Продуктивная среда.

    Будет скачан zip-архив с наименованием agent_[мнемоника системы].zip.

    Передайте данный архив руководителю проекта.

  7. Заполните заявку для дополнительной настройки защищённого канала связи до СМЭВ 4.

    Для подключенных к СМЭВ3 участников в рамках организации работ по сетевому взаимодействию необходима донастройка криптоканала.

    Для этого необходимо заполнить форму Заявка для дополнительной настройки защищенного канала связи до СМЭВ 3 и СМЭВ 4.

    Скачать типовую форму заявки

    Через Личный кабинет СЦ направьте информационный запрос о готовности к настройке криптооборудования. Обращение должно иметь тип в соответствии с примером ниже:

    Тип запроса: Перенастройка криптооборудования
//Оформление письма
Тема: Перенастройка криптооборудования <Наименование ведомства>
Тело письма:
Прошу выполнить перенастройку криптооборудования <Наименование ведомства>.
Причина перенастройки: подключение ИС к СМЭВ4 в качестве Поставщика данных.

Ответственное лицо: ФИО, должность, контактный телефон, E-mail.
Технический специалист (как минимум двое): ФИО, должность, контактный телефон, E-mail.
Вложение: Документ «Форма_для_доп_настройки_защещенного_канала_связи_СМЭВ.docx»

Регистрация витрины данных в ЕИП НСУД#

Следующим этапом после прохождения регламентных процедур необходимо пройти регистрацию Витрины данных СМЭВ4 в ЕИП НСУД.

Регистрация витрины данных состоит из следующих этапов:

  1. Заведение модели данных в ЕИП НСУД.

  2. Регистрация заведенной модели в Ядре ПОДД СМЭВ4.

Перед началом регистрации выделите ответственного для работы с ЕИП НСУД, убедитесь в предоставлении прав для работы с системой. Для этого потребуется учётная запись ЕСИА пользователя, привязанная к организации.

Приступите к регистрации витрины в соответствии с инструкцией на ЕСКС.

Более подробная информация о том, как получить доступ и начать работу, представлена на портале ЕИП НСУД.