Руководство по установке#
Модуль обеспечивает отображение данных ГИСОГД в формате витрины для обеспечения просмотра и получения данных другими системами.
Предварительные действия перед установкой Витрины данных и Агента ПОДД СМЭВ 4#
Остановите службу firewalld (RedOS):
systemctl stop firewalld
systemctl disable firewalld
Отключите SELinux (RedOS). В файле /etc/selinux/config укажите значение
SELINUX=disabled
и перезагрузите сервер.Проверьте, что служба отключена командой:
sestatus
.Укажите часовой пояс, соответствующий местоположению сервера:
timedatectl set-timezone Asia/Omsk (вместо Asia/Omsk укажите свой часовой пояс)
Важно
Для корректной установки программы необходимо убедиться, что на всех серверах установлен сервис синхронизации времени.
ПО Витрина данных и Агент ПОДД СМЭВ устанавливаются на отдельно выделенном сервере.
Операционные системы, на которых возможно развёртывание функционала, – Astra Linux и RedOS.
Установка Витрины данных#
Чтобы установить Витрину данных:
Скачайте ansible для установки Витрины данных, переданный в установочном пакете.
Распакуйте архив ansible-datamart-1.14.0.zip в любую удобную директорию.
Настройте переменные и inventory:
3.1. Переменные настраиваются в файле ansible/group_vars/custom.yml:
time_zone
– часовой пояс;server_ip
– IP-адрес сервера, на который производится установка Витрины данных;server_user_name
– имя пользователя с доступом к sudo;install_dir
– директория для установки компонентов;postgres_db
– наименование БД;postgres_password
– пароль для пользователя PostgreSQL;postgres_user
– имя пользователя PostgreSQL;datamart_environment
– переменная среды (продуктовая или тестовая);minio_root_user
– имя пользователя MinIO;minio_root_password
– пароль пользователя MinIO;redis_password
– пароль Redis;redis_user
– имя пользователя Redis;redis_user_password
– пароль пользователя Redis.
Важно
Остальные переменные редактировать не нужно!
3.2. Inventory настраивается в файле ansible/host_vars/stand.yml:
если используется пароль для SSH-подключения, то раскомментировать следующие строки:
ansible_password (пароль пользователя из переменной server_user_name) ansible_become_password (пароль от sudo)
если используется SSH-ключ, то необходимо разместить его в папке ansible, раскомментировать переменную и указать в ней путь до SSH-ключа:
ansible_ssh_private_key_file
Загрузите образ с ansible:
Если есть доступ до registry.gemsdev.ru (можно проверить с помощью ping):
docker pull registry.gemsdev.ru/ansible-ubuntu:latest
Если нет доступа:
docker load -i E:\datamart\ansible\docker_ansible.tar \\ где E:\datamart\ansible – путь к ansible для Витрины данных
Запустите установку Витрины данных:
docker run -it --rm -v E:\datamart\ansible\:/ansible registry.gemsdev.ru/ansible-ubuntu:latest bash -c "chmod -R 644 /ansible" && docker run -it --rm -v E:\datamart\ansible\:/ansible registry.gemsdev.ru/ansible-ubuntu:latest ansible-playbook -i hosts install.yml -vv
\\ где E:\datamart\ansible – путь к ansible для Витрины данных
Если после установки failed – 0, то установка произведена успешно.
Установка Агента ПОДД СМЭВ 4#
Примечание
Установка выполняется под пользователем root.
Чтобы установить Агент ПОДД (Агент СМЭВ 4):
Скачайте образ с Агент ПОДД (дистрибутив агента на основе докер-образа версия): Скачать образ.
Скачайте образцы конфигурационных файлов (образцы файлов конфигурирования агента): Скачать образцы конфигов из раздела «Развёртывание Агента ПОДД СМЭВ».
Поместите скачанные файлы на сервер, где установлена Витрина данных.
Разархивируйте скачанные файлы:
tar -xvf путь_до_директории_с_файлом/conf_(версия).tar.gz
mkdir /opt/agent-podd
tar -xvf путь_до_директории_с_файлом/docker_(версия).tar.gz -C /opt/agent-podd/
Перейдите в директориию conf с конфигурационными файлами и заполните их согласно документации.
Ознакомьтесь с инструкцией по заполнению конфига, скачав файл
Составление конфигурационного файла Агента ПОДД для поcтавщика ЕСКС.pdf
, или по ссылке Составление конфигурационного файла Агента ПОДД для поcтавщика.Данные об идентификаторе агента ПОДД будут переданы заказчиком в архиве agent_[мнемоника системы].zip, который он должен сформировать на этапе Регистрации в СМЭВ4 в п. 2.
Пример заполненного конфига
# 3.15.0 spring: profiles: active: - QueryConsumer - ApiGwConsumer # Общие настройки агента agent: # Идентификатор агента id: 000000 ogrn: '0000000000000' use-ca: true keys: alias: '0000000000000 123456789 - Copy' password: '1Q-2ks3S<t4<' # Настройки подключения ко всем ЦОД с установленным ПО ядра data-center: # Конфигурация ядер nodes: - node-id: NODE1 broker-addresses: - host: 109.207.9.87 port: 6651 - host: 109.207.9.87 port: 6652 # Настройки подключения к Pulsar pulsar: client: serviceUrl: pulsar://podd.test.gosuslugi.ru:6650 auth: keycloak-oauth: auth-server: - url: https://podd.test.gosuslugi.ru:443/auth # Общий блок настроек для всех ядер default-node: pulsar: auth: enabled: true ntp: servers: - host: podd.test.gosuslugi.ru - host: i22dns02.unix.local ####### НЕ РЕДАКТИРОВАТЬ НИЖЕ ЭТОЙ СТРОКИ ####### core: mnemonic: MNSV48_3S broadcast-tenant: core_broadcast
Скопируйте сконфигурированный файл в директорию с Агентом СМЭВ 4:
cp (наименование файла) /opt/agent-podd/distr/einfahrt/application.yml
Создайте директорию certs:
mkdir /opt/agent-podd/distr/einfahrt/certs
Поместите сертификат, полученный с криптоконтейнером, в директорию /opt/agent-podd/distr/einfahrt/certs/.
Примечание
Необходимо предупредить заказчика, что для работы функционала будут использоваться сертификаты электронной подписи продуктивных систем.
Создайте директорию keys:
mkdir /opt/agent-podd/distr/einfahrt/keys
Поместите ключи в директорию /opt/agent-podd/distr/einfahrt/keys/example.000. Где example.000 название папки с ключами, например – HMAO24.000.
Измените права на директорию keys:
chown -R 1000 keys
Создайте директорию licenses:
mkdir /opt/agent-podd/distr/einfahrt/licenses
Разместите файл csp.txt в /opt/agent-podd/distr/einfahrt/licenses/ с лицензией КриптоПро CSP.
Загрузите образ Агента СМЭВ 4:
docker load < /opt/agent-podd/distr/einfahrt/image.tgz
Запустите Агент СМЭВ 4:
chmod +x /opt/agent-podd/distr/einfahrt/*.sh
bash /opt/agent-podd/distr/einfahrt/run.sh
\\ в случае запроса подтверждения нажать Y и Enter
Модуль интеграции с Витриной данных (Zircon)#
Установка#
Чтобы установить модуль интеграции с Витриной данных:
Установите API Jasper.
Обновите Diamond с переменной
gvDIAMOND_ENABLE_OUTBOX
в значенииtrue
.Укажите следующие переменные в файле vars.yml.
Важно
Файл vars_default.yml редактировать не нужно. Он содержит дефолтные значения переменных.
Чтобы изменить значение переменной из vars_default.yml, добавьте (продублируйте) переменную в vars.yml и укажите нужное значение – при установке оно будет перезаписано.
Название переменной |
Значение по умолчанию |
Описание переменной |
---|---|---|
vars.yml: |
||
gvZIRCON_INSTALL_DIR |
/opt/Zircon |
Директория, в которую будет установлен Zircon |
gvZIRCON_DATA_MART_URL |
http://10.4.1.53:52356 |
Адрес расположения Витрины данных |
gvZIRCON_DATA_MART_NAME |
GisogdDocuments_1_1 |
Логическое название схемы Витрины данных |
gvZIRCON_KAFKA_HOST |
10.4.1.53 |
Адрес расположения Kafka |
gvZIRCON_KAFKA_USERNAME |
guest |
Имя пользователя Kafka |
gvZIRCON_KAFKA_PASSWORD |
guest |
Пароль пользователя Kafka |
gvDIAMOND_ENABLE_OUTBOX |
true |
Флаг включения/отключения функционала регистрации событий размещения документов в ГИСОГД. Взможные значения: |
vars_default.yml: |
||
gvZIRCON_CONNECTION_STRING |
Server={{ gvPOSTGRESQL_SERVER }};Port={{ gvPOSTGRESQL_PORT }};Database={{ gvPOSTGRESQL_IAS_DB_NAME }};User Id={{ gvPOSTGRESQL_IAS_USER }};Password={{ gvPOSTGRESQL_IAS_USER_PASS }};ApplicationName=Zircon; |
Строка подключения к базе данных Geometa |
gvZIRCON_LOGS_TO_COLLECTOR |
false |
Флаг включения отправки логов в Loki |
gvZIRCON_TRACES |
false |
Флаг включения сбора трассировок |
gvZIRCON_MINIO_URL |
http://{{ gvGEOMETA_IP }}:9030 |
Адрес расположения хранилища Minio |
gvZIRCON_MINIO_ACCESS_KEY |
{{ gvMINIO_USER_LOGIN }} |
Ключ доступа файлового хранилища (Minio) |
gvZIRCON_MINIO_SECRET |
{{ gvMINIO_USER_PASS }} |
Секрет файлового хранилища (Minio) |
gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED |
false |
Флаг включения функционала полного импорта (перенос в Витрину данных тех документов, которые уже размещены в Diamond) |
gvZIRCON_EXLUDED_DOCUMENT_SCHEMAS |
[] |
Список алиасов проектов, с которых не нужно выгружать данные в рамках полного импорта |
gvZIRCON_DOCUMENT_UPLOAD_DOCS |
[] |
Список алиасов документов, которые будут выгружаться в витрину в рамках полного импорта |
gvZIRCON_DOCUMENT_UPLOAD_RATE |
100 |
Количество документов за одну итерацию, обрабатываемых во время полного импорта |
gvZIRCON_JASPER_CLIENT_ID |
geometa |
Клиент ID Jasper |
gvZIRCON_JASPER_CLIENT_SECRET |
secret |
Секрет клиента Jasper |
gvZIRCON_ZOOKEEPER_PORT |
2181 |
Порт ZooKeeper |
gvZIRCON_KAFKA_PORT |
9092 |
Порт, по которому доступна Kafka |
gvDIAMOND_OUTBOX_SEND_MESSAGES_INT_SEC |
30 |
Интервал обработки записи в таблице outbox.outbox_diamond |
gvZIRCON_TASK_CONFIGURATION_PERIOD_SECONDS |
1 |
Интервал обработки задач импорта |
Установите сервис Zircon с помощью тега
install_zircon
.
Примечание
Вместе с основным сервисом Zircon разворачивается и сервис Kafka.
Мониторинг отправляемых данных#
Diamond фиксирует информацию о новых зарегистрированных документах и исправлениях технических ошибок в таблице outbox.outbox_diamond, после чего передает в Kafka для дальнейшей передачи в Zircon.
В сервис передаются тип события, ключ объекта Geometa, регистрационный номер документа в ГИСОГД, алиасы схемы и размещённого документа. Эта информация записывается в поле [content] и имеет следующий вид:
{
"Timestamp":"2024-11-06T03:52:37.4185273Z",
"EventType":"Registered",
"SchemeAlias":"zircongo",
"DocumentAlias":"DocAdressAccept",
"DocumentKey":1000570000194017,
"RegistrationNumber":"42334561-13-2024-220"
}
После успешного получения информации о размещённом документе в Kafka в поле [processed] записывается дата обработки записи.
При возникновении ошибок дата обработки не заполняется, а в поле [error] отображается причина возникновения ошибки. Через указанное время в переменной gvDIAMOND_OUTBOX_SEND_MESSAGES_INT_SEC
Diamond повторно попытается отправить событие в очередь Kafka.
При получении записи из Kafka, сервис Zircon создает задачу в таблице zircon.import_task, соответствующую типу события. Возможные типы событий:
Registered – документ размещён в ГИСОГД;
TechnicalCorrection – исправлена техническая ошибка;
StatusChanged – изменён статус документа.
Для события с типом Registered создается задача с типом CREATE.
Для TechnicalCorrection и StatusChanged задача с типом UPDATE.
Также внутри Zircon формируются еще два типа задач: FULLIMPORT и RELATION.
Задачи FULLIMPORT создаются во время процесса полного импорта на каждый существующий в ГИСОГД документ.
Задачи с типом RELATION создаются, когда Zircone необходимо связать пару документов между собой.
Значение типа задачи записывается в столбец [type].
Описание таблицы задач zircon.import_task:
project
– схема проекта;
alias
– алиас размещённого документа;
geometa_id
– ключ объекта в Geometa;
type
– тип события;
reg_num
– регистрационный номер ГИСОГД;
date_insert
– дата создания записи;
date_proccess
– дата обработки записи;
status
– статус отправки документа в Витрину;
description
– описание ошибок, произошедших при обработке задачи.
Примечание
Проект, алиас, ключ Geometa и регистрационный номер документа берутся из события из очереди Kafka.
После успешной отправки данных в Витрину проставляется статус COMPLETE и дата обработки записи, после чего в таблицу zircon.state записываются отправленные документы и связанные c документом объекты.
Существующие статусы задач:
PENDING – новая необработанная задача;
ERROR – задача обработана с ошибкой и будет обработана повторно;
COMPLETE – задача успешно обработана.
После проставления статуса COMPLETE и даты обработки записи в таблицу zircon.state записываются отправленные в Витрину документы и связанные c документом объекты.
Таблица zircon.state содержит следующие столбцы:
schema
– схема проекта;
alias
– алиас документа или связанного с ним объекта, размещённого в Витрине;
data_mart_key
– ключа объекта в Витрине;
date_insert
– дата создания записи.
Полный импорт#
Для того чтобы выгрузить в Витрину данных документы, которые были размещены ранее, до запуска работы сервиса Zircon, в нём реализована возможность полного импорта – выгрузки уже размещённых документов.
Чтобы настроить полную выгрузку данных:
Установите для переменной
gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED
значениеtrue
.Заполните переменную
gvZIRCON_DOCUMENT_UPLOAD_DOCS
массивом алиасов тех документов, которые необходимо выгрузить в Витрину в рамках полного импорта.В рамках работы основного сервиса по алиасам из массива будут найдены все ранее размещённые в ГИСОГД документы и занесены в таблицу zircon.import_task для дальнейшей отправки в Витрину данных.
Важно
Полный импорт необходим только при первом запуске сервиса, в дальнейшем его следует отключить.
Чтобы отключить полный импорт, установите для переменной gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED
значение false
.
Работы на стороне заказчика перед подключением модуля#
Для сервера, на котором будет расположена Витрина данных, выполнить установку КриптоПро CSP v5.0.10003 (Сертифицированная). На это ПО нужны лицензии, можно найти в прайс-листе КриптоПро. ПО «КриптоПро CSP» необходимо для подписания СМЭВ-запросов. Данный формат подписи является обязательным условием для взаимодействия с ПО Витрина данных и Агент ПОДД СМЭВ.
Зарегистрироваться в СМЭВ 4.
Зарегистрировать Витрину данных в ЕИП НСУД.
Регистрация в СМЭВ 4#
Для успешной настройки взаимодействия необходимо пройти регламентные процедуры, предназначенные для получения возможности выступать в СМЭВ4 в качестве Поставщика сведений и владельца Витрины данных.
Инструкция для выполнения процедур регистрации участника взаимодействия и информационной системы в СМЭВ4:
Пройдите регистрацию участника взаимодействия (УВ) в СМЭВ4:
Примечание
Регистрировать Участника и ИС в тестовой среде СМЭВ4 не нужно, если информационная система планируется использоваться та же, что и для СМЭВ3.
1.1. Заполните форму Заявка на присоединение к Регламенту обеспечения предоставления государственных услуг и исполнения государственных функций в электронном виде.
Желтым цветом в форме отмечено то, что необходимо заполнить.
Правила заполнения:
В заявке на присоединение укажите данные участника, который является владельцем информационной системы, регистрируемой в СМЭВ4.
Основание подключения – НПА, на основании которого участник имеет право осуществлять межведомственное взаимодействие (в большинстве случаев это Положение о создании системы).
1.2. В Личном кабинете СЦ создайте запрос на регистрацию УВ в СМЭВ с приложением заполненного и подписанного документа Заявка_на_присоединение_к_СМЭВ.docx.
Пройдите регистрацию информационной системы (ИС) в СМЭВ4 в тестовой среде:
2.1. В ЛКУВ перейдите на вкладку Информационные системы → Мои системы:
2.2. В разделе Тестовая среда выберите систему ГИСОГД, для которой будет настраиваться подключение к СМЭВ4:
2.3. На вкладке Подключение к СМЭВ4 → Роль в СМЭВ4 выберите редактирование роли:
2.4. Выберите роль системы Поставщик и потребитель:
2.5. Выберите действие Скачать текущий установочный пакет:
Будет скачан zip-архив с наименованием agent_[мнемоника системы].zip.
Передайте данный архив руководителю проекта.
Подпишите лицензионный договор.
Необходимо подписать лицензионный договор на передачу типового тиражируемого программного обеспечения «Витрина данных» (далее – ПО витрины) и программного обеспечения агента (далее – ПО агента ПОДД СМЭВ) подсистемы обеспечения доступа к данным СМЭВ (далее – ПОДД СМЭВ).
Примечание
Подписание лицензионного договора осуществляется стороной, являющейся владельцем серверов, на которых будет разворачиваться Витрина данных.
Скачать типовую форму лицензионного договора
Подписанный договор отправьте в Минцифры по МЭДО. Также оригинал подписанного договора отправьте Почтой России или курьером.
Заполните анкету для формирования требований к инфраструктуре.
В Минцифры России по МЭДО предоставьте заполненную анкету для формирования требований к инфраструктуре для развёртывания ПО витрины, ПО агента ПОДД СМЭВ.
Скачать пример заполнения типовой формы анкеты
Руководителю проекта необходимо передать заказчику данные для заполнения анкеты. Для получения данных
скачайте
и выполните скрипт.Передайте полученные рекомендации к инфраструктуре.
После выполнения п. 4 от представителя Минцифры России будут направлены ответственным РОИВ рекомендации по инфраструктуре.
Передайте руководителю проекта полученные рекомендации. На их основании будут сформированы рекомендуемые требования к инфраструктуре для развёртывания ПО витрины и ПО агента ПОДД СМЭВ.
Пройдите регистрацию информационной системы в СМЭВ4 в продуктивной среде.
Выполнить все те же действия из п. 2 только для раздела Продуктивная среда.
Будет скачан zip-архив с наименованием agent_[мнемоника системы].zip.
Передайте данный архив руководителю проекта.
Заполните заявку для дополнительной настройки защищённого канала связи до СМЭВ 4.
Для подключенных к СМЭВ3 участников в рамках организации работ по сетевому взаимодействию необходима донастройка криптоканала.
Для этого необходимо заполнить форму Заявка для дополнительной настройки защищенного канала связи до СМЭВ 3 и СМЭВ 4.
Через Личный кабинет СЦ направьте информационный запрос о готовности к настройке криптооборудования. Обращение должно иметь тип в соответствии с примером ниже:
Тип запроса: Перенастройка криптооборудования //Оформление письма Тема: Перенастройка криптооборудования <Наименование ведомства> Тело письма: Прошу выполнить перенастройку криптооборудования <Наименование ведомства>. Причина перенастройки: подключение ИС к СМЭВ4 в качестве Поставщика данных. Ответственное лицо: ФИО, должность, контактный телефон, E-mail. Технический специалист (как минимум двое): ФИО, должность, контактный телефон, E-mail. Вложение: Документ «Форма_для_доп_настройки_защещенного_канала_связи_СМЭВ.docx»
Регистрация витрины данных в ЕИП НСУД#
Следующим этапом после прохождения регламентных процедур необходимо пройти регистрацию Витрины данных СМЭВ4 в ЕИП НСУД.
Регистрация витрины данных состоит из следующих этапов:
Заведение модели данных в ЕИП НСУД.
Регистрация заведенной модели в Ядре ПОДД СМЭВ4.
Перед началом регистрации выделите ответственного для работы с ЕИП НСУД, убедитесь в предоставлении прав для работы с системой. Для этого потребуется учётная запись ЕСИА пользователя, привязанная к организации.
Приступите к регистрации витрины в соответствии с инструкцией на ЕСКС.
Более подробная информация о том, как получить доступ и начать работу, представлена на портале ЕИП НСУД.