Руководство по установке#

Модуль «ETL-сервис Универсальной витрины данных» предназначен для загрузки данных из различных источников, преобразования данных и дальнейшей передачи данных в Универсальную витрину данных.

Сервис должен соответствовать требованиям ЕФТТ Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации к региональной универсальной витрине данных, опубликованным в рамках письма от 07.07.2025 № ГБ-П30-65454 Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации.

Модуль является частью опорной системы с прямой загрузкой в региональную витрину данных.

Подготовка к установке Системы#

  • Перед развертыванием или обновлением Системы необходимо предварительно установить с помощью Ansible следующие программные компоненты в указанном порядке:

    1. PostgreSQL.

    2. Docker.

    3. Nginx.

    4. Consul.

    5. NetCore.

    6. Kafka.

  • При использовании ОС Windows необходимо предварительно установить Docker.

  • При использовании ОС Unix необходимо предварительно установить средства поддержки контейнеризации Docker.

  • Развертывание или обновление Системы с помощью Ansible возможно при наличии прямого доступа по SSH к необходимому стенду с рабочего ПК.

  • Развертывание или обновление Системы с помощью Ansible возможно при использовании Ansible непосредственно на сервере приложения или ином сервере, который находится в той же локальной сети, что и сервер приложения.

Создание и редактирование файла inventory.yml#

  • Файл inventory.yml представляет собой файл инвентаризации, в котором описаны основные группы хостов, их имена и IP-адреса для подключения.

Установка#

Чтобы установить модуль:

  1. Установите API Jasper.

  2. Укажите переменные в файле vars.yml.

Название переменной

Значение по умолчанию

Описание переменной

vars.yml:

gvETL_INSTALL_DIR

/opt/Zircon

Директория, в которую будет установлен модуль

gvETL_DATA_MART_URL

http://10.4.1.53:8080

Адрес расположения

gvETL_DATA_MART_NAME

GisogdDocuments_1_1

Логическое название схемы

gvETL_KAFKA_HOST

10.4.1.53

Адрес расположения Kafka

gvETL_KAFKA_USERNAME

guest

Имя пользователя Kafka

gvETL_KAFKA_PASSWORD

guest

Пароль пользователя Kafka

vars_default.yml:

gvETL_CONNECTION_STRING

Server={{ gvPOSTGRESQL_SERVER }};Port={{ gvPOSTGRESQL_PORT }};Database={{ gvPOSTGRESQL_IAS_DB_NAME }};User Id={{ gvPOSTGRESQL_IAS_USER }};Password={{ gvPOSTGRESQL_IAS_USER_PASS }};ApplicationName=Etl;

Строка подключения к базе данных

gvETL_LOGS_TO_COLLECTOR

false

Флаг включения отправки логов

gvETL_TRACES

false

Флаг включения сбора трассировок

gvETL_MINIO_URL

http://{{ gvGEOMETA_IP }}:9030

Адрес расположения хранилища Minio

gvETL_MINIO_ACCESS_KEY

{{ gvMINIO_USER_LOGIN }}

Ключ доступа файлового хранилища

gvETL_MINIO_SECRET

{{ gvMINIO_USER_PASS }}

Секрет файлового хранилища

gvZIRCON_DOCUMENT_MASS_UPLOAD_ENABLED

false

Флаг включения функционала