Article content
Витрина данных ГИСОГД становится единой точкой передачи градостроительных сведений в федеральные и региональные системы. Чтобы данные из ГИСОГД можно было публиковать в витрине, необходим отдельный слой, который обеспечивает их корректную обработку и контроль перед передачей.
Эту задачу решает ETL-сервис витрины данных ГИСОГД. В его новой версии мы сосредоточились на прозрачности обработки данных и инструментах для их анализа и контроля качества.
Рассказываем, как он работает
Когда документ размещают в ГИСОГД, он попадает в интеграционный контур и преобразуется в XML-объекты. В зависимости от типа документа их количество может достигать нескольких десятков, а для крупных градостроительных документов — более сотни. Все эти объекты поступают в ETL-сервис, который работает на стороне витрины данных. Здесь они проверяются, связываются между собой в рамках одного документа, приводятся к требованиям формата витрины и публикуются туда.
Что изменилось
Обновили интерфейс
Работая над новым интерфейсом, мы думали об удобстве пользователей. Один из запросов заключался в том, чтобы можно было быстро понять, к какому именно документу ГИСОГД относится тот или иной объект.
В ETL-сервисе для этого появилась отдельная сущность — документ. Теперь все объекты автоматически объединяются в единый документ, внутри которого отображается регистрационный номер, дата размещения, раздел ГИСОГД, реквизиты документа и его текущий статус. Документы можно искать по номеру, фильтровать по виду, статусу или периоду размещения, а внутри каждого документа сразу видеть все связанные с ним объекты и состояние их обработки. В результате специалист работает с целостной картиной по каждому документу, что позволяет быстрее находить нужные данные, контролировать полноту обработки документа и оперативно решать ошибки в передаче объектов на витрину, если такие возникают.
Статусы документов и объектов получили понятные русскоязычные названия, и по многочисленным просьбам добавили тёмную тему!
Добавили граф зависимостей
Список связанных объектов в документе доступен в виде графа зависимостей — одна из главных фишек обновления. Он показывает, какие объекты поступили и уже обработаны, какие находятся в процессе проверки, а каких ещё не начали обрабатывать.
Состояние объектов отображается непосредственно в графе: зелёный — объект обработан успешно, красный — есть ошибка, серый — объект находится в обработке. Пунктиром обозначаются отсутствующие зависимости.
Система заранее знает, какие объекты обязательны для публикации, и следит, все ли они поступили. Пока все зависимые объекты не будут обработаны, документ не уходит в витрину данных, а остальные объекты находятся в состоянии ожидания. Такой контроль помогает не допустить публикации неполных или несогласованных данных и сразу увидеть, чего не хватает для завершения обработки.
Улучшили диагностику ошибок
Сервис автоматически выполняет несколько уровней проверки: контролирует корректность кодировки, соответствие XML утверждённой XSD-схеме, выполняет форматно-логический контроль, проверяет справочные значения и корректность заполнения отдельных полей.
Если найдена ошибка, пользователь сразу видит её описание и может скачать XML-файл, чтобы передать его специалисту для дальнейшего анализа. Это сокращает время от обнаружения ошибки до её исправления.
Внедрили режим тестирования
Предусмотрели и специальную тестовую среду. Для прохождения проверки со стороны Минстроя России в сервисе реализована страница, позволяющая загружать тестовые данные.
После загрузки сервис определяет количество найденных объектов, выполняет полный цикл проверки и отображает результаты обработки, включая количество успешно обработанных объектов, найденные ошибки и общее время выполнения проверки. Все ошибки затем доступны для детального анализа на странице объектов.
Настроили отчётность
Для анализа результатов передачи данных добавили отчёты. Пользователь выбирает нужный период, после чего сервис сам собирает отчёт с информацией: сколько документов и объектов обработано, сколько данных успешно опубликовано, какие были ошибки и в каком состоянии обмен сейчас.
Этот отчёт позволяет быстро сверить результаты передачи данных и использовать их при взаимодействии с федеральными ведомствами.
Обновленный ETL-сервис уже закрывает полный цикл обработки данных: от поступления информации из ГИСОГД до отправки в витрину. В сервисе доступны страницы документов и объектов, поиск и фильтрация, граф зависимостей, диагностика ошибок, тестовый режим и отчётность.
Дальше хотим развивать аналитику: добавлять новые отчёты и статистику, фильтрацию по муниципальным образованиям и другие функции, ориентируясь на задачи специалистов, которые ежедневно сопровождают передачу данных и отвечают за её результат.
