DWH Monitoring
DWH Monitoring - часть системы Platform UI, основным функционалом которой является мониторинг ETL процессов.
Создание и управление инстансом
Создание инстанса
Для отображения информации об инстансе в модуле Control, необходимое пройти процесс его создания. модуле Control предоставляет администраторам возможность добавления метаданных об инстансе с помощью специализированной формы.
Процесс создания инстанса:
-
Откройте главную страницу модуля Control.
-
Нажмите кнопку «+ инстанс».
- После нажатия откроется форма для ввода параметров инстанса.
Таблица. Список параметров для заполнения
| Параметр | Описание параметра | Обязательность |
|---|---|---|
| Продукт | Тип продукта, инстанс которого необходимо создать. Для создания инстанса DWH Monitoring необходимо выбрать этот продукт из выпадающего списка | Да |
| Инстанс | Наименование создаваемого инстанса в интерфейсе модуля Control | Да |
| Описание | Описание создаваемого инстанса в интерфейсе модуля Control | Нет |
-
После заполнения всех параметров, администратор должен проверить правильность и актуальность введенных данных.
-
Чтобы завершить процесс создания инстанса, нажмите кнопку «Добавить».
После успешного добавления инстанс будет отображаться в списке на главной странице модуля Control.
Редактирование метаданных инстанса
Помимо создания новых инстансов, модуль Control предоставляет возможность редактирования информации о существующих инстансах. Для выполнения этой операции администратору необходимо:
-
На главной странице модуля Control выбрать инстанс, который нужно изменить.
-
Нажать на кнопку «Редактировать инстанс».
После нажатия на кнопку откроется форма редактирования инстанса. Данная форма содержит предварительно заполненные текущие значения параметров инстанса, которые можно изменить.
Таблица. Список параметров формы для редактирования
| Параметр | Доступность для редактирования |
|---|---|
| Продукт | Нет |
| Инстанс | Да |
| Описание | Да |
-
После внесения изменений администратор должен проверить правильность и актуальность данных.
-
Для завершения процедуры редактирования нажмите кнопку «Сохранить».
После успешного сохранения информация об инстансе будет обновлена и доступна для просмотра на главной странице модуля Control.
Архивирование инстанса
В модуле Control предусмотрена функция архивирования инстансов, которая позволяет администратору сохранять текущее состояние инстанса и удалять его из активного списка. Для архивирования инстанса выполните следующие шаги:
-
На главной странице модуля Control выберите нужный инстанс.
-
Нажмите кнопку со списком доступных действий рядом с выбранным инстансом (1).
-
В выпадающем меню выберите опцию «Архивировать инстанс» (2).
После этого появится диалоговое окно для подтверждения архивирования инстанса.
- Если администратор подтверждает действие нажатием кнопки «Выполнить», инстанс архивируется. Это действие приводит к удалению инстанса из списка активных на главной странице, при этом его текущее состояние сохраняется в виде снимка в модуле Control.
Архивированные инстансы можно просматривать и восстанавливать с вкладки «Обзор» в разделе управления инстансами модуля Control. Подробнее про работу со снимками см. в разделе Управление сохраненными снимками инстансов.**
Восстановление инстанса
Модуль Control предоставляет возможность восстановления инстансов из созданных ранее снимков. Для выполнения этой операции необходимо:
- На главной странице модуля Control нажать кнопку «Добавить инстанс».
- В появившейся форме выбрать опцию «Восстановить».
- В поле Продукт необходимо выбрать продукт DWH из выпадающего списка. После этого станет доступно поле формы «Снимок инстанса» для заполнения.
-
В поле выбора снимка инстанса из списка доступных выбрать тот снимок, который нужно восстановить. Снимок инстанса содержит информацию об инстансе, его инфраструктуре, платформах и сервисах, а также расписание заданий, периоды приостановки заданий и журнал выполненных задач.
-
После выбора снимка поля «Инстанс» и «Описание» будут автоматически заполнены текущими значениями, но их можно редактировать.
Администратору будут предложены следующие опции для восстановления:
-
Метаданные инстанса: это обязательный параметр, который восстанавливается всегда. Он содержит информацию об инфраструктуре инстанса, его платформах и сервисах.
-
Расписание заданий.
-
Периоды приостановки заданий.
-
Журнал выполненных заданий (с возможностью указания даты начала для восстановления журнала).
Таблица. Список параметров для заполнения
| Параметр | Обязательность |
|---|---|
| Продукт | Да |
| Снимок инстанса | Да |
| Инстанс | Да |
| Описание | Нет |
После завершения ввода данных нужно убедиться в их правильности и актуальности. Для завершения процедуры восстановления необходимо нажать кнопку «Добавить». После успешного сохранения инстанс станет доступен на главной странице модуля Control в списке инстансов.
Настройка параметров конфигурации кластера
Настройка параметров конфигурации DWH Monitoring
На странице «Конфигурации» во вкладке «Инстанс» представлены все ключевые параметры продукта DWH (1), обеспечивающие оптимальную работу системы и её взаимодействие с кластерами. Интерфейс страницы конфигураций включает удобный поиск (2), позволяющий быстро находить нужные параметры. Изменение их значений возможно через интуитивно понятную форму редактирования, которая открывается при нажатии на кнопку редактирования (3) рядом с параметром или при двойном клике по его строке. После внесения изменений администратор может применить их, нажав на кнопку «Сохранить» в окне редактирования.
Таблица. Список параметров на странице конфигурации
| ID параметра | Наименование параметра | Описание параметра |
|---|---|---|
| 1 | opensearch_log_login | Логин для просмотра логов Opensearch |
| 2 | opensearch_log_password | Пароль для просмотра логов Opensearch |
Просмотр истории версии параметров конфигурации кластера
Для параметров, которые сохраняются на стороне модуля Control, предусмотрена возможность просмотра истории их изменений. Эта функция помогает пользователям отслеживать изменения, которые вносились в конфигурации, фиксируя дату, время и пользователя, внесшего корректировки. Это особенно полезно для анализа состояния системы и решения возможных проблем.
Чтобы воспользоваться этой функцией, необходимо зайти на страницу «Конфигурации». После этого достаточно нажать на кнопку истории изменений напротив нужного параметра, чтобы открыть форму со списком всех правок, внесенных в этот параметр. Каждое изменение сопровождается отметкой времени и датой, что позволяет легко отследить эволюцию значения параметра. Текущее значение выделяется с помощью метки «текущее», что упрощает ориентирование в списке изменений.
SSL-сертификаты
Для работы с SSL-сертификатами в интерфейсе модуля Control нужно перейти в соответствующую вкладку на странице «Конфигурации» — «SSL-сертификаты». На открывшейся странице будет отображен список сертификатов с параметрами:
-
Поставщик
-
Корневой сертификат
-
Наименование
-
SAN домены (Subject Alternative Names)
-
Срок действия
-
Период просрочки
Основные функции страницы:
- Загрузка сертификатов: Необходимо нажать на кнопку «Загрузить», чтобы открыть модальное окно загрузки. В этом окне можно добавить необходимые сертификаты. После завершения загрузки необходимо нажать «Загрузить», чтобы сохранить данные для инстанса DWH, и таблица со списком сертификатов обновится.
- Скачивание сертификатов:
- Для загрузки всех сертификатов необходимо нажать на кнопку «Скачать», после чего откроется окно подтверждения, и сертификаты будут скачаны в формате *pem.
- Чтобы скачать отдельные сертификаты, необходимо отметить нужные сертификаты чек-боксами и нажать на «Скачать», после чего откроется окно подтверждения, и сертификаты будут скачаны в формате pem.
- Удаление сертификатов:
- Для удаления всех сертификатов необходимо нажать на кнопку «Удалить все». Появится модальное окно подтверждения, после которого вся информация о сертификатах будет удалена, и таблица обновится.
- Для удаления нескольких сертификатов необходимо отметить их чек-боксами и нажать на «Удалить». После подтверждения выбранные сертификаты будут удалены.
- Чтобы удалить один конкретный сертификат, необходимо нажать кнопку «Удалить» рядом с ним. В модальном окне подтверждается удаление.
После любого удаления информация будет обновлена, и таблица сертификатов покажет актуальные данные.
Обзор продукта DWH Monitoring
Обзор DWH
На странице «Обзор DWH» представлен полный список объектов инстанса продукта DWH Monitoring.
Объект
Объект - основная сущность продукта DWH Monitoring. Объектом может являться таблица в БД, текстовый файл, электронная таблица и т.д. Объект привязан к слою, на котором он располагается. Объекты могут быть сгруппированы внутри слоя (группы) или независимо от слоя (логические группы).
Для каждого объекта отображается следующая информация:
-
Имя объекта;
-
Схема объекта;
-
Продукт, к которому относится объект;
-
Статус объекта.
При наличии комментария к объекту информация о нем также отображается вместе с датой комментария.
При выборе объекта на странице отображаются связи между выбранным объектом и другими объектами на соседних слоях с указанием направления.
Сброс выделенных объектов осуществляется по клику на любую точку вне объектов, сворачивании группы с выбранным объектом и/или любым применением фильтров, исключающих выбранный объект. Если был выбран один объект, то сброс выделения возможен также путем повторного клика на этот объект.
При двойном нажатии на объект открывается страница, которая содержит:
-
Информационная панель объекта (1).
-
Комментарии объекта (2).
-
Вкладка «Обзор» (3).
-
Вкладка заданий объекта (4).
В информационной панели отображается следующая информация:
-
Объект: название объекта.
-
Статус: текущий статус объекта.
-
Путь к объекту.
-
Слой: слой, к которому принадлежит объект.
-
Группа: группа, к которой принадлежит объект.
-
Дата актуальности: дата последнего обновления информации об объекте.
В выпадающем списке действий пользователю доступно удаление объекта. При нажатии на кнопку удаления объекта открывается модальное окно подтверждения удаления объекта.
В блоке комментария отображается тип комментария, дата создания комментария и сам текст комментария. В выпадающем списке действий администратору доступно изменение комментария, удаление комментария и просмотр истории изменений комментария.
При нажатии на «История изменений» открывается модальное окно со списком изменений комментариев объекта.
При нажатии на «Изменить» администратор может изменить текущий комментарий или, при отсутствии комментария, создать новый в открывшемся модальном окне.
При нажатии на «Удалить» текущий комментарий объекта удалится без подтверждения удаления.
Вкладка «Обзор» отражает количество выполненных, проваленных заданий и их общее количество, а также среднюю и последнюю продолжительность завершения задания (1).
Также отображается график (3) за указанный промежуток времени (2) по выполненным, проваленным и работающим заданиям.
на странице объекта
Во вкладке «Задания» отображается список заданий, которые связаны с объектом. Для каждого задания отображается название задания, описание задания и схема расписания выполнения.
Администратор может разорвать связь между заданием и объектом с помощью кнопки «Удалить» напротив конкретного объекта. После нажатия открывается модальное окно подтверждения удаления связи.
Группа
Группа - совокупность объектов внутри одного слоя данных, сгруппированных по определенному признаку. Для удобства чтения информации группы объектов могут быть свернуты. Объекты без определенной группы формируются в отдельную группу «Unknown», которая отображается последней в слое.
Слой
Под слоями подразумеваются этапы ETL-процессов. Каждый слой имеет свое название и содержит набор объектов, которые имеют свои атрибуты.
Действия с объектам
Пользователю доступны следующие действия с объектам:
-
Фильтрация:
-
По типу объекта: При выборе данного фильтра происходит фильтрация объектов на всех слоях по признаку принадлежности к определенному типу объектов.
- По принадлежности к продукту: При выборе данного фильтра происходит фильтрация объектов на всех слоях по признаку принадлежности к определенному продукту.
- По статусу объектов: При выборе определенного статуса объектов происходит фильтрация объектов на всех слоях по выбранному статусу.
- Поиск: Полнотекстовый поиск осуществляется по имени объекта на всех слоях по маске «%текст%». Текст может содержать символы кириллицы, латиницы, числа. В результате пользователь видит все релевантные значения. Ранее наложенные фильтры при поиске сохраняются, в этом случае поиск значений происходит на ограниченной выборке. Выделение объекта/объектов при полнотекстовом поиске сбрасывается.
На странице доступна настройка количества объектов в строке через кнопку «Настройки».
Также через эту кнопку можно выключить отображение пустых слоев и групп.