Greenplum
Создание и управление инстансом
Создание инстанса
Для отображения информации об инстансе в модуле Control, необходимое пройти процесс его создания. Модуль Control предоставляет администраторам возможность добавления метаданных об инстансе с помощью специализированной формы.
Процесс создания инстанса:
-
Откройте главную страницу модуля Control.
-
Нажмите кнопку «Добавить инстанс».
- После нажатия откроется форма для ввода параметров инстанса.
Таблица. Список параметров для заполнения
| Параметр | Описание параметра | Обязательность |
|---|---|---|
| Продукт | Тип продукта, инстанс которого необходимо создать. Для создания инстанса Greenplum необходимо выбрать этот продукт из выпадающего списка | Да |
| Инстанс | Наименование создаваемого инстанса в интерфейсе модуля Control | Да |
| Описание | Описание создаваемого инстанса в интерфейсе модуля Control | Нет |
-
После заполнения всех параметров, администратор должен проверить правильность и актуальность введенных данных.
-
Чтобы завершить процесс создания инстанса, нажмите кнопку «Добавить».
После успешного добавления инстанс будет отображаться в списке на главной странице модуля Control.
Редактирование метаданных инстанса
Помимо создания новых инстансов, модуль Control предоставляет возможность редактирования информации о существующих инстансах. Для выполнения этой операции администратору необходимо:
-
На главной странице модуля Control выбрать инстанс, который нужно изменить.
-
Нажать на кнопку «Редактировать инстанс».
После нажатия на кнопку откроется форма редактирования инстанса. Данная форма содержит предварительно заполненные текущие значения параметров инстанса, которые можно изменить.
Таблица. Список параметров формы для редактирования
| Параметр | Доступность для редактирования |
|---|---|
| Продукт | Нет |
| Инстанс | Да |
| Описание | Да |
-
После внесения изменений администратор должен проверить правильность и актуальность данных.
-
Для завершения процедуры редактирования нажмите кнопку «Сохранить».
После успешного сохранения информация об инстансе будет обновлена и доступна для просмотра на главной странице модуля Control.
Архивирование инстанса
В модуле Control предусмотрена функция архивирования инстансов, которая позволяет администратору сохранять текущее состояние инстанса и удалять его из активного списка. Для архивирования инстанса выполните следующие шаги:
-
На главной странице модуля Control выберите нужный инстанс.
-
Нажмите кнопку «Архивировать инстанс».
- После этого появится диалоговое окно для подтверждения архивирования инстанса.
- Если администратор подтверждает действие нажатием кнопки «Выполнить», инстанс архивируется. Это действие приводит к удалению инстанса из списка активных на главной странице, при этом его текущее состояние сохраняется в виде снимка в модуле Control.
Архивированные инстансы можно просматривать и восстанавливать с вкладки «Обзор» в разделе управления инстансами модуля Control. Подробнее про работу с снимками см. в разделе Управление сохраненными снимками инстансов.
Восстановление инстанса
Модуль Control предоставляет возможность восстановления инстансов из созданных ранее снимков. Для выполнения этой операции необходимо:
- На главной странице модуля Control нажать кнопку «+ Инстанс».
- В появившейся форме выбрать опцию «Восстановить».
- В поле Продукт необходимо выбрать продукт Greenplum из выпадающего списка. После этого станет доступно поле формы для заполнения снимка инстанса.
-
В поле выбора снимка инстанса из списка доступных выбрать тот снимок, который нужно восстановить. Снимок инстанса содержит информацию об инстансе, его инфраструктуре, платформах и сервисах, а также расписание заданий, периоды приостановки заданий и журнал выполненных задач.
-
После выбора снимка поля «Инстанс» и «Описание» будут автоматически заполнены текущими значениями, но их можно редактировать.
Администратору будут предложены следующие опции для восстановления:
-
Метаданные инстанса: это обязательные параметр, который восстанавливается всегда. Он содержит информацию об инфраструктуре инстанса, его платформах и сервисах.
-
Расписание заданий.
-
Периоды приостановки заданий.
-
Журнал выполненных заданий (с возможностью указания даты начала для восстановления журнала).
Таблица. Список параметров для заполнения
| Параметр | Обязательность |
|---|---|
| Продукт | Да |
| Снимок инстанса | Да |
| Инстанс | Да |
| Описание | Нет |
После завершения ввода данных нужно убедиться в их правильности и актуальности. Для завершения процедуры восстановления необходимо нажать кнопку «Добавить». После успешного добавления инстанс станет доступен на главной странице модуля Control в списке инстансов.
Запуск заданий
В главном меню модуля Control для продукта Greenplum администратору доступен вызов заданий для конкретного инстанса. Для этого необходимо нажать кнопку со списком доступных действий рядом с выбранным инстансом и выбрать нужное для запуска задание.
Сервис Инфраструктура
Возможности вкладки Хосты
На странице «Инфраструктура» во вкладке «Хосты» инстанса продукта Greenplum отображается список хостов, на которых развернут сам инстанс. Для каждого хоста отображаются следующие значения:
-
Название: DNS-адрес.
-
Внешний IP-адрес.
-
Внутренний IP-адрес.
-
Статус: текущее состояние хоста.
-
Сервисы: подключенные сервисы к хосту.
-
Логин пользователя.
-
CPU, %: загруженность ЦП.
-
RAM, ГБ: загруженность оперативной памяти.
-
Диск, ГБ: занятое пространство на диске.
-
Недоступные диски: количество проблемных дисков на хосте.
Пользователю доступна настройка хостов с помощью кнопки «Редактировать».
Откроется модальное окно с текущими настройками хоста, где их можно редактировать. Для сохранения изменений необходимо нажать кнопку «Сохранить», после чего информация в таблице обновится.
Также пользователю доступна настройка установленных на хосте сервисов. Для этого нужно нажать кнопку «Настроить» конкретного хоста.
Откроется модальное окно с текущими установленными сервисами, где можно добавлять и удалять сервисы. Для сохранения изменений необходимо нажать кнопку «Сохранить», после чего информация в таблице обновится.
Для создания нового хоста нужно нажать кнопку «Добавить» над списком хостов.
В открывшемся окне заполняются данные хоста: название хоста, внутренний IP-адрес, логин пользователя и, в зависимости от способа подключения, пароль пользователя или SSH-ключ.
Для удаления хоста необходимо нажать кнопку «Удалить» рядом с выбранным элементом.
После нажатия этой кнопки откроется модальное окно подтверждения удаления хоста. После подтверждения пользователем окно будет закрыто, таблица со списком хостов обновится.
Настройка параметров конфигурации кластера
Настройка параметров конфигурации интеграции с Platform UI
Настройка параметров конфигурации в системе Platform UI — это гибкий процесс, который позволяет администратору управлять интеграцией и мониторингом состояния кластеров. На странице конфигураций в модуле Control по умолчанию открывается вкладка «Интеграция с СМ».
В данной вкладке отображается список параметров инстанса продукта Greenplum (1), которые влияют на работу инстанса внутри модуля Control.
Интерфейс страницы конфигураций включает поиск по параметрам (2). Изменять их значения возможно через форму редактирования, которая открывается при нажатии на кнопку редактирования (3) рядом с параметром или при двойном клике по его строке. Также интерфейс содержит кнопку «История изменений» (4) для просмотра истории изменений отдельного параметра.
При нажатии на кнопку редактирования или двойное нажатие на строку с параметром открывается окно для внесения изменений. Для сохранений внесенных изменений нужно нажать на кнопку «Сохранить». После нажатия этой кнопки, окно редактирования закроется и таблица обновится в соответствие с внесенными изменениями.
После нажатия на кнопку «История изменений» открывается модальное окно, содержащее все значения, которые вносили в данный параметр, с указанием текущего и даты изменений с указанием даты и времени изменения.
Таблица. Список параметров на странице конфигурации
| ID параметра | Наименование параметра | Описание параметра |
|---|---|---|
| 1 | gp_inst_prometheus_link | URL-адрес Prometheus для инстанса. Данный URL вводится с указанием протокола (например, https:// или http://). Ссылка на Grafana доступна в боковом меню, раздел «Мониторинг» |
| 2 | gp_inst_grafana_link | URL-адрес Grafana для инстанса. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 3 | gp_inst_pxf_link | URL-адрес PXF для инстанса. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 4 | gp_inst_monitor_query_link | URL-адрес для мониторинга запросов инстанса GP. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 5 | gp_inst_monitor_gp_link | URL-адрес для мониторинга инстанса GP. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 6 | gp_metric_collection_delay_ms | Частота сбора метрик, значение в миллисекундах |
| 7 | gp_monitor_alert_delay_ms | Периодичность мониторинга alert-ов, значение в миллисекундах |
| 8 | gp_jump_host | Наименование jump-хоста |
| 9 | gp_log_link | URL-адрес сервиса логов. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 10 | gp_log_login | Логин сервиса логов |
| 11 | gp_log_password | Пароль сервиса логов |
| 12 | port_agent | Порт сервиса Agent |
| 13 | port_api | Порт сервиса Api |
| 14 | port_metric_filter | Порт сервиса Metric Filter |
| 15 | port_metric_monitor | Порт сервиса Metric Monitor |
| 16 | port_sql_exporter | Порт сервиса sql_exporter |
| 17 | port_node_exporter | Порт сервиса node_exporter |
| ### Настройка параметров конфигурации Greenplum в интерфейсе модуля Control |
Для работы с параметрами на странице «Конфигурации» инстанса есть вкладка «Параметры GreenPlum». Для удобства редактирования параметров, все они отображаются единым списком (1), без пагинации. Также можно выбрать параметры конкретного inventory-файла в верхней части вкладки (2) над списком параметров.
Для внесения изменений в редактируемые параметры нужно нажать на кнопку «Редактировать» (3) в конце строки. Для просмотра истории изменений конкретного параметра интерфейсом предусмотрена кнопка «История изменений» (4) в конце строки каждого параметра.
Для поиска конкретного параметра интерфейс модуля Control содержит строку «Поиск» (5).
Настройка параметров файла Postgresql.conf
Настройка параметров файла Postgresql.conf может осуществляться во вкладке «Postgresql.conf» на странице «Конфигурации» инстанса Greenplum. В данной вкладке отображается список параметров (1) файла Postgresql.conf. Редактировать конкретный параметр можно нажатием на кнопку «Редактировать» (2) или двойным нажатием на значение параметра, которое нужно изменить. Также доступен поиск по параметрам файла с помощью строки «Поиск» (3).
Для просмотра содержимого файла Postgresql.conf нужно нажать кнопку «Просмотр PostgreSQL.conf» (4) справа над списком параметров. Для просмотра версий файла Postgresql.conf нужно нажать кнопку «Версии» (5).
После нажатия кнопки редактирования открывается модальное окно, где нужно внести необходимые изменения и нажать кнопку «Сохранить».
После этого необходимо нажать кнопку «Применить изменения», которая подсвечивается после изменения любого параметра, для подтверждения внесенных изменений.
После нажатия кнопки «Применить изменения» открывается модальное окно запуска задания на применение изменений, с помощью которого подтверждаются внесенные изменения.
При нажатии на кнопку «Просмотр pg.conf» открывается модальное окно с файлом Postgresql.conf, где можно ознакомиться с его содержимым. Также файл можно скачать при нажатии на кнопку «Скачать файл». После нажатия начнется скачивание файла в формате txt.
При нажатии на кнопку «Версии» открывается модальное окно со всеми версиями файла Postgresql.conf (1). Для просмотра и восстановления параметров конкретной версии нужно нажать кнопку «Просмотр версии» (2) напротив соответствующей версии.
После нажатия откроется модальное окно просмотра версии, в котором содержится таблица параметров выбранной версии (1). Пользователю доступен поиск по параметрам (2) и кнопка «Восстановить» (3) для восстановления версии.
Настройка параметров GP Metrics
Во вкладке «Параметры GP Metrics» на странице «Конфигурации» отображаются параметры файлов конфигурации Greenplum:
-
Config_agent.
-
Config_api.
-
Config_filter.
-
Config_mon.
По умолчанию, при открытии вкладки «Параметры GP Metrics», отображается список параметров (1) файла config_agent. Для того, чтобы перейти к параметрам другого файла, необходимо в верхней части вкладки (2) выбрать необходимый файл.
Пользователю доступно редактирование параметра с помощью кнопки «Редактировать» (3) или двойного нажатия на значение параметра. Для поиска конкретного параметра предусмотрена строка «Поиск» (4). Для просмотра содержимого конкретного файла, необходимо выбрать нужный файл в верхней части вкладки (2), затем нажать кнопку «Просмотр *file_name*» (5). Для просмотра версий файла нужно нажать кнопку «Версии» (6).
», вкладка «Параметры GP Metrics»,
список параметров (1), строка файлов (2), кнопка «Редактировать» (3),
строка «Поиск» (4), кнопка «Просмотр *file_name*» (5), кнопка «Версии»
(6)
Если нажать на кнопку «Просмотр *file_name*», то откроется окно с содержимым того файла, который выбран в выпадающем списке. В данном окне можно просмотреть содержимое файла и скачать сам файл в формате txt с помощью кнопки «Скачать файл».
После нажатия кнопки редактирования открывается форма для внесения изменений в параметр. Чтоб сохранить внесенные изменения, нужно нажать кнопку «Сохранить». После этого форма редактирования закроется, а в столбце «Изменено» напротив параметра, в которое внесли изменение, появится слово «Да». После внесения всех изменений в параметры нужно нажать кнопку «Применить изменения», которая подсвечивается после изменения любого параметра, чтобы запустить задание на применение внесенных изменений.
Пользователь может посмотреть версии файла с помощью кнопки «Версии». После нажатия открывается модальное окно со списком всех версий файла отображаемого файла.
Более детально изучить версию можно по кнопке «Просмотр версии» напротив соответствующей версии. После нажатия открывается окно с параметрами файла определенной версии.
Чтобы параметры версии применить к файлу, нужно нажать кнопку «Восстановить». После нажатия параметры версии будут применены и отображены в таблице вкладки. Для сохранения изменений нужно нажать кнопку «Применить».
Редактирование файла pg_hba.conf
pg_hba.conf – это конфигурационный файл, контролирующий аутентификацию клиента.
При переходе на вкладку «Аутентификация» пользователю отображается таблица с текущими параметрами файла pg_hba.conf (1). Пользователю доступны следующие действия:
-
Редактирование строки (2);
-
Добавление новой строки (3);
-
Удаление строки (4);
-
Клонирование строки (5);
-
Комментирование строки (6);
-
Изменения порядка строк (7);
Комментирование строки (6) и изменение порядка строк (7) выполняются через список действий (8).
Для редактирования строки нужно нажать кнопку «Редактировать». После нажатия поля строки станут доступными для редактирования. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить», которая появляется на месте кнопки «Редактировать» после ее нажатия.
Для добавления новой строки под определенную существующую строку нужно нажать кнопку «Добавить» напротив соответствующей строки. После нажатия появится новая строка с редактируемыми полями для заполнения параметров. Для сохранения новой строки нужно нажать кнопку «Сохранить» напротив новой строки.
Также можно добавить строку через список действий и выбрать «Добавить», которая добавит новую строку в начало таблицы. Дальнейшие действия аналогичны предыдущему абзацу.
Для удаления строки нужно нажать кнопку «Удалить» напротив соответствующей строки. После нажатия открывается модальное окно подтверждения удаления. Для множественного удаления строк нужно выбрать необходимые для удаления строки через чекбоксы в крайнем левом столбце строки. Затем в списке действий выбрать действие «Удалить». Аналогично, после нажатия открывается модальное окно подтверждения удаления.
Для клонирования строки нужно нажать кнопку «Скопировать» напротив строки, которую нужно скопировать. После нажатия под копируемой строкой появляется новая строка-копия.
Чтобы закомментировать строку или несколько строк, нужно сначала выбрать строки, нужные для комментирования, нажав соответствующие чекбоксы. После выбора необходимых строк, нужно в списке действий выбрать действие «Закомментировать». После нажатия выбранные строки будут помечены знаком «#», который означает, что строка закомментирована. Чтобы раскомментировать закомментированные строки, нужно аналогично выбрать соответствующие строки и в списке действий выбрать действие «Раскомментировать».
Изменить порядок строк можно через кнопку «Редактировать», указав нужную позицию строки в столбце «№». Также можно выбрать несколько строк через «чекбоксы» и в списке действий выбрать «Переместить в начало» или «Переместить в конец». Соответственно, выбранные строки перемещаются в начало или в конец.
Для сохранения внесенных изменений в список строк нужно нажать кнопку «Применить», которая становится активной после внесения любых изменений в список. После нажатия открывается модальное окно запуска задания внесения изменений в файл pg_hba.conf.
Пользователь может скачать файл pg_hba.conf через кнопку «Посмотреть pg_hba.conf». После нажатия открывается модальное окно просмотра pg_hba.conf. Для скачивания файла нужно нажать кнопку «Скачать файл».
Пользователь может посмотреть версии файла с помощью кнопки «Версии». После нажатия открывается модальное окно со списком всех версий файла pg_hba.conf.
Более детально изучить версию можно по кнопке «Просмотр версии» напротив соответствующей версии. После нажатия открывается окно с параметрами файла определенной версии.
Чтобы параметры версии применить к файлу, нужно нажать кнопку «Восстановить». После нажатия параметры версии будут применены и отображены в таблице вкладки. Для сохранения изменений нужно нажать кнопку «Применить».
SSL-сертификаты
Для работы с SSL-сертификатами в интерфейсе модуля Control нужно выбрать вкладку «SSL-сертификаты» на странице «Конфигурации».
-
Поставщик
-
Корневой сертификат
-
Наименование
-
SAN домены (Subject Alternative Names)
-
Срок действия
-
Период просрочки
Основные функции страницы:
- Загрузка сертификатов: Необходимо нажать на кнопку «Загрузить», чтобы открыть модальное окно загрузки. В этом окне можно добавить необходимые сертификаты. После завершения загрузки необходимо нажать «Загрузить», чтобы сохранить данные для инстанса Greenplum, и таблица со списком сертификатов обновится.
- Скачивание сертификатов:
- Для загрузки всех сертификатов необходимо нажать на кнопку «Скачать», после чего откроется окно подтверждения, и сертификаты будут скачаны в формате pem
- Чтобы скачать отдельные сертификаты, необходимо отметить нужные сертификаты чек-боксами и нажать на «Скачать», после чего откроется окно подтверждения, и сертификаты будут скачаны в формате pem.
- Удаление сертификатов:
- Для удаления всех сертификатов необходимо нажать на кнопку «Удалить все». Появится модальное окно подтверждения, после которого вся информация о сертификатах будет удалена, и таблица обновится.
- Для удаления нескольких сертификатов необходимо отметить их чек-боксами и нажать на «Удалить». После подтверждения выбранные сертификаты будут удалены.
- Чтобы удалить один конкретный сертификат, необходимо нажать кнопку «Удалить» рядом с ним. В модальном окне подтверждается удаление.
После любого удаления информация будет обновлена, и таблица сертификатов покажет актуальные данные.
Обзор продукта Greenplum и его сервисов
Обзор
На странице инстанса Greenplum в левом верхнем углу представлена сводная информация о кластере Greenplum. Инфопанель (1) отображает ключевые метрики системы, такие как:
-
Статус кластера: отображает статус активности кластера — активен или нет.
-
Время работы Greenplum: отображается время с момента запуска кластера.
-
Версия Greenplum: информация о версии Greenplum.
-
Хосты: показывает количество хостов, на которых развернут инстанс. Поле кликабельно, при нажатии на которое открывается вкладка «Хосты» на странице «Инфраструктура».
-
Запросы: показывает количество активных SQL-запросов. Поле кликабельно, при нажатии на которое открывается вкладка «SQL-запросы» на странице «Запросы».
В списке действий для инстанса (2) доступен запуск заданий.
Помимо этого на странице «Обзор» отображается список сервисов (3), развернутых на данном кластере.
Информация о кластере
По умолчанию при переходе на страницу «Обзор» открывается вкладка «Кластер» (4), которая демонстрирует основную информацию о ресурсах кластера без учета мастера: потребление ресурсов ЦП, дискового пространства, оперативной памяти и активных сегментов.
Хранилище
Вкладка «Хранилище» предоставляет таблицу со списками используемых хранилищ, их разделением на Master и Segment, а также таблицу со списком хостов, на которых эти хранилища развернуты. Для каждого фрагмента хранилища показывает количество занятой и общей памяти.
Над таблицей со списком используемых хранилищ есть кнопка «Скрытые диски». При нажатии на нее открывается модальное окно, в котором можно скрыть диски для каждого сегмента.
Динамика
Вкладка «Динамика» включает в себя следующие графики и соответствующие им диаграммы:
-
Потребление CPU по сегмент-хостам.
-
Потребление RAM по сегмент-хостам.
-
Информация IO wait по сегмент-хостам.
Подключения
Вкладка «Подключения» состоит из счетчиков статусов сессий (1) и таблицы с информацией об этих сессиях (2). Сессия – это период времени с момента подключения пользователя к БД и до разрыва соединения. В таблице содержится информация о идентификаторе сессии, имени подключенного пользователя, статусе сессии, название БД, к которой выполнено подключение, дата начала сессии и время сессии.
Пользователь может отключить сессию с помощью кнопки «Отменить сессию» (3).
Также на вкладке предусмотрена возможность перехода к таблице правил посредством кнопки «Параметры завершения» (4).
Через список действий (5) можно выбрать задание «Блокировка учетных записей», после чего в модальном окне запустить его с нужными параметрами.
Правила завершения
После нажатия на «Правила завершения» открывается список правил с параметрами завершения.
С помощью правил определяется необходимость прерывания сессии, запроса и транзакции. Прерывание происходит автоматически по заданному правилом расписанию. Если в момент времени действуют разные правила, выполняться будет правило с наибольшим приоритетом.
Пользователю доступен следующий функционал по управлению правилами:
- Добавление нового правила: для добавления нового правила администратору нужно нажать кнопку «Добавить правило» и в открывшемся модальном окне заполнить параметры правила. После заполнения нужно в окне нажать кнопку «Добавить» для добавления правила в список правил.
- Редактирование существующего правила: для редактирования существующего правила пользователю нужно нажать кнопку «Редактировать» напротив конкретного правила. После нажатия открывается модальное окно редактирования правила, где администратор может изменить нужные параметры. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить» в модальном окне.
- Удаление существующего правила: для удаления существующего правила администратору нужно нажать кнопку «Удалить» напротив конкретного правила в списке. После нажатия открывается модальное окно подтверждения удаления правила, где администратору нужно подтвердить удаление правила.
- Редактирование списков пользователей: для редактирования списков пользователей, на которых распространяются и не распространяются правила завершения, соответственно, список пользователей и исключений, администратору нужно нажать кнопку «Редактировать списки» напротив конкретного правила в списке. После нажатия открывается модальное окно редактирования списков пользователей и исключений.
Управление пользователями
Во вкладке «Управление пользователями» отображается список ролей базы данных (1) с их параметрами. Пользователю доступно добавление новых ролей (2), редактирование (3) и удаление существующих ролей (4), блокировка и разблокировка доступа роли (5) и настройка привилегий отдельной роли (6).
Для добавления новой роли нужно нажать кнопку «Добавить». После нажатия открывается модальное окно добавления роли, в котором нужно заполнить нужные параметры. Чтобы добавить пользователя с заполненными параметрами, нужно нажать кнопку «Добавить».
Редактирование роли выполняется через кнопку «Редактировать», располагающейся справа в строке роли. После нажатия открывается модальное окно редактирования роли, в котором можно внести необходимые изменения. Для сохранения изменений нужно нажать кнопку «Сохранить».
Для удаления роли нужно нажать кнопку «Удалить», располагающейся справа в строке роли. После нажатия открывается модальное окно подтверждения удаления роли. Для подтверждения нужно нажать кнопку «Удалить».
Для блокировки или разблокировки роли нужно нажать переключатель в столбце «Разрешен вход». После нажатия переключателя откроется модальное окно подтверждения блокировки или разблокировки. Для подтверждения нужно нажать соответственно «Заблокировать» или «Разблокировать».
Настройка и просмотр привилегий роли доступен через кнопку «Привилегии». После нажатия открывается таблица с привилегиями роли (1). Пользователь может добавлять новые привилегии через кнопку «Добавить» (2) и удалять отдельные привилегии через кнопку «Удалить» (3) справа в строке привилегии.
Для добавления новых привилегий нужно нажать кнопку «Добавить». После нажатия открывается модальное окно добавления привилегий, в котором нужно заполнить нужные параметры. Для добавления нескольких привилегий нужно нажать кнопку «Добавить привилегию», после чего появится новая строка привилегии. Чтобы добавить привилегии с заполненными параметрами, нужно нажать кнопку «Сохранить».
Для удаления привилегии нужно нажать кнопку «Удалить», располагающейся справа в строке роли. После нажатия открывается модальное окно подтверждения удаления привилегии. Для подтверждения нужно нажать кнопку «Удалить».
Задержки pg_catalog
Во вкладке «Задержки pg_catalog» отображается таблица со списком параметров и их значениями конфигурационного файла pg_catalog для запуска задания механизма мониторинг и исключения блокировок системных каталогов.
Для изменения значения параметра нужно нажать кнопку «Редактировать» напротив соответствующего параметра.
После нажатия на кнопку открывается модальное окно редактирования параметра.
После внесений изменений нужно нажать кнопку «Сохранить» в модальном окне, чтобы измененное значение отобразилось в таблице.
Для сохранения в конфигурационный файл всех внесенных изменений в параметры нужно нажать кнопку «Применить изменения». Изменения в файл применяются сразу.
Для запуска механизма мониторинга задержек системного каталога нужно нажать кнопку «Запустить».
После нажатия на кнопку открывается модальное окно запуска задания. Пользователь может запустить задание либо с предзаполненными параметрами файла pg_catalog, либо задать пользовательские значения для запуска механизма мониторинга.
Для запуска задания с готовыми значениями нужно нажать кнопку «Запустить», после чего задание будет запущено.
Ресурсные группы
Во вкладке «Рес. группы» отображается инфопанель (1) и график динамики подключения (2). Также пользователь может перейти в настройку профилей (3).
Инфопанель содержит информацию о текущих настройках ресурсных групп и их использовании:
-
Рес. группа: наименование ресурсной группы.
-
Использованная квота памяти: используемый объем памяти в пределах квоты ресурсной группы.
-
Использованная квота CPU: используемый объем CPU в пределах квоты.
-
Параллелизм: максимальное количество транзакций, обрабатываемых в ресурсной группе одновременно.
-
Ограничение скорости CPU: зарезервированная доля (в процентах) ресурсов CPU на сегменте
-
Ограничение памяти: зарезервированная доля (в процентах) оперативной памяти на сегменте.
-
Общая квота памяти: доля зарезервированной памяти MEMORY LIMIT (%), которая может использоваться всеми транзакциями ресурсной группы по мере необходимости.
-
Доля утечки памяти: пороговая доля оперативной памяти, которую может занять один оператор транзакции.
На графике динамики подключений отображается количество запросов в разрезе часа. Если нажать на определенную ресурсную группу в инфопанели, то график обновится и покажет количество запросов данной ресурсной группы.
Настройка профилей
При переключении в раздел «Настройка профилей» пользователю отображаются таблица со списком профилей и их составом. Профиль – это сущность, объединяющая ресурсные группы, используется для управления группами.
Таблица. Список профилей
| Поле | Описание |
|---|---|
| ID | Идентификатор профиля |
| Название | Наименование профиля |
| Приоритет | Приоритет применения профиля |
| Повторяющийся тип | Тип профиля. Доступные типы: weekly, monthly, regular |
| Повторяющийся значение | Дни повторного запуска профиля. При значении типа weekly могут использоваться числа 1-7, при monthly - 1-31, при regular поле остается пустым |
| Действителен с | Время начала работы профиля (пример: 14:00:00) |
| Действителен до | Время окончания работы профиля (пример: 23:59:59) |
| Активность | Статус активности профиля |
Пользователь может:
-
Добавлять новые профили с помощью кнопки «Добавить» (1).
-
Редактировать существующие профили с помощью кнопки «Редактировать» (2).
-
Удалять существующие профили с помощью кнопки «Удалить» (3).
-
Активировать профиль с помощью кнопки «Активировать» (4).
При нажатии на кнопку «Добавить» открывается модальное окно для заполнения необходимых параметров профиля. Для сохранения нового профиля нужно нажать кнопку «Добавить» в модальном окне. После этого модальное окно закроется и обновится таблица для отображения нового профиля.
При нажатии на кнопку «Редактировать» откроется модальное окно редактирования с текущими параметрами профиля. Для сохранения изменений нужно нажать кнопку «Сохранить».
При нажатии на кнопку «Удалить» открывается модальное окно подтверждения удаления. Для подтверждения нужно нажать кнопку «Удалить» в модальном окне.
При нажатии на кнопку «Активировать» открывается модальное окно подтверждения активации выбранного профиля. Для подтверждения активации нужно нажать кнопку «Активировать» в модальном окне.
При нажатии на один из профилей в списке профилей ниже отобразится список ресурсных групп, входящих в выбранный профиль.
Доступные пользователю действия с ресурсными группами:
-
Добавление (1).
-
Редактирование (2).
-
Удаление (3).
-
Валидация (4).
Для добавления новой ресурсной группы нужно нажать кнопку «Добавить» над списком ресурсных групп. После нажатия открывается модальное окно, где необходимо заполнить параметры ресурсной группы. Новая ресурсная группа с внесенными параметрами добавится в список ресурсных групп после нажатия на кнопку «Добавить» на модальном окне.
Для редактирования существующей ресурсной группы необходимо нажать кнопку «Редактировать» напротив соответствующей ресурсной группы. После нажатия открывается модальное окно редактирования с текущими настройками ресурсной группы. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить» в модальном окне.
Для удаления существующей ресурсной группы из профиля нужно нажать кнопку «Удалить» напротив соответствующей ресурсной группы. После нажатия на кнопку открывается модальное окно подтверждения удаления.
Действие «Валидировать» берет все ресурсные группы профиля и проводит следующие проверки:
-
Сумма значений поля «Ограничение скорости CPU» всех ресурсных групп профиля не превышает 100.
-
Сумма значений поля «Ограничение памяти» всех ресурсных групп профиля не превышает 100.
Для того, чтобы валидировать ресурсные группы одного профиля, нужно выбрать нужный профиль и нажать кнопку «Валидировать». После нажатия кнопки пользователю приходит ответ:
-
При успешном прохождении валидации (отсутствие ошибки в ответе) пользователю отображается информационное сообщение «Валидация пройдена успешно».
-
При неуспешном прохождении валидации пользователю отображается информационное сообщение: «Валидация не пройдена. Сумма процентов превышает 100 для следующих параметров: \<список параметров>».
Данные
Вкладка «Данные» страницы «Обзор» содержит основную информацию о таблицах в Greenplum (1). Пользователю доступен выбор даты для сравнения. После выбора конкретной даты для сравнения (2) таблица обновится и данные отобразятся в сравнении с указанной датой.
Пользователю доступен удобный поиск по параметрам таблицы с помощью строки «Поиск» (3). Помимо этого, пользователь может перейти на тепловую карту данных с помощью переключателя «Тепловая карта» (4).
Тепловая карта данных
На тепловую карту данных пользователь может перейти из вкладки «Данные», нажав переключатель «Тепловая карта». После нажатия отобразится таблица с тепловой картой данных по каждому пространству имен с отображением выбранных данных за каждый день выбранного промежутка времени. Чем выше значение ячейки по сравнению со средним значением ячеек в столбце, тем более яркий цвет ячейки.
Пользователю доступен выбор временного промежутка (1), выбор отображаемых данных (2) и выбор отображения разницы (3) в данных между соседними значениями. При указании определенного временного промежутка пользователю выводятся все данные за выбранный временной промежуток по дням. При активации отображения разницы таблица покажет изменение выбранного параметра за каждый выбранный временной шаг. В выборе данных пользователю доступно:
-
Общий объем, МБ.
-
Общий объем на диске, МБ.
-
Количество партиций.
-
Средний объем партиций, МБ.
-
Стандартное отклонение распределения данных.
-
Доля мертвых кортежей.
-
Общее количество обращений.
-
Обращения в разрезе операций.
Также пользователю доступен поиск по параметрам таблицы с помощью удобного поиска (4)
PXF
Platform Extension Framework (PXF) - расширение, с помощью которого возможно интегрироваться с внешними системами и разными форматами данных.
На странице «PXF» отображается инфопанель (1) с основной информацией: название сервиса, название инстанса, статус сервиса и его версия. Справа от инфопанели находится список действий (2), откуда доступен запуск заданий для PXF.
Подключения
Вкладка «Подключения» содержит список PXF-серверов (подключений) и их описание (3). Также содержится отдельный список с названием файлов и датой их последнего изменения (4).
Динамика
Вкладка «Динамика» отображает графики и соответствующие им гистограммы использования ресурсов сервисом PXF:
-
Объем прочитанной информации через сервис.
-
Объем отправленной информации через сервис.
-
Потребление RAM сервисом.
GP Metrics
Сервисная группа GP Metrics используется для сбора и хранения метрик о состоянии Greenplum.
На инфопанели (1) страницы отображается название сервисной группы и статус сервисной группы. Справа от инфопанели находится список действий, откуда доступен запуск заданий для GP Metrics (2). Внизу от инфопанели находится список подключенных к сервисной группе сервисов (3) с соответствующей им версии.
GP Monitoring
GP Monitoring – сервисная группа, состоящая из сервисов:
-
Exporter-ы – на хостах в виде отдельных сервисов:
- NodeExporter – сервис сбора системных метрик для Prometheus.
- SQLExporter – сервис сбора метрик из СУБД для Prometheus.
-
Prometheus – сервис сбора и хранения метрик.
-
Grafana – сервис по визуализации метрик.
На странице GP Monitoring отображается инфопанель (1) и список сервисов (2). Инфопанель показывает название сервисной группы, название инстанса и статус сервисной группы. В списке сервисов отображаются два сервиса: Prometheus и Grafana, а также их версии. Названия сервисов содержат в себе кликабельные ссылки, направляющие непосредственно на сам сервис.
При открытии страницы GP Monitoring по умолчанию открывается вкладка «Экспортеры Prometheus» и раздел «NodeExporter» (3).
Экспортеры Prometheus
Вкладка «Экспортеры Prometheus» предоставляет пользователю выбор отображения списка хостов определенного экспортера с помощью переключателя. В списке хостов содержится название хоста и версия экспортера, расположенного на этом хосте. При выборе экспортера SQLExporter в карточке экспортера также отображается статус хоста.
Динамика Prometheus
Вкладка «Динамика Prometheus» отображает графики по утилизации сервисом Prometheus:
-
CPU Prometheus, %.
-
RAM Prometheus, МБ.
-
IOwait Prometheus, %.
-
Входящий трафик Prometheus, Кбит/с.
-
Исходящий трафик Prometheus, Кбит/с.
Отображение данных из системы логирования
Для мониторинга работы инстанса и быстрого реагирования на инциденты в модуле Control предусмотрена функция просмотра логов, которые хранятся в системе OpenSearch. Чтобы получить доступ к журналам, администратору нужно перейти на вкладку «Логи» на странице обзора инстанса Greenplum.
На странице логов администратору отображаются логи по всему продукту инстанса Greenplum. Для того, чтобы получать данные из сервиса логов, необходимо указать такие параметры, как URL-адрес сервиса логов для инстанса Greenplum, логин и пароль для доступа.
Фильтрация данных из системы логирования
Система поддерживает несколько типов фильтров, чтобы упростить поиск нужной информации:
- Фильтр по дате: администратор может отфильтровать логи по датам начала и конца периода или указать временной интервал (например, за последние 30 минут).
- Фильтры в таблице: администратор может использовать фильтры по колонкам.
- Поиск по тексту: поддерживается текстовый поиск, что упрощает поиск логов, содержащих конкретные ключевые слова.
Возможности страницы Логи
Экспорт информации о записях в журнале
Пользователю доступен экспорт данных в нескольких вариантах:
- Скачивание конкретного лога: Если нужно скачать только конкретную запись из журнала логов, это можно сделать, используя кнопку «Посмотреть лог», которая находится рядом с каждой отдельной записью в таблице логов. Затем в открывшемся окне нажать кнопку «Скачать файл». После нажатия этой кнопки выгружается один конкретный лог в формате текстового файла (TXT).
- Скачивание всей таблицы логов Если необходимо выгрузить всю таблицу, которая отображается в интерфейсе, администратор может воспользоваться кнопкой «Выгрузить в CSV». При нажатии на кнопку «Выгрузить в CSV», скачивается CSV-файл, содержащий все данные, представленные в таблице на экране.
Мониторинг запросов
SQL-запросы
В модуле Control пользователю доступна информация о запущенных и выполненных запросах на кластере. Список всех запросов доступен на странице «Запросы» на инстансе GP. При переходе на страницу пользователю по умолчанию открывается вкладка «SQL-запросы», которая отображает статусы активных (1) и завершенных за час (2) запросов, таблицу запросов (3) и фильтры таблицы (4). Из действий со списком запросов администратору доступна очистка всей истории запросов (5).
Блок активных статусов отображает количество выполняющихся запросов каждого статуса. Справа от слова «Активно» отображается число активных запросов. При нажатии пользователем на любой тип статуса таблица фильтруется по столбцу «Статус».
Блок завершенных за час статусов отображает количество выполненных за последний час запросов каждого статуса. Справа от выражения «Завершено за час» отображается количество завершенных за час запросов. При нажатии пользователем на любой тип статуса таблица отфильтровывается по столбцу «Статус», количество выводимых строк равно количеству строк в счетчиках.
Фильтрация таблицы запросов
Пользователю доступна фильтрация таблицы по различным критериям:
-
На момент выбранной даты. Пользователю доступно три опции данного фильтра: текущая дата, n минут/часов/дней назад и конкретная дата и время.
-
В случае текущей даты пользователю отображаются незавершенные запросы, в статусах актуальных на текущий момент.
- Если выбрано значение фильтра «n минут/часов/дней назад», то пользователю отображаются все запросы, которые были незавершенными в том статусе, который был актуален на дату «текущий день минус % минут/часов/дней назад».
- Если пользователь выбирает конкретную дату и время (например, 2021-12-31 00:00:00), то отображаются все запросы, которые были незавершенными в том статусе, который был актуален на указанную дату и время.
-
На выбранный временной период. Если пользователь сменит toggle-фильтр, то ему будет доступна фильтрация по типам интервала, дате и времени интервала.
-
Если выбрана категория «Дата начала», то пользователю отображаются все запросы, дата начала расчета которых попадает в период интервала, отображаемый статус: «Дата начала».
-
Если выбрана категория «Отправлено», то пользователю отображаются все запросы, даты статуса submit которых попадает в период интервала, отображаемый статус: «Отправлено».
-
Если выбрана категория «Дата завершения», то пользователю отображаются все запросы, значения столбца «Дата завершения» которых попадает в период интервала. Отображаемый статус запросов: «Canceled»/«Done»/«Error».
- По ключевому слову. Фильтр выполняется по всем столбцам в БД GP таблицы по маске «%текст%». Текст может содержать символы кириллицы, латиницы, даты и числа. В результате пользователь видит все релевантные значения.
Если в списке запросов необходимо прервать выполнение активного запроса, можно воспользоваться функцией остановки. Для этого:
-
Найдите нужный запрос в таблице.
-
Нажмите кнопку «Прервать запрос», расположенную рядом с выбранным запросом.
-
Подтвердите действие во всплывающем окне.
После подтверждения запрос будет прерван, и его статус изменится в таблице запросов.
Если запрос нужно переместить в другую ресурсную группу, то можно воспользоваться кнопкой «Переместить запрос», расположенную рядом с выбранным запросом. Во всплывающем окне указать ресурсную группу, в которую нужно переместить запрос.
Таблица. Атрибуты таблицы запросов
| Название | Описание |
|---|---|
| ID | Идентификатор запроса. Состоит из Tmid, Ssid, Ccnt |
| Пользователь | Кем был запущен запрос |
| Статус | В каком статусе находится запрос |
| Оптимизатор | С помощью какого оптимизатора выполняется оптимизация запроса |
| БД | База данных, в которой выполняется запрос |
| Рес. группа | Наименование ресурсной группы, в которой выполняется запрос |
| Дата начала | Дата и время начала расчета запроса |
| Отправлено | Дата и время, когда запрос был отправлен на сегмент-ноды для выполнения расчета |
| Дата завершения | Дата и время, когда запрос выполнился |
| Время работы | Время выполнения запроса |
| Время в очереди | Время, которое запрос ожидал расчета |
| Время запроса | Общее время работы запроса, с момента когда он был отправлен до момента, когда он завершился |
| Тэги запросов | Настройки параметров для запроса |
| Перекос CPU | Метрика перекоса CPU, изменяется при каждом переходе статуса запроса. Значение соответствует предыдущему шагу |
| Память, MB | Метрика используемого объема RAM при выполнении запроса, изменяется при каждом переходе статуса запроса. Значение соответствует предыдущему шагу |
| Перекос количества операций ввода-вывода | Метрика перекоса в операциях чтения и записи, изменяется при каждом переходе статуса запроса. Значение соответствует предыдущему шагу |
| Объем записи временных данных на диск, MB | Объем spill-файлов |
| Чтение диска, MB | Метрика объема прочитанных данных, изменяется при каждом переходе статуса запроса. Значение соответствует предыдущему шагу |
| Запись на диск, MB | Метрика объема записанных данных, изменяется при каждом переходе статуса запроса. Значение соответствует предыдущему шагу |
| Текст запроса | Текст запроса |
| Ожидание | Отклонение от плана по кол-ву строк при факте выполнения запроса |
| Трансляция | Наличие нежелательных операций размножения данных |
| Объем перераспределения данных между сегментами | Наличие нежелательного перераспределения данных между сегментами |
При нажатии на конкретный запрос из списка пользователь переходит на страницу конкретного запроса по его идентификатору. Подробнее о странице см. Мониторинг плана запроса.
Очистка истории запросов
Пользователю доступна очистка всей истории SQL-запросов. Для этого нужно на странице запросов выбрать список действий (1) и в открывшемся списке выбрать кнопку «Очистить историю запросов» (2).
После нажатия открывается модальное окно подтверждения очистки истории запросов. Для подтверждения нужно нажать «Очистить историю».
После подтверждения вся история очищается без возможности восстановления. Для обновления информации нужно обновить таблицу кнопкой «Обновить».
Правила
На инстансе продукта Greenplum на странице «Запросы» пользователю доступна вкладка «Правила», на которой содержится список правил в виде таблицы.
Список правил предназначен для определения автоматически применяемых действий к запросам в SQL на основе заданных правил и параметров. Список правил предоставляет пользователю возможность настраивать действия, которые будут применяться автоматически к запросам в SQL на основе определенных метрик и показателей, полученных из мониторинга БД.
Действия, которые пользователь может выполнять по отношению к правилам запроса:
- Добавление нового правила. Чтобы добавить новое правило, пользователь должен нажать кнопку «Добавить» (1) над списком правил. После нажатия открывается модальное окно добавления правила, где пользователю нужно заполнить необходимые данные. Для внесения нового правила в список нужно нажать кнопку «Добавить» на модальном окне.
- Редактирование существующего правила. Для редактирования существующего правила пользователю нужно нажать кнопку «Редактировать» (2) в строке конкретного правила. После нажатия открывается модальное окно редактирования с предзаполненными текущими параметрами правила. Для сохранения внесенных изменений, пользователю нужно нажать кнопку «Сохранить» на модальном окне.
- Удаление существующего правила. Для удаления правила пользователю необходимо нажать кнопку «Удалить» в конце строки конкретного правила. После нажатия открывается модальное окно подтверждения удаления.
Текущие блокировки
На инстансе продукта Greenplum на странице «Запросы» пользователю доступна вкладка «Текущие блокировки», на которой содержится список блокирующих и заблокированных запросов.
Список блокировок предназначен для определения запросов, мешающих выполнению других запросов.
Нажатие на ID блокирующего запроса открывает страницу запроса с его информацией. Подробнее в разделе «Мониторинг плана запроса».
Мониторинг плана запроса
Когда пользователь выбирает конкретный запрос из списка, он перенаправляется на страницу с подробной информацией о данном запросе. Эта страница предоставляет детализированные данные о запросе, включая:
-
Инфопанель с метаданными – на панели перечислены основные параметры запроса, такие как:
-
Идентификатор запроса.
-
Дата и время запуска.
-
Статус выполнения.
-
Продолжительность выполнения.
-
Имя пользователя, который запустил запрос.
-
Дополнительные параметры, такие как ресурсная очередь, к которой относится запрос, или используемые ресурсы.
-
Снимки запроса. Снимок запроса - срез данных запроса на определенный момент времени. Пользователь может отследить с помощью этого какие данные содержал запрос в определенный момент времени. Для этого в выпадающем списке нужно выбрать конкретное время, которое пользователю нужно изучить.
-
Вкладки с различными представлениями запроса. На странице также есть несколько вкладок, каждая из которых предоставляет разную информацию о запросе:
-
Обращения к объектам – таблица со списком объектов, к которым выполнялся доступ, с указанием типа доступа, количества обращений, таблицы и схемы.
- Блокировки запроса – два раздела: «История блокировок» содержит таблицу с историей блокирующих запросов, которые блокируют выполнение данного запроса, «Активные блокировки» содержит таблицу запросами, блокирующими выполнение текущего запроса.
- Текст запроса – здесь можно просмотреть исходный SQL-запрос, который был отправлен в БД.
- План запроса – текстовое представление плана выполнения запроса. Это позволяет понять, как система оптимизирует и выполняет запрос.
-
Граф плана запроса – схематическое изображение выполнения запроса в виде графа. Этот граф помогает визуализировать этапы выполнения запроса и показывает, как данные обрабатываются на каждом этапе.
-
Карта плана запроса – тепловая карта, построенная на основе графа плана запроса. Используется для анализа различий между плановыми и фактическими значениями выполнения запроса.
Граф плана запроса
Граф плана запроса - это схематичное изображение основных этапов плана запроса, который формирует GP при его выполнении. Граф плана запроса формируется на основе текста плана запроса.
Структура графа плана запроса
-
Вершины графа – представляют собой отдельные этапы выполнения запроса, такие как сканирование таблиц, объединение данных, фильтрация и другие.
-
Связи между вершинами – показывают взаимосвязи между этапами запроса, указывая последовательность их выполнения.
Если пользователю нужно вернуть граф плана в исходное положение, можно нажать кнопку «Центрировать карту», после чего граф вернется к первоначальному отображению.
Тепловая карта запроса
Для анализа различий между плановыми и фактическими значениями выполнения запроса администратор может использовать вкладку «Карта плана». Карта состоит из следующих блоков:
-
Плановые значения параметра.
-
Фактические значения параметра.
-
Разница в значениях параметров.
Параметры для построения карты могут изменяться в зависимости от продукта. Каждая плитка карты является этапом выполнения плана. Чтобы получить дополнительную информацию о плане, администратору требуется нажать на интересующий этап.
