Data Ocean Nova
Создание и управление инстансом
Создание инстанса
Для отображения информации об инстансе в модуле Control, необходимо пройти процесс его создания. Модуль Control предоставляет администраторам возможность добавления метаданных об инстансе с помощью специализированной формы.
Процесс создания инстанса:
-
Откройте главную страницу Platform UI в модуле Control.
-
Нажмите кнопку «+ Инстанс».
- После нажатия откроется форма для ввода параметров инстанса. Для продукта Nova, работающего в среде Kubernetes, требуется загрузить конфигурационный файл Kubernetes (kubeconfig).
Таблица. Список параметров для заполнения
| Параметр | Описание параметра | Обязательность |
|---|---|---|
| Продукт | Тип продукта, инстанс которого необходимо создать. Для создания инстанса Data Ocean Nova необходимо выбрать продукт Nova из выпадающего списка | Да |
| Инстанс | Наименование создаваемого инстанса в интерфейсе модуля Control | Да |
| Описание | Описание создаваемого инстанса в интерфейсе модуля Control | Нет |
| Файл конфигурации | Конфигурационный файл kubeconfig | Да |
- После заполнения всех параметров, администратор должен проверить правильность и актуальность введенных данных.
- Чтобы завершить процесс создания инстанса, нажмите кнопку «Добавить».
После успешного сохранения инстанс будет отображаться в списке на главной странице модуля Control.
Важно
- Доступность функций внутри инстанса зависит от настроек, указанных в файле kubeconfig.
- Если инсталляция предполагает ограничение доступа к определенным платформам продукта Nova, соответствующие доступы должны быть указаны в файле kubeconfig.
Связь кластера и инстанса
- Удаление: При полном удалении кластера связанный с ним инстанс удаляется автоматически.
- Статус Uninstalled: Если исходный кластер переходит в статус Uninstalled, рядом с информацией об инстансе на вкладках обзора появится предупреждающий алерт.
Редактирование метаданных инстанса
Помимо создания новых инстансов, модуль Control предоставляет возможность редактирования информации о существующих инстансах. Для выполнения этой операции администратору необходимо:
- На главной странице модуля Control найти инстанс, который нужно изменить.
- Нажать на кнопку «Редактировать инстанс».
После нажатия на кнопку откроется форма редактирования инстанса. Данная форма содержит предварительно заполненные текущие значения параметров инстанса, которые можно изменить.
Таблица. Список параметров формы для редактирования
| Параметр | Доступность для редактирования |
|---|---|
| Продукт | Нет |
| Инстанс | Да |
| Описание | Да |
| Файл конфигурации | Нет |
- После внесения изменений администратор должен проверить правильность и актуальность данных.
- Для завершения процедуры редактирования нажмите кнопку «Сохранить».
После успешного сохранения информация об инстансе будет обновлена и доступна для просмотра на главной странице модуля Control.
Архивирование инстанса
В модуле Control предусмотрена функция архивирования инстансов, которая позволяет администратору сохранять текущее состояние инстанса и удалять его из активного списка. Для архивирования инстанса выполните следующие шаги:
- На главной странице модуля Control найти нужный инстанс.
- Нажмите кнопку «Архивировать инстанс».
После этого появится диалоговое окно для подтверждения архивирования инстанса.
- Если администратор подтверждает действие нажатием кнопки «Выполнить», инстанс архивируется. Это действие приводит к удалению инстанса из списка активных на главной странице, при этом его текущее состояние сохраняется в виде снимка в модуле Control.
Архивированные инстансы можно просматривать и восстанавливать с вкладки «Обзор» в разделе управления инстансами модуля Control. Подробнее про работу со снимками см. в разделе Управление сохраненными снимками инстансов.
Восстановление инстанса
Модуль Control предоставляет возможность восстановления инстансов из созданных ранее снимков. Для выполнения этой операции необходимо:
- На главной странице модуля Control нажать кнопку «+ Инстанс».
- В появившейся форме выбрать опцию «Восстановить».
- В поле Продукт необходимо выбрать продукт Nova из выпадающего списка. После этого станет доступно поле выбора снимка инстанса.
-
В поле выбора снимка инстанса из списка доступных выбрать тот снимок, который нужно восстановить. Снимок инстанса содержит информацию об инстансе, его инфраструктуре, платформах и сервисах, а также расписание заданий, периоды приостановки заданий и журнал выполненных задач.
-
После выбора снимка поля «Инстанс» и «Описание» будут автоматически заполнены текущими значениями и они станут редактируемыми.
Администратору будут предложены следующие опции для восстановления:
- Метаданные инстанса: это обязательный параметр, который восстанавливается всегда. Он содержит информацию об инфраструктуре инстанса, его платформах и сервисах.
- Расписание заданий.
- Периоды приостановки заданий.
- Журнал выполненных заданий (с возможностью указания даты начала для восстановления журнала).
Таблица. Список параметров для заполнения
| Параметр | Обязательность |
|---|---|
| Продукт | Да |
| Снимок инстанса | Да |
| Инстанс | Да |
| Описание | Нет |
После завершения ввода данных нужно убедиться в их правильности и актуальности. Для завершения процедуры восстановления необходимо нажать кнопку «Добавить». После успешного сохранения инстанс станет доступен на главной странице модуля Control в списке инстансов.
Избранные инстансы
Доступна возможность добавить инстанс в «Избранное», нажав соответствующую иконку в списке инстансов модуля Control. Инстансы, помеченные избранными, подсвечиваются в списке на странице любого инстанса.
Инфраструктура
Модуль Control предоставляет пользователям удобный способ просматривать и управлять ресурсами Kubernetes, такими как узлы (Nodes), поды (Pods) и пространства имен (Namespaces), без необходимости вручную вводить данные о них. Пользователь загружает конфигурационный файл Kubernetes (kubeconfig), и система автоматически извлекает информацию о ресурсах кластера.
Добавление метаданных о ресурсах Node, Pod и Namespace
Во время создания инстанса администратор загружает конфигурацию Kubernetes. После этого модуль Control анализирует конфигурацию и устанавливает соединение с кластером Kubernetes. Система автоматически получает данные об узлах, подах и пространствах имен, которые затем отображаются в интерфейсе.
Администратору доступна полная информация о конфигурации кластера на вкладке «Инфраструктура».
Возможности вкладки Узлы
Если в загруженном конфигурационном файле kubeconfig содержатся кластерные роли, на вкладке Узлы в модуле Control будет отображаться список всех доступных узлы. На вкладке к просмотру доступны следующие параметры:
- Название Узла
- Внутренний и внешний IP-адреса
- Текущий статус и время работы узла
- Значение метки App
- Количество подов
- Утилизация ресурсов (CPU и память)
- Метки, назначенные узлу
Пользователь может также настроить метки для узла, нажав на кнопку «Настроить метки», располагающаяся справа от конкретного узла.
Откроется модальное окно с текущими метками, где можно редактировать, удалять или добавлять новые метки. Для сохранения изменений необходимо нажать кнопку «Сохранить», после чего информация в таблице обновится.
Для просмотра событий узла нужно нажать кнопку «Посмотреть события» напротив соответствующего узла.
После нажатия на кнопку открывается модальное окно, содержащее информацию о событиях узла.
Пользователь может скачать данные о событиях с помощью кнопки «Скачать таблицу» в модальном окне. После нажатия скачивается файл в формате .csv.
Возможности вкладки Пространства имен
На вкладке Пространства имен отображается информация о всех доступных пространствах имен в кластере Kubernetes, конфигурация которого была загружена.
На вкладке для просмотра доступны следующие параметры:
-
Название пространства имен
-
Текущий статус
-
Время работы пространства имен
Для создания нового пространства имен нужно нажать кнопку «Добавить».
В открывшемся окне вводится название нового пространства имен, после чего информация сохраняется, и таблица обновляется.
Для удаления пространства имен необходимо нажать кнопку «Удалить» рядом с выбранным элементом.
После нажатия этой кнопки откроется модальное окно подтверждения удаления пространства имен. После подтверждения пользователем модальное окно будет закрыто, таблица со списком пространств имен обновится.
Возможности вкладки Поды
На вкладке Поды отображается список всех доступных подов с метками модуля Control.
Доступны следующие параметры:
-
Название Пода
-
Текущий статус и время работы
-
Количество перезапусков
-
Узел и пространство имен пода
-
Grace период
-
Метки пода
-
Утилизация ресурсов (CPU и память)
-
Сервисы
Для настройки меток на поде необходимо нажать кнопку «Настроить метки».
В модальном окне можно редактировать, удалять или добавлять метки. После сохранения изменений информация обновится.
Важно: при удалении меток cm-service и cm-role-type информация о поде и соответствующем ему сервисе не будет отображаться в интерфейсе модуля Control.
Кроме того, в модуле Control доступен просмотр журнала пода, нажав кнопку «Посмотреть журнал».
После нажатия этой кнопки откроется модальное окно, в котором доступны для просмотра последние записи в журнале пода. Также доступен выбор обычного контейнера или init-контейнера, инициализирующегося перед обычными, для просмотра записей других контейнеров. Количество записей в журнале зависит от настроек конфигурации инстанса. Подробнее см. в разделе Настройка параметров конфигурации кластера. При нажатии на кнопку «Скачать файл» произойдет загрузка журнала в формате txt.
Для просмотра событий пода нужно нажать кнопку «Посмотреть события» напротив соответствующего пода.
После нажатия открывается модальное окно, которое содержит информацию о событиях пода.
Пользователь может скачать данные о событиях с помощью кнопки «Скачать таблицу» в модальном окне. После нажатия скачивается файл в формате .csv.
Для удаления пода используется кнопка «Удалить».
При нажатии на кнопку «Удалить» открывается модальное окно для подтверждения удаления пода. В этом окне пользователь может выбрать способ удаления:
-
Моментальное удаление: Для этого необходимо установить флаг false для поля Grace-период. В таком случае под будет удален сразу, без ожидания завершения процессов.
-
Удаление с использованием Grace-период: Если установлен флаг true для поля Grace-период, удаление произойдет с учетом времени завершения процессов пода. По умолчанию в поле ввода будет предварительно заполнено значение Grace-период, которое пользователь может изменить при необходимости.
Возможности вкладки Масштабирование
На вкладке «Масштабирование» доступна информация о механизмах масштабирования KEDA и HPA в соответствующих разделах. По умолчанию, при переходе на вкладку «Масштабирование» открывается раздел «KEDA», который содержит список механизмов KEDA, развернутых на кластере.
Механизмы KEDA
Для добавления нового механизма KEDA, нужно нажать кнопку «Добавить», после чего открывается модальное окно.
В открытом модальном окне заполняются параметры механизма. Также есть возможность добавить параметры механизма HPA при необходимости.
После заполнения данных нужно нажать кнопку «Добавить». Модальное окно добавления KEDA закроется, откроется модальное окно запуска задания. Для запуска задания нужно нажать кнопку «Запустить».
Для редактирования существующего механизма KEDA нужно нажать кнопку «Редактировать» напротив нужного механизма. После нажатия открывается модальное окно редактирования.
После редактирования данных механизма для сохранения изменений нужно нажать кнопку «Сохранить». После этого откроется модальное окно запуска задания.
Для удаления существующего механизма KEDA нужно нажать кнопку «Удалить» напротив нужного механизма. После этого открывается модальное окно подтверждения удаления.
Для подтверждения удаления, нужно в модальном окне нажать кнопку «Удалить». После этого модальное окно закрывается и открывается модальное окно запуска задания.
Механизмы HPA
Для добавления нового механизма HPA, нужно нажать кнопку «Добавить», после чего открывается модальное окно.
В открытом модальном окне заполняются параметры механизма.
После заполнения данных нужно нажать кнопку «Добавить». Модальное окно добавления HPA закроется, откроется модальное окно запуска задания. Для запуска задания нужно нажать кнопку «Запустить».
Для редактирования существующего механизма HPA нужно нажать кнопку «Редактировать» напротив нужного механизма. После нажатия открывается модальное окно редактирования.
После редактирования данных механизма для сохранения изменений нужно нажать кнопку «Сохранить». После этого откроется модальное окно запуска задания.
Для удаления существующего механизма HPA нужно нажать кнопку «Удалить» напротив нужного механизма. После этого открывается модальное окно подтверждения удаления.
Для подтверждения удаления, нужно в модальном окне нажать кнопку «Удалить». После этого модальное окно закрывается и открывается модальное окно запуска задания.
Настройка параметров конфигурации кластера
Настройка параметров конфигурации Nova
Настройка параметров конфигурации в модуля Control — это гибкий процесс, который позволяет администратору управлять интеграцией и мониторингом состояния кластеров. На странице конфигураций представлены все ключевые параметры продукта Nova (1), обеспечивающие оптимальную работу системы и её взаимодействие с кластерами. Эти параметры собраны в таблицу, где каждая строка содержит идентификатор параметра, его название и описание, что помогает администратору лучше ориентироваться и понимать, какие именно настройки влияют на работу системы.
Интерфейс страницы конфигураций включает удобный поиск (2), позволяющий быстро находить нужные параметры. Изменение их значений возможно через интуитивно понятную форму редактирования, которая открывается при нажатии на кнопку редактирования (3) рядом с параметром или при двойном клике по его строке. После внесения изменений администратор может применить их, нажав на кнопку «Сохранить» (4).
Чтобы облегчить процесс работы, предусмотрена возможность автоматического сохранения изменений — если активировать чек-бокс «Сохранять автоматически» (5), то изменения будут применяться после сохранения информации о каждом параметре автоматически. Дополнительно, если произошли изменения в настройках, администратор может обновить установочный файл kubeconfig, который использовался при создании инстанса. Для этого необходимо нажать на кнопку «Обновить установочный файл» (6) и загрузить актуальную версию файла.
Таблица. Список параметров на странице конфигурации*
| ID параметра | Наименование параметра | Описание параметра |
|---|---|---|
| 1 | nv_prometheus_url | URL-адрес Prometheus для продукта. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 4 | nv_metric_collection_delay | Частота сбора метрик, значение в миллисекундах |
| 5 | nv_monitor_alert_delay | Периодичность мониторинга alert-ов, значение в миллисекундах |
| 6 | nv_inst_status_scheduled_period | Глубина хранения истории статусов сервисов, значение в миллисекундах |
| 7 | nv_pod_log_tail | Количество последних строк выводимых в логе пода на странице «Инфраструктура» |
| 11 | nv_inst_opensearch_url | URL-адрес OpenSearch для инстанса Nova, используется для получения информации о логах кластера и запросах. Данный URL вводится с указанием протокола (например, https:// или http://) |
| 12 | nv_inst_prometheus_login | Логин для получения метрик Prometheus |
| 13 | nv_inst_prometheus_password | Пароль для получения метрик Prometheus |
| 14 | nv_inst_opensearch_login | Логин для получения данных из OpenSearch |
| 15 | nv_inst_opensearch_password | Пароль для получения данных из OpenSearch |
| 21 | nv_inst_meta_aggregator_url | URL-адрес Meta Aggregator для инстанса Nova. Необходим для получения информации об объектах HiveMetaStore (базы данных, таблицы, партиции). Данный URL вводится с указанием протокола (например, https:// или http://) |
| 22 | nv_inst_meta_aggregator_keycloak_client_id | ID клиента KeyCloak для Meta Aggregator Nova. Необходим для получения информации об объектах HiveMetaStore (базы данных, таблицы, партиции), если на стороне Nova включена авторизация через KeyCloak |
| 23 | nv_inst_meta_aggregator_keycloak_client_secret | Секрет клиента KeyCloak Meta Aggregator для Nova. Необходим для получения информации об объектах HiveMetaStore (базы данных, таблицы, партиции), если на стороне Nova включена авторизация через KeyCloak |
| 24 | nv_inst_meta_aggregator_keycloak_username | Логин KeyCloak для Meta Aggregator Nova. Необходим для получения информации об объектах HiveMetaStore (базы данных, таблицы, партиции), если на стороне Nova включена авторизация через KeyCloak |
| 25 | nv_inst_meta_aggregator_keycloak_password | Пароль KeyCloak для Meta Aggregator Nova. Необходим для получения информации об объектах HiveMetaStore (базы данных, таблицы, партиции), если на стороне Nova включена авторизация через KeyCloak |
| 26 | nv_inst_meta_aggregator_keycloak_url | URL KeyCloak для Meta Aggregator Nova. Необходим для получения информации об объектах HiveMetaStore (базы данных, таблицы, партиции), если на стороне Nova включена авторизация через KeyCloak. Данный URL вводится с указанием протокола (например, https:// или http://) и домена |
| 27 | nv_inst_opensearch_index_for_queries | Индекс в OpenSearch, где хранится информация о запросах Impala. При использовании daily индексов данный параметр необходимо заполнять следующим образом <index*> |
| 29 | nv_inst_grafana_link | URL-адрес Grafana для инстанса Nova. Данный URL вводится с указанием протокола (например, https:// или http://) и домена. Ссылка на Grafana доступна в боковом меню, раздел «Мониторинг» |
| 30 | nv_inst_log_opensearch_index_prefix_for_nova | Префикс индекса логов OpenSearch для кластера Nova. Например kubelogs- |
| 35 | nv_inst_log_opensearch_default_number_around_logs | Количество записей по умолчанию, выводимое для запроса контекста конкретной записи |
| 36 | nv_inst_log_opensearch_downloading_file_max_size | Максимальный размер файла (в байтах) для скачивания из OpenSearch |
| 37 | nv_inst_log_opensearch_index_prefix_for_k8s | Префикс индекса логов OpenSearch для событий кластера Kubernetes. Например kubeevents- |
| 38 | nv_inst_namespaces | Список неймспейсов, к которым разрешен доступ инстансу. Используется для разграничения доступов по движкам |
| 39 | nv_inst_healthcheck_k8s_cluster | Проверка доступности кластера Kubernetes для инстанса |
Просмотр истории версии параметров конфигурации кластера
Для параметров конфигурационных файлов, которые сохраняются на стороне модуля Control, предусмотрена возможность просмотра истории их изменений. Эта функция помогает пользователям отслеживать изменения, которые вносились в конфигурации, фиксируя дату, время и пользователя, внесшего корректировки. Это особенно полезно для анализа состояния системы и решения возможных проблем.
Чтобы воспользоваться этой функцией, необходимо зайти на страницу «Конфигурации» и выбрать вкладку «Конфигурация инстанса». После этого достаточно нажать на кнопку истории изменений напротив нужного параметра, чтобы открыть форму со списком всех правок, внесенных в этот параметр. Каждое изменение сопровождается отметкой времени и датой, что позволяет легко отследить эволюцию значения параметра. Текущее значение выделяется с помощью метки «(Текущее)», что упрощает ориентирование в списке изменений.
SSL-сертификаты
Для работы с SSL-сертификатами в интерфейсе модуля Control нужно выбрать вкладку «SSL сертификаты». На открывшейся странице будет отображен список сертификатов с параметрами:
- Поставщик
- Корневой сертификат
- Наименование
- SAN домены (Subject Alternative Names)
- Срок действия
- Период просроченности сертификата
Основные функции страницы:
- Загрузка сертификатов: Необходимо нажать на кнопку «Загрузить», чтобы открыть модальное окно загрузки. В этом окне можно добавить необходимые сертификаты. После завершения загрузки необходимо нажать «Загрузить», чтобы сохранить данные для инстанса Nova, и таблица со списком сертификатов обновится.
- Скачивание сертификатов:
- Для скачивания всех сертификатов необходимо нажать на кнопку «Скачать», после чего откроется окно подтверждения, и сертификаты будут скачаны в формате pem.
- Чтобы скачать отдельные сертификаты, необходимо отметить нужные сертификаты чек-боксами и нажать на «Скачать», после чего откроется окно подтверждения, и сертификаты будут скачаны в формате pem.
- Удаление сертификатов:
- Для удаления всех сертификатов необходимо нажать на кнопку «Удалить все». Появится модальное окно подтверждения, после которого вся информация о сертификатах будет удалена, и таблица обновится.
- Для удаления нескольких сертификатов необходимо отметить их чекбоксами и нажать на «Удалить». После подтверждения выбранные сертификаты будут удалены.
- Чтобы удалить один конкретный сертификат, необходимо нажать кнопку «Удалить» рядом с ним. В модальном окне подтверждается удаление.
После любого удаления информация будет обновлена, и в таблице сертификатов отобразятся актуальные данные.
Обзор продукта Nova, его платформ и сервисов
Обзор
На странице инстанса в левом верхнем углу представлена сводная информация о кластере Nova. Инфопанель (1) отображает ключевые метрики системы, такие как:
-
Статус всего кластера: рассчитывается на основе состояния всех платформ и сервисов, входящих в Nova.
-
Время работы Nova: определяется исходя из времени работы всех платформ и сервисов.
-
Версия Kubernetes: информация извлекается из файла kubeconfig, загруженного при создании инстанса.
-
Имя Kubernetes кластера: информация извлекается из файла kubeconfig, загруженного при создании инстанса.
-
Адрес сервера: информация извлекается из файла kubeconfig, загруженного при создании инстанса.
-
Узлы: показывает количество узлов в кластере. Это кликабельное поле, при нажатии на которое открывается вкладка «Узлы» на странице «Инфраструктура».
-
Поды: показывает количество подов в кластере. Поле кликабельно, при нажатии на него открывается вкладка «Поды» на странице «Инфраструктура».
-
Документация: ссылка на онлайн-справку с основными документами по продукту.
Карта связей
По умолчанию при переходе на страницу «Обзор» открывается вкладка «Карта связей» (2), которая демонстрирует все компоненты Nova, их текущее состояние и связи между ними. Пользователь может воспользоваться строкой поиска (3) для быстрого нахождения нужного сервиса или платформы. Также доступны: фильтр по статусу (4), позволяющий отображать компоненты, находящиеся в конкретном состоянии, кнопка обновления информации вкладки (5) и кнопка центрирования карты (6), позволяющая вернуть карту в исходное положение.
При нажатии на кнопку «Посмотреть историю статусов», которая отображает статус кластера в инфопанели кластера, открывается модальное окно, в котором отображается подробная история всех изменений статусов. Каждый статус можно развернуть для просмотра, чтобы увидеть состояние компонентов на момент изменения.
Функционал просмотра истории статусов доступен как для всего инстанса Nova, так и для его вычислительных движков и общих сервисов, предоставляя возможность глубже понять динамику работы системы. Количество отображаемых статусов настраивается индивидуально для каждого инстанса на странице «Конфигурации».
Для построения связей между объектами достаточно кликнуть на нужную платформу или сервис. Это вызовет отображение всех связанных компонентов.
Метаданные
Вкладка «Метаданные» предоставляет информацию о структуре и статистике таблиц Hive Metastore, используя сервис Meta Aggregator. Этот сервис собирает данные о базах данных, таблицах и партициях в Hive MetaStore, а также обогащает их информацией из хранилища S3. Meta Aggregator является частью системы Nova и предоставляет доступ к данным через REST API.
При выборе вкладки «Базы данных», пользователь видит таблицу (1) с ключевой информацией по базам данных. Таблица содержит следующие параметры:
- Название базы данных
- Описание
- Имя владельца
- Расположение
- Дата получения данных
Для более наглядного отображения информации о базах данных можно перейти к иерархическому представлению с помощью переключателя «Древовидная диаграмма», который визуализирует базы данных в виде сетки прямоугольников, пропорционально размерам БД. Выбранное число баз данных (4) отображается в зависимости от выбранного атрибута (3).
На вкладке «Таблицы» также представлена таблица (1) с основными параметрами для каждой таблицы. Для просмотра подробной информации по колонкам таблицы доступна кнопка «Колонки» (2), расположенную в столбце «Название таблицы».
После нажатия открывается модальное окно с детализированной информацией о колонках, а также с возможностью быстрого поиска необходимых элементов.
Для удобства работы со вкладкой «Таблицы» предусмотрены фильтры, позволяющие находить нужные таблицы с помощью поиска или указывать диапазоны числовых значений.
Вычислительные движки
Раздел «Вычислительные движки» в боковом меню содержит в себе информацию о типах платформ, которые присутствуют в продукте Nova, а также о количестве движков (т.е. экземпляров этих платформ), которые присутствуют в этом кластере.
В состав Nova входят четыре типа платформ:
- Impala
- Spark
- Trino
- StarRocks
Impala
В разделе «Impala» представлена таблица со списком всех доступных вычислительных движков Impala. Количество этих движков совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого движка, чтобы перейти на детализированную страницу мониторинга конкретного движка Impala. В таблице отображаются общие сервисы, взаимодействующие с движком, пространство имен, в котором располагается движок, компоненты, а также текущий статус движка. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Обзор
При выборе конкретного движка Impala пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус движка, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы (1). В разделе «Компоненты» инфопанели показан список сервисов, из которых состоит Impala, их статусы и количество подов испонительных компонентов (2). В разделе «Общие сервисы» представлены сервисы, с которыми взаимодействует движок Impala (3). Также пользователю предоставляется список доступных действий для управления движком, таких как перезапуск развертываний различных компонентов: Catalog, Statestore и Impala Daemon (4). Также пользователь может просмотреть параметры подключения через кнопку «Параметры подключения» (5). В открывшемся окне пользователь может скопировать строку (6), скачать jdbc-драйвер (7) и скачать сертификат (8).
По умолчанию, при переходе на страницу конкретного движка Impala, открывается «Обзор» (9), где представлены графики с показателями работы движка на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- Поды исполнителей – количество подов исполнительных компонентов движка Impala.
При нажатии на кнопку «Скачать jdbc-драйвера» открывается модальное окно, в котором можно выбрать нужные для скачивания драйвера. После выбора нужно нажать кнопку «Скачать», после чего начнется скачивание выбранных драйверов.
Динамика
На вкладке «Динамика» отображаются графики с основной информацией по движку Impala. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
-
Поды исполнителей – количество подов исполнительных компонентов движка Impala.
-
CPU Catalog – потребление CPU компонентом Impala Catalog по подам.
-
CPU Executor – потребление CPU компонентом Impala Executor по подам.
-
CPU StateStore – потребление CPU компонентом Impala StateStore по подам.
-
RAM Catalog – потребление RAM компонентом Impala Catalog по подам.
-
RAM Executor – потребление RAM компонентом Impala Executor по подам.
-
RAM Impala StateStore – потребление RAM компонентом Impala StateStore по подам.
Executors
Во вкладке «Executors» отображается список Executor Impala с их отношением к группе Executors, а также доступна ссылка для каждого Executor.
Ресурсные очереди
Во вкладке «Ресурсные очереди» пользователь может настраивать ограничения для одновременных SQL-запросов, управлять потребляемыми ресурсами и задавать параметры ожидания для запросов — как по количеству, так и по времени.
!!! warning Функционал вкладки «Ресурсные очереди» Функционал вкладки «Ресурсные очереди» при наличии вкладки «Ресурсный банк» доступен только в формате чтения. При отсутствии вкладки «Ресурсный банк» функционал вкладки «Ресурсные очереди» доступен и описан ниже.
В разделе Для настройки ограничений ресурсной очереди по умолчанию нужно нажать кнопку «Настройки по умолчанию».
После нажатия открывается модальное окно настройки параметров ресурсных очередей по умолчанию. В этой форме заполняются три вкладки: «Ограничение ресурсов», «Предоставление прав доступа» и «Параметры сессии по умолчанию».
- Вкладка «Ограничение ресурсов» предназначена для задания конкретных лимитов на использование ресурсов.
- Вкладка «Предоставление прав доступа» задает настройки для управления доступом к ресурсным очередям.
- Вкладка «Параметры сессии по умолчанию» позволяет администратору задать параметры сессии по умолчанию в формате ключ-значение. В поле ключ доступен выбор параметра из выпадающего списка. К каждому параметру подставляется значение по умолчанию, которое можно отредактировать.
Чтобы настроить новые ограничения для конкретной очереди, необходимо создать ресурсную очередь и задать правило размещения. Для создания новой ресурсной очереди следует нажать на кнопку «Добавить», которая откроет форму создания. В этой форме заполняется поле «Название» и три основные вкладки: «Ограничение ресурсов», «Предоставление прав доступа» и «Параметры сессии по умолчанию».
- Вкладка «Ограничение ресурсов» предназначена для задания конкретных лимитов на использование ресурсов.
- Вкладка «Предоставление прав доступа» задает настройки для управления доступом к ресурсным очередям.
- Вкладка «Параметры сессии по умолчанию» позволяет администратору задать параметры сессии по умолчанию в формате ключ-значение.
Доступно редактирование существующих ресурсных очередей, нажав на кнопку «Редактировать» рядом с нужной очередью, что открывает форму для внесения изменений в ограничения, права доступа и параметры сессии по умолчанию. Также есть возможность копировать ресурсную очередь, создавая новый на основе существующего, или удалять его, используя соответствующие кнопки.
Пользователь можешь создать новую ресурсную очередь с параметрами уже существующей. Для этого нужно нажать кнопку «Копировать» напротив очереди, которую нужно «клонировать». После нажатия открывается модальное окно редактирования ресурсной очереди.
Для удаления ресурсной очереди нужно нажать кнопку «Удалить» напротив соответствующей очереди. После нажатия откроется модальное окно подтверждения удаления.
Для настройки правил размещения нужно перейти в раздел «Правила размещения».
В этом разделе можно добавлять, редактировать или удалять правила с помощью кнопок «Добавить», «Редактировать» и «Удалить». Каждое действие открывает соответствующую форму, где администратор задает параметры правила.
Кроме того, администраторы могут настраивать приоритеты правил, перетаскивая их вертикально с помощью специальных полосок слева от каждого правила.
Ограничения для терминальных правил
Терминальное правило вида default (в UI представлено как привязка к конкретному пулу root.[poolname]) в списке всегда должно быть ровно одно и находиться строго на последней позиции.
После внесения любых изменений на вкладке «Ресурсные очереди» необходимо нажать кнопку «Применить изменения», чтобы запустить задание в Task Manager, обновляющее файл CRD Impala Admission Control.
Ресурсный банк
Во вкладке «Ресурсный банк» пользователь может настраивать ресурсный банк, который регулирует ограничения для одновременных SQL-запросов, управляет потребляемыми ресурсами и задает параметры ожидания для запросов — как по количеству, так и по времени. По сути, ресурсный банк забирает на себя управление ресурсными очередями.
Разделы «Ресурсные очереди» и «Правила размещения» повторяют функционал таких же разделов во вкладке «Ресурсные очереди». См. подробнее раздел «Ресурсные очереди».
В разделе «Настройки банка» вкладки «Ресурсный банк» задаются настройки банк-групп и глобальные настройки банка.
Для добавления новой банк-группы нужно нажать кнопку «Добавить», после чего откроется модальное окно добавления банк-группы.
Для редактирования банк-группы нужно нажать кнопку «Редактировать», после чего откроется модальное окно редактирования банк-группы.
Для удаления банк-группы нужно нажать кнопку «Удалить», после чего откроется модальное окно подтверждения удаления банк-группы.
Параметры включения банк, управления режимом Dry и автоматического определения доступной памяти редактируются через кнопку «Выключатели банка». При нажатии на нее откроется модальное окно с этими параметрами.
После внесения любых изменений на вкладке «Ресурсный банк» необходимо нажать кнопку «Применить изменения», чтобы запустить задание в Task Manager, обновляющее файл CRD Impala Admission Control Configuration.
Параметры доступа
На вкладке «Параметры доступа» происходит настройка параметров доступа вычислительного движка Impala. Пользователь может просматривать, редактировать и удалять параметры текущего секрета, а также задавать новые параметры секрета.
Секрет содержит несколько параметров, каждый из которых имеет собственное значение. При отсутствии секрета можно создать новый, нажав кнопку «Добавить».
После нажатия появляется новая строка в таблице с редактируемыми полями. Пользователь может выбрать параметр и заполнить его значение.
Чтобы задать другие параметры, нужно также нажать кнопку «Добавить» и в появившейся редактируемой строке выбрать и заполнить недостающий параметр.
Все параметры уникальны, поэтому у каждого параметра может быть только одно значение.
Для редактирования параметра нужно нажать кнопку «Редактировать».
После нажатия кнопки поле «Значение» параметра становятся редактируемым. После внесения изменения нужно нажать кнопку «Сохранить».
Чтобы очистить значение параметра, нужно нажать кнопку «Очистить значение» напротив соответствующего параметра.
После нажатия открывается модальное окно подтверждения очистки.
Для сохранения всех внесенных изменений нужно нажать кнопку «Применить изменения».
Spark
В разделе «Spark» представлена таблица со списком всех доступных движков Spark. Количество этих движков совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого движка, чтобы перейти на детализированную страницу мониторинга конкретного движка Spark. В таблице отображаются общие сервисы, взаимодействующие с движком, пространство имен, в котором располагается движок, компоненты, а также текущий статус движка. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
При выборе конкретного движка Spark пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус движка, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версии и время работы (1). В разделе «Компоненты» инфопанели показан список сервисов, из которых состоит Spark, их статусы и количество подов для каждого сервиса (2). В разделе «Общие сервисы» представлены сервисы, с которыми взаимодействует движок Spark (3). Также пользователю предоставляется список доступных действий для управления движком, таких как перезапуск Jupiter Hub и запуск Compaction job (4).
Обзор
По умолчанию, при переходе на страницу конкретного движка Spark, открывается «Обзор» (5), где представлены графики с показателями работы движка на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- Подов всего – общее количество подов с установленными компонентами движка Spark.
- CPU Общее – потребление CPU движком Spark.
- CPU JupyterHub – потребление CPU компонентом JupyterHub.
- CPU Proxy– потребление CPU компонентом Proxy.
- CPU Connect-Server– потребление CPU компонентом Connect-Server.
- CPU History-Server – потребление CPU компонентом History-Server.
- CPU Thrift-Server– потребление CPU компонентом Thrift-Server.
- RAM Общее – потребление RAM движком Spark.
- RAM JupyterHub – потребление RAM компонентом JupyterHub.
- RAM Proxy – потребление RAM компонентом Proxy.
- RAM Connect-Server – потребление RAM компонентом Connect-Server.
- RAM History-Server – потребление RAM компонентом History-Server.
- RAM Thrift-Server– потребление RAM компонентом Thrift-Server.
JupyterHub
Вкладка «JupyterHub» содержит внутри 2 раздела: «Метрики JupyterHub» и «Spark Notebooks».
В разделе «Метрики JupyterHub» отображаются графики с основной информацией по компоненту JupyterHub. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- CPU JupyterHub – потребление CPU сервисом JupyterHub;
- RAM JupyterHub – потребление RAM сервисом JupyterHub;
- Jupyter Hub Active Users – количество активных пользователей JupyterHub;
- Jupyter Hub Running Servers – количество запущенных JupyterHub Notebooks.
Spark Notebooks
В разделе «Spark Notebooks» отображается список Spark Notebooks: наименование и ссылка. Раздел динамически обновляется в зависимости от изменения количества Notebooks в Nova.
Connect-Server
Вкладка «Connect-Server» содержит внутри 2 раздела: «Метрики Connect-Server» и «Spark Connects».
В разделе «Метрики Connect-Server» отображаются графики с основной информацией по компоненту Connect-Server. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- CPU Connect-Server – потребление CPU компонентом Connect-Server
- RAM Connect-Server – потребление RAM компонентом Connect-Server.
- Connect-Server Active Executors – количество активных Executors сервиса Connect-Server.
- Connect-Server Needed Executors – максимальное количество Executors сервиса Connect-Server, которые требуются для текущей нагрузки.
- Active Jobs – количество активных джобов.
- Running Stages – количество выполняющихся стадий.
- Waiting Stages – количество ожидающих стадий (стадий, для которых пока что не подсчитаны родительские стадии).
- Failed Stages – количество упавших стадий.
- JVM Heap Memory – пиковое использование Heap Memory.
- JVM Off Heap Memory – пиковое использование Off Heap Memory.
- Off Heap Execution Memory – пиковое использование Off Heap Memory, предназначенной для Execution.
- On Heap Execution Memory – пиковое использование On Heap Memory, предназначенной для Execution.
- Total GC Time – время, потраченное виртуальной машиной для Executor Garbage Collection.
В разделе «Spark Connects» отображается список Spark Connects: наименование и ссылка. Вкладка динамически обновляется в зависимости от изменения количества Connects в Nova.
History-Server
На вкладке «History-Server» отображаются графики с основной информацией по компоненту History-Server. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- CPU History-Server – потребление CPU компонентом History-Server.
- RAM History-Server – потребление RAM компонентом History-Server.
Thrift-Server
На вкладке «Thrift-Server» отображаются графики с основной информацией по компоненту Thrift-Server. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- CPU Thrift-Server – потребление CPU компонентом Thrift-Server.
- RAM Thrift-Server – потребление RAM компонентом Thrift-Server.
- Thrift-Server Active Executors – количество активных Executors сервиса Thrift-Server.
- Thrift-Server Needed Executors – максимальное количество Executors сервиса Thrift-Server, которые требуются для текущей нагрузки.
- Active Jobs – количество активных джобов.
- Running Stages – количество выполняющихся стадий.
- Waiting Stages – количество ожидающих стадий (стадии, для которых пока что не подсчитаны родительские стадии).
- Failed Stages – количество упавших стадий.
- JVM Heap Memory – пиковое использование Heap Memory.
- JVM Off Heap Memory – пиковое использование Off Heap Memory.
- Off Heap Execution Memory – пиковое использование Off Heap Memory, предназначенной для Execution.
- On Heap Execution Memory – пиковое использование On Heap Memory, предназначенной для Execution.
- Total GC Time – время, потраченное виртуальной машиной для Executor Garbage Collection.
Spark Jobs
В разделе «Spark Jobs» отображается список подов Spark Jobs типа driver и executor: название, статус и ссылка. Для каждого пода типа driver есть раскрывающийся список с соответствующими ему подами типа executor. Раздел динамически обновляется в зависимости от изменения количества подов Spark Jobs в Nova.
Пользователь может смотреть логи конкретного пода, нажав кнопку «Посмотреть журнал» напротив соответствующего пода.
После нажатия открывается модальное окно просмотра журнала пода.
Пользователь может удалить конкретный под через кнопку «Удалить». При удалении пода типа driver удаляется и соответствующие ему поды типа executor. При удалении пода типа executor удаляется только этот под.
После нажатия открывается модальное окно подтверждения удаления пода.
Trino
В разделе «Trino» представлена таблица со списком всех доступных движков Trino. Количество этих движков совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого движка, чтобы перейти на детализированную страницу мониторинга конкретного движка Trino. В таблице отображаются общие сервисы, взаимодействующие с движком, пространство имен, в котором располагается движок, компоненты, а также текущий статус движка. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Обзор
При выборе конкретного движка Trino пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус движка, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия, время работы и ссылка на UI (1). В разделе «Компоненты» инфопанели показан список сервисов, из которых состоит Trino, их статусы и количество подов для каждого сервиса (2). В разделе «Общие сервисы» показан список сервисов, с которыми взаимодействует Trino (3). Также пользователю предоставляется список доступных действий для управления движком, таких как перезапуск развертываний компонентов Coordinator и Worker (4). Помимо этого пользователь может просмотреть параметры подключения через кнопку «Параметры подключения» (5). В открывшемся окне пользователь может скопировать строку (6), скачать jdbc-драйвер (7) и скачать сертификат (8).
По умолчанию, при переходе на страницу конкретного движка Trino, открывается «Обзор» (9), где представлены графики с показателями работы движка на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- Pods Total – общее количество подов с установленными компонентами движка Trino.
- Running Queries – количество работающих запросов.
- Queued Queries – количество запросов в очереди[.]{.mark}
Динамика
На вкладке «Динамика» отображаются графики с основной информацией по движку Trino. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- Подов всего – общее количество подов с установленными компонентами движка Trino.
- Выполняющиеся запросы – количество работающих запросов.
- Запросы в очереди – количество запросов в очереди.
- Заблокированные запросы – количество заблокированных запросов.
- Запущенные драйверы – количество запущенных драйверов.
- Активные Workers – количество активных узлов Worker-ов.
- CPU Coordinator – потребление CPU сервисом Coordinator.
- RAM Coordinator – потребление RAM сервисом Coordinator.
- CPU Worker Trino – потребление CPU сервисом Worker Trino.
- CPU Worker – потребление CPU сервисом Worker.
- RAM Worker – потребление RAM сервисом Worker.
- Зарезервированная память – объем зарезервированной памяти.
- Доступная память – объем доступной памяти.
- Входной поток – объем обрабатываемого входного потока за секунду.
- Входные строки – объем обрабатываемых строк за секунду.
- Доступные процессоры – общее количество доступных процессоров.
Ресурсные группы
Во вкладке «Ресурсные группы» пользователь может настраивать ограничения для SQL-запросов и управлять распределением мощностей кластера. Главная особенность движка Trino — древовидная иерархия: группы могут включать в себя подгруппы вплоть до 10 уровней вложенности.
На вкладке доступно управление глобальным для всех ресурсных групп параметром «Период квотирования CPU»
Для создания новой ресурсной группы верхнего уровня следует нажать на кнопку «Добавить».
По клику открывается модальное окно создания группы. В этой форме необходимо заполнить обязательное поле «Название» и задать лимиты выполнения (максимум в очереди, лимиты памяти, CPU и параллелизма), а также настроить параметры планирования.
Правила планирования для подгрупп
Для корректного распределения ресурсов по древовидной структуре применяются следующие параметры:
- Политика планирования — обязательно задается для любой группы, имеющей дочерние подгруппы. Она определяет, как ресурсы родителя будут делиться между ними.
- Вес планирования — задается для подгрупп и строго зависит от выбранной политики их родительской группы:
- Если у родительской группы задана честная политика, вес для дочерних групп не задается.
- Если у родительской группы задана нечестная политика, вес должен быть задан либо у всех ее подгрупп, либо ни у одной.
Для создания подгруппы следует нажать на кнопку «Добавить подгруппу» в строке родительской группы и задать параметры в модальном окне, аналогичном окну добавления группы.
При нажатии в модальном окне кнопки «Сохранить» — в таблице создается ресурсная группа на соответствующем уровне.
Чтобы отредактировать существующую ресурсных групп, необходимо нажать на кнопку «Редактировать» в строке группы и заполнить формы открывшегося модального окна.
Доступна возможность создать на текущем уровне вложенности новую ресурсную группу с параметрами выборанной. Для этого необходимо нажать в строке выбранной группы кнопку «Копировать группу».
Для удаления ресурсной очереди нужно нажать кнопку «Удалить» напротив соответствующей очереди. После нажатия откроется модальное окно подтверждения удаления.
Для настройки правил размещения нужно перейти в раздел «Правила размещения».
В этом разделе можно добавлять, редактировать или удалять правила с помощью кнопок «Добавить» (1), «Редактировать» (2) и «Удалить» (3), а также управлять приоритетом правила перетаскиванием его на позицию выше или ниже. В зависимости от выбранного действия открывается соответствующее модальное окно.
Для создания правила размещения необходимо выбрать целевую группу из выпадающего списка и опционально задать параметры правила.
При удалении правила появляется модальное окно подтверждения удаления.
При редактировании правила появляется модальное окно, аналогичное созданию, с заполненными параметрами выбранной группы.
После внесения любых изменений на вкладке «Ресурсные группы» необходимо нажать кнопку «Проверить» для автоматической проверки корректности введенных параметров, либо “Проверить и применить” чтобы сразу после проверки запустить задание в Task Manager, обновляющее файл CRD Trino Admission Control.
Параметры доступа
На вкладке «Параметры доступа» происходит настройка параметров доступа вычислительного движка Trino. Пользователь может просматривать, редактировать и удалять параметры текущего секрета, а также задавать новые параметры секрета.
Секрет содержит несколько параметров, каждый из которых имеет собственное значение. При отсутствии секрета можно создать новый, нажав кнопку «Добавить».
После нажатия появляется новая строка в таблице с редактируемыми полями. Пользователь может выбрать параметр и заполнить его значение.
Чтобы задать другие параметры, нужно также нажать кнопку «Добавить» и в появившейся редактируемой строке выбрать и заполнить недостающий параметр.
Все параметры уникальны, поэтому у каждого параметра может быть только одно значение.
Для редактирования параметра нужно нажать кнопку «Редактировать».
После нажатия кнопки поле «Значение» параметра становятся редактируемым. После внесения изменения нужно нажать кнопку «Сохранить».
Чтобы очистить значение параметра, нужно нажать кнопку «Очистить значение» напротив соответствующего параметра.
После нажатия открывается модальное окно подтверждения очистки.
Для сохранения всех внесенных изменений нужно нажать кнопку «Применить изменения».
StarRocks
В разделе «StarRocks» представлена таблица со списком всех доступных движков StarRocks. Количество этих движков совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого движка, чтобы перейти на детализированную страницу мониторинга конкретного движка StarRocks. В таблице отображаются общие сервисы, взаимодействующие с движком, пространство имен, в котором располагается движок, компоненты, а также текущий статус движка. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Обзор
При выборе конкретного движка StarRocks пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус движка, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия, время работы и ссылка на UI (1). В разделе «Компоненты» инфопанели показан список сервисов, из которых состоит StarRocks, их статусы и количество подов для каждого компонента (2). В разделе «Общие сервисы» показан список сервисов, с которыми взаимодействует StarRocks (3). Также пользователь может просмотреть параметры подключения через кнопку «Параметры подключения» (4). В открывшемся окне пользователь может скопировать строку (5), скачать jdbc-драйвер (6) и скачать сертификат (7).
По умолчанию, при переходе на страницу конкретного движка StarRocks, открывается «Обзор» (8), где представлены графики с показателями работы движка на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- Подов всего – общее количество подов с установленными компонентами движка StarRocks.
- CPU Всего – общая утилизация CPU движком StarRocks.
- CPU FE Node – утилизация CPU узлом FE.
- CPU CN Node – утилизация CPU узлом CN.
- RAM Всего – общая утилизация памяти движком StarRocks.
- RAM FE Node – утилизация памяти узлом FE.
- RAM CN Node – утилизация памяти узлом CN.
- FE Node – Количество узлов FE.
- CN Node – Количество узлов CN.
Динамика
На вкладке «Динамика» отображаются графики с основной информацией по движку StarRocks. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- Подов всего – общее количество подов с установленными компонентами движка StarRocks.
- CPU Всего – общая утилизация CPU движком StarRocks.
- CPU FE Node – утилизация CPU узлом FE.
- CPU CN Node – утилизация CPU узлом CN.
- RAM Total – общая утилизация памяти движком StarRocks.
- RAM FE Node – утилизация памяти узлом FE.
- RAM CN Node – утилизация памяти узлом CN.
- FE Alive узлы – количество узлов FE в статусе Alive.
- CN Alive узлы – количество узлов CN в статусе Alive.
- Количество образов – количество сохраненных образом метаданных.
- Всего запросов – Общее количество запросов.
- Ошибок в запросах – Общее количество ошибок.
Ресурсные группы
Во вкладке «Глобальные параметры» располагается панель с глобальными параметрами кластера (Таймаут ожидания, Лимиты памяти, CPU и параллелизма). Глобальные параметры могут быть изменены по кнопке Редактировать**.Изменение этих значений напрямую влияет на системную очередь запросов для всего движка StarRocks.
Во вкладке «Ресурсные группы» пользователь может настраивать ограничения для SQL-запросов и управлять распределением мощностей кластера. Особенность движка StarRocks — плоский список групп и наличие глобальной очереди с жесткими лимитами, применяемыми ко всей системе.
Для создания новой ресурсной группы следует нажать на кнопку «Добавить».
По клику открывается модальное окно создания группы. В этой форме необходимо заполнить поле «Название» и настроить параметры на двух вкладках: «Ограничения ресурсов» и «Классификаторы».
Вкладка «Ограничения ресурсов» предназначена для задания лимитов выполнения (максимум параллельных запросов, вес CPU, статическое закрепление ядер и ограничения для тяжелых запросов).
Вкладка «Классификаторы» позволяет администратору настроить правила, по которым входящие запросы будут направляться в текущую группу.
Чтобы создать новое правило, необходимо нажать кнопку «Добавить» и заполнить желаемые параметры в появившемся модальном окне.
Маршрутизация запросов (Классификаторы)
В отличие от других движков, в StarRocks правила направления запросов (аналог Placement Rules) настраиваются непосредственно внутри самой группы. Во вкладке «Классификаторы» через кнопку «Добавить классификатор» задаются условия (по пользователю, роли, IP-адресу, базе данных или типу запроса). Запрос попадет в данную группу, если совпадет хотя бы с одним из добавленных классификаторов.
Чтобы отредактировать существующую ресурсную группу, необходимо нажать на кнопку «Редактировать» в строке группы и заполнить формы открывшегося модального окна. Поле названия при редактировании недоступно для изменения.
Доступна возможность создать новую ресурсную группу с параметрами выбранной. Для этого необходимо нажать в строке выбранной группы кнопку «Копировать группу». Все ограничения и классификаторы будут скопированы, потребуется задать только новое уникальное имя.
Для удаления ресурсной группы нужно нажать кнопку «Удалить» напротив соответствующей группы. Вместе с группой будут удалены и все настроенные в ней классификаторы. После нажатия откроется модальное окно подтверждения удаления.
После внесения любых изменений на вкладке «Ресурсные группы» (включая глобальные параметры, создание групп или изменение классификаторов) необходимо нажать кнопку «Применить изменения», чтобы запустить задание в Task Manager, обновляющее файл CRD StarRocks Admission Control в кластере.
Параметры доступа
На вкладке «Параметры доступа» происходит настройка параметров доступа вычислительного движка StarRocks. Пользователь может просматривать, редактировать и удалять параметры текущего секрета, а также задавать новые параметры секрета.
Секрет содержит несколько параметров, каждый из которых имеет собственное значение. При отсутствии секрета можно создать новый, нажав кнопку «Добавить».
После нажатия появляется новая строка в таблице с редактируемыми полями. Пользователь может выбрать параметр и заполнить его значение.
Чтобы задать другие параметры, нужно также нажать кнопку «Добавить» и в появившейся редактируемой строке выбрать и заполнить недостающий параметр.
Все параметры уникальны, поэтому у каждого параметра может быть только одно значение.
Для редактирования параметра нужно нажать кнопку «Редактировать».
После нажатия кнопки поле «Значение» параметра становятся редактируемым. После внесения изменения нужно нажать кнопку «Сохранить».
Чтобы очистить значение параметра, нужно нажать кнопку «Очистить значение» напротив соответствующего параметра.
После нажатия открывается модальное окно подтверждения очистки.
Для сохранения всех внесенных изменений нужно нажать кнопку «Применить изменения».
Общие сервисы
Каталог метаданных
В разделе «Каталог метаданных» представлена таблица со списком всех доступных экземпляров сервисов Hive Metastore и Meta Aggregator. Количество этих экземпляров совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса Hive Metastore или Meta Aggregator. В таблице отображаются вычислительные движки, взаимодействующие с сервисом, пространство имен, в котором располагается сервис, а также текущий статус сервиса. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Meta Aggregator
При выборе конкретного сервиса Meta Aggregator пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений, версия и время работы.
Hive Metastore
При выборе конкретного сервиса Hive Metastore пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версии, время работы и размер Java Heap (1). Справа от инфопанели расположен список вычислительных движков, с которыми работает сервис (2). Также пользователю предоставляется доступное действие для управления сервисом, такое как перезапуск развертывания Hive Metastore (3).
Обзор
По умолчанию, при переходе на страницу конкретного сервиса Hive Metastore, открывается «Обзор» (4), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- CPU Hive-Metastore – потребление CPU сервисом Metastore.
- RAM Hive-Metastore – потребление RAM сервисом Metastore.
- Подключения – количество подключений.
Динамика
На вкладке «Динамика» отображаются графики с основной информацией о сервисе Hive Metastore. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- DDL Всего – общее количество операций DDL.
- CREATE: базы данных – общее количество операций CREATE DATABASE.
- CREATE: таблицы – общее количество операций CREATE TABLE.
- CREATE: партиции – общее количество операций CREATE PARTITION.
- DELETE: базы данных – общее количество операций DELETE DATABASE.
- DELETE: таблицы– общее количество операций DELETE TABLE.
- DELETE: партиции – общее количество операций DELETE PARTITION.
- ALTER: базы данных – общее количество операций ALTER DATABASE.
- ALTER: таблицы – общее количество операций ALTER TABLE.
- ALTER: партиции – общее количество операций ALTER PARTITION.
Очереди
На вкладке «Очереди» отображается информация об очередях подключения к базам данных в разрезе их статусов. Эта информация представлена в виде таблицы, которая позволяет администраторам эффективно мониторить и управлять очередями подключений.
Данные отображаются в табличной форме, где для каждой очереди указаны следующие параметры:
-
Общее количество подключений – общее количество активных и неактивных подключений для данной очереди.
-
Активное – число активных подключений, которые в данный момент используются для выполнения операций.
-
Потоки в ожидании – число неактивных подключений, которые открыты, но не задействованы в работе.
-
Количество простаивающих соединений – количество потоков, которые ожидают освобождения подключения к базе данных.
Служба безопасности
В разделе «Служба безопасности» представлена таблица со списком всех доступных экземпляров сервиса Ranger. Количество этих сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса Ranger. В таблице отображаются вычислительные движки, взаимодействующие с сервисом, пространство имен, в котором располагается сервис, а также текущий статус сервиса. Также как и в разделе «Каталог данных» на странице доступен встроенный «Поиск».
При выборе конкретного сервиса Ranger пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версии, время работы, размер Java Heap и значения Garbage Collector (1). Также доступен список вычислительных движков, с которыми сервис взаимодействует (2). Также пользователю предоставляется следующий список доступных действий для управления сервисом: перезапуск развертывания Ranger и перезапуск развертывания Ranger Usersync (3).
В модальном окне истории статусов сервиса (кнопка «Посмотреть историю статусов») можно нажать на имя сервиса для перехода на страницу «Инфраструктура» вкладку «Поды» с предзаполненными фильтрами подов сервиса Ranger.
Динамика
По умолчанию, при переходе на страницу конкретного сервиса Ranger, открывается «Динамика» (4), на которой отображаются графики с основной информацией о сервисе Ranger. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно увидеть следующие метрики:
- CPU Ranger – потребление CPU компонентом Ranger по подам.
- CPU Usersync – потребление CPU компонентом Ranger Usersync по подам.
- RAM Ranger – потребление RAM компонентом Ranger по подам.
- RAM Usersync – потребление RAM компонентом Ranger Usersync по подам.
Плагины
На вкладке «Плагины» отображается информация о плагинах Ranger.
Данные отображаются в табличной форме с указанием следующих параметров:
- Под – название пода.
- Название плагина – название установленного плагина.
- Последняя синхронизация – дата последней синхронизации плагина.
Пользовательские интерфейсы
В разделе «Пользовательские интерфейсы» представлена таблица со списком всех доступных экземпляров сервиса Hue. Количество этих сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса Hue. В таблице отображаются вычислительные движки, взаимодействующие с сервисом, пространство имен, в котором располагается сервис, а также текущий статус сервиса. На странице встроен «Поиск», который помогает быстро находить нужные компоненты.
При выборе конкретного сервиса Hue пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), ссылка на сервис и время работы (1). Также присутствует список вычислительных движков, с которыми работает сервис (2).
Обзор
По умолчанию, при переходе на страницу конкретного сервиса Hue, открывается «Обзор» (3), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- Hue Active Users – количество активных пользователей Hue за час.
- Hue Queries Numbers – количество активных запросов.
Динамика
На вкладке «Динамика» отображаются графики с основной информацией о сервисе Hue. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
- CPU Hue – потребление CPU сервисом Hue по подам.
- RAM Hue – потребление RAM сервисом Hue по подам.
Объектное хранилище
В разделе (Объектное хранилище) представлена таблица со списком всех доступных экземпляров сервиса Data Ocean Store (DOS). Количество этих сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса DOS. В таблице отображаются: имя сервиса, пространство имен, в котором располагается сервис, текущий статус сервиса, а также вычислительные движки, с которыми работает сервис.
При выборе конкретного сервиса DOS пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: время работы сервиса, его статус и версия. Также доступна ссылка на сервис.
Обзор
По умолчанию, при переходе на страницу конкретного сервиса DOS, открывается (Обзор), где представлены графики с показателями работы сервиса за последние сутки. На этой странице можно видеть следующие метрики:
- Потребление CPU сервисом DOS – потребление CPU сервисом DOS в ядрах.
- Использованное дисковое пространство – объем занятого дискового пространства сервисом DOS в ГБ.
- Доступные сервера – количество доступных серверов сервиса DOS.
- Потребление RAM сервисом DOS – потребление RAM сервисом DOS в ГБ.
Хранилище
На вкладке (Хранилище) отображаются графики с информацией об объектах, размещенных в объектном хранилище сервиса DOS. Пользователь может выбрать временной интервал для отображения данных на графиках. На этой странице можно видеть следующие метрики:
Количество бакетов – количество бакетов, созданных в объектном хранилище. Количество объектов – количество объектов, размещенных в объектном хранилище.
Динамика
На вкладке (Динамика) отображаются графики с информацией об API запросах к сервису DOS. Пользователь может выбрать временной интервал для отображения данных на графиках. На этой странице можно видеть следующие метрики:
Интенсивность API запросов (S3) – количество API запросов к сервису DOS. Ошибки API (4xx) – количество клиентских ошибок API запросов. Ошибки API (5xx) – количество серверных ошибок API запросов.
Мониторинг
В разделе «Мониторинг» представлена список всех доступных экземпляров внешних сервисов сбора метрик: Prometheus и Grafana. В таблице отображаются вычислительные движки, взаимодействующие с сервисом, пространство имен, в котором располагается сервис, а также текущий статус сервиса.
Обзор
При выборе конкретного сервиса Мониторинг пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор») и время работы (1). По умолчанию, при переходе на страницу конкретного сервиса Мониторинг (т.е. сервиса Prometheus и Grafana), открывается «Обзор» (2), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- CPU – потребление CPU сервисом Grafana/Prometheus.
- RAM – потребление RAM сервисом Grafana/Prometheus.
Prometheus
На вкладке «Динамика» сервиса Prometheus отображаются графики с основной информацией о сервисе Prometheus. У пользователя есть возможность выбора различных временных интервалов для отображения на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
-
Количество значений метрик
-
Размер значений метрик
Правила оповещений
Alertmanager — это компонент системы мониторинга Prometheus, который обрабатывает оповещения, группирует их и отправляет получателю. Компонент формирует уведомления на основе правил, которые заданы в объектах Prometheus Rules. Для удобства работы с этим компонентом есть раздел для настройки и управления объекта Prometheus Rules компонента Alertmanager.
При переходе на вкладку «Правила оповещений» пользователю отображается раздел «Правила оповещений», в которой находится таблица с настроенными правилами оповещений Prometheus выбранного объекта Prometheus Rules (1). У пользователя есть возможность выбрать и настроить объекты в выпадающем меню (2). Также пользователю доступен поиск по параметрам правил таблицы (3), добавление новых правил (4), редактирование (5), сохранение в шаблон (6) и удаление (7) существующих правил. Пользователь может настроить группы правил через выпадающий список рядом с кнопкой добавления новых правил (9).
При добавлении и редактировании правила также валидируются сервисом Prometheus.
При нажатии на кнопку «Добавить» открывается модальное окно добавления правила, в котором пользователь должен заполнить все необходимые данные. Пользователь может также может использовать для заполнения шаблоны предзаполненных правил с помощью кнопки «Заполнить из шаблона» и последующего выбора нужного шаблона. Для добавления правила в список нужно нажать кнопку «Сохранить». Для сохранения правила в источнике нужно нажать кнопку «Применить изменения», которая становится доступной после добавления правила в список.
При нажатии на кнопку «Редактировать» напротив правила открывается модальное окно редактирования, где пользователь может внести необходимые изменения в правило. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить», затем кнопку «Применить изменения», которая становится доступной после закрытия модального окна.
Для удаления правила нужно нажать на кнопку «Удалить» напротив соответствующего правила. После нажатия открывается модальное окно подтверждения удаления. После подтверждения правило удаляется из списка. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить», затем кнопку «Применить изменения», которая становится доступной после закрытия модального окна.
Каждое правило можно сохранить как шаблон. Для этого нужно нажать кнопку «Сохранить как шаблон». После нажатия кнопки правило сохранится как шаблон и будет отображаться в разделе «Шаблоны правил».
Для управления объектами Prometheus Rules пользователь должен нажать кнопку «Настроить объекты» в выпадающем меню объектов.
После нажатия кнопки открывается модальное окно управления объектами. В данном окне отображается список существующих объектов Prometheus Rules. Пользователю доступно добавление новых объектов (1) и удаление (2) существующих объектов.
После нажатия кнопки «Добавить» в списке объектов появляется дополнительная строка, в которой нужно заполнить имя объекта и название пространства имен для нового объекта.
При нажатии кнопки «Удалить» объект удаляется из списка.
Для подтверждения внесенных в список объектов изменений пользователю нужно нажать кнопку «Сохранить». Если нажать кнопку «Отмена» все внесенные изменения не сохраняются.
Для управления группами объекта Prometheus Rules пользователю нужно нажать кнопку «Настроить группы». После нажатия кнопки открывается модальное окно управления группами. Пользователю доступно добавление новых групп (1), редактирование (2) и удаление (3) существующих групп.
При нажатии на кнопку «Добавить» в списке групп появляется дополнительная группа, где пользователь должен заполнить поле названия группы.
При нажатии на кнопку «Редактировать» напротив группы поле названия группы становится доступным для редактирования.
При нажатии на кнопку «Удалить» напротив группы группа удаляется из списка.
Для сохранения внесенных изменений в список групп нужно нажать кнопку «Сохранить».
Шаблоны правил
При переходе в раздел «Шаблоны правил» пользователю отображается таблица со списком сохраненных шаблонов правил. Пользователю доступно добавление нового шаблона (1), редактирование (2) и удаление (3) существующих шаблонов.
При добавлении и редактировании шаблоны правил также валидируются сервисом Prometheus.
Для добавления нового шаблона нужно нажать кнопку «Добавить». После нажатия открывается модальное окно, где нужно заполнить необходимые параметры для нового шаблона. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить».
Для редактирования шаблона нужно нажать кнопку «Редактировать» напротив соответствующего шаблона. После нажатия открывается модальное окно редактирования шаблона, где пользователь может внести необходимые изменения. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить».
Для удаления шаблона нужно нажать кнопку «Удалить» напротив соответствующего шаблона. После нажатия открывается модальное окно подтверждения удаления. Для подтверждения нужно нажать кнопку «Удалить».
Планировщик
В разделе «Планировщик» представлена таблица со списком всех доступных экземпляров сервиса Yunikorn и Airflow. Количество всех экземпляров сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени каждого сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса Yunikorn или Airflow. В таблице отображаются движки, взаимодействующие с сервисом, пространство имен, в котором располагается сервис, а также текущий статус сервиса. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Yunikorn
При выборе конкретного сервиса Yunikorn пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы (1).
Обзор Yunikorn
По умолчанию, при переходе на страницу конкретного сервиса Yunikorn, открывается «Обзор» (2), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
- CPU Yunikorn-Scheduler – потребление CPU сервисом Yunikorn-Scheduler.
- CPU Yunikorn-Admission-Controller – потребление CPU сервисом Yunikorn-Admission-Controller.
- RAM Yunikorn-Scheduler – потребление RAM сервисом Yunikorn-Scheduler.
- RAM Yunikorn-Admission-Controller – потребление RAM сервисом Yunikorn-Admission-Controller[.]{.mark}
Параметры Yunikorn
Во вкладке «Параметры Yunikorn» отображается таблица с параметрами сервиса Yunikorn (1). Пользователю доступны следующие действия:
- Редактирование строки (2);
- Добавление новой строки (3);
- Удаление строки (4);
- Комментирование строки через редактирование (5).
Для редактирования строки нужно нажать кнопку «Редактировать». После нажатия поля строки станут доступными для редактирования. Во время редактирования можно закомментировать или раскомментировать редактируемый параметр, нажав на переключатель «Комментирование». Для сохранения внесенных изменений нужно нажать кнопку «Сохранить», которая появляется на месте кнопки «Редактировать» после ее нажатия.
Добавить новую строку можно через кнопку «Добавить». После нажатия появится новая строка с редактируемыми полями для заполнения параметров. Для сохранения новой строки нужно нажать кнопку «Сохранить» напротив неё.
Для удаления строки нужно нажать кнопку «Удалить» напротив соответствующей строки.
Чтобы сохранить все внесенные изменения в параметры, нужно нажать кнопку «Применить изменения».
Управление очередями Yunikorn
Вкладка «Управление очередями» содержит информацию о партициях и очередях этих партиций, которые ограничивают пространство имен по запускаемым приложениям и используемым ресурсам, таких как ядра и память. Название очереди должно соответствовать названию пространства имен, которое очередь ограничивает. В левой части вкладки отображается список партиций. Справа, в таблице, находится список очередей с их параметрами.
Партиции Yunikorn
С партициями доступны действия создания, редактирования и удаления.
Для добавления новой партиции нужно нажать кнопку «Добавить партицию».
После нажатия открывается модальное окно для ввода названия партиции. После ввода названия нужно нажать кнопку «Сохранить».
После сохранения открывается модальное окно запуска задания для сохранения изменений. Для внесения изменений в конфигурацию Yunikorn нужно запустить это задание.
После запуска задания выходит уведомление о запуске задания, по которому можно перейти на страницу заданий для отслеживания выполнения задания. После выполнения задания новая партиция добавится в список партиций с отсутствующими очередями.
Для редактирования названия партиции нужно навести курсор на нужную партицию, нажать правую кнопку мыши и нажать кнопку «Редактировать».
После нажатия открывается модальное окно редактирования партиции. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить».
После сохранения открывается модальное окно запуска задания для сохранения изменений, аналогичное тому, которое открывается при добавлении партиции. Для внесения изменений в конфигурацию Yunikorn нужно запустить это задание.
После запуска задания выходит уведомление о запуске задания, по которому можно перейти на страницу заданий для отслеживания выполнения задания. После выполнения задания редактируемая партиция обновится в списке партиций.
Для удаления партиции нужно аналогично редактированию нажать правой кнопкой мыши на нужной партиции и выбрать кнопку «Удалить».
После нажатия открывается модальное окно подтверждения удаления. Для подтверждения удаления нужно нажать кнопку «Удалить».
После подтверждения удаления открывается модальное окно запуска задания для сохранения изменений, аналогичное тому, которое открывается при добавлении и редактировании партиции. Для внесения изменений в конфигурацию Yunikorn нужно запустить это задание.
После запуска задания выходит уведомление о запуске задания, по которому можно перейти на страницу заданий для отслеживания выполнения задания. После выполнения задания удаляемая партиция удалится из списка партиций вместе с хранящимися в нем очередями.
Очереди Yunikorn
С очередями доступны действия добавления, редактирования и удаления.
Для добавления новой очереди нужно нажать кнопку «Добавить».
После нажатия добавляется новая строка в список очередей. Для сохранения внесенных параметров нужно нажать кнопку «Сохранить» напротив текущей очереди.
Для редактирования существующей очереди нужно нажать кнопку «Редактировать» напротив нужной очереди.
После нажатия поля очереди становятся редактируемыми. Для сохранения внесенных изменений нужно нажать кнопку «Сохранить» напротив редактируемой очереди.
Для удаления существующей очереди нужно нажать кнопку «Удалить» напротив нужной очереди.
После нажатия очередь удалится из списка.
После внесения каких-либо изменений в список очередей кнопка «Применить изменения» становится активной. Для сохранения внесенных изменений в конфигурации Yunikorn нужно нажать эту кнопку. После нажатия открывается модальное окно запуска задания на внесение изменений в конфигурацию Yunikorn.
После запуска задания выходит уведомление о запуске задания, с помощью которого можно перейти на страницу заданий для отслеживания выполнения задания. После выполнения задания все внесенные изменения в список очередей сохранятся в конфигурации Yunikorn.
Airflow
При выборе конкретного сервиса Airflow пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы (1). В разделе «Компоненты» инфопанели показан список сервисов, из которых состоит Airflow, их статусы и количество подов для каждого сервиса (2).
Обзор Airflow
По умолчанию, при переходе на страницу конкретного сервиса Airflow, открывается «Обзор» (3), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
-
CPU Airflow – потребление CPU сервисом Airflow.
-
RAM Airflow – потребление RAM сервисом Airflow.
Scheduler
Во вкладке «Scheduler» на странице сервиса Airflow отображаются графики с основной информацией по компоненту Airflow Scheduler. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
-
Пульс планировщика Airflow – счетчик активности планировщика;
-
Размер коллекции рабочих процессов – количество загруженных DAG-файлов;
-
Общее время обработки рабочих процессов, сек – время обработки всех DAG-файлов;
-
Ошибки импорта рабочих процессов – количество ошибок при загрузке DAG-файлов;
-
Свободные слоты исполнителя – доступные слоты для выполнения задач;
-
Запущенные задачи исполнителя – текущее количество выполняемых задач;
-
Задачи в очереди исполнителя – задачи, ожидающие выполнения;
-
Готовые к выполнению задачи – задачи, готовые к немедленному запуску;
-
Ожидающие ресурсы задачи – задачи, ожидающие освобождения ресурсов.
Worker
Во вкладке «Worker» на странице сервиса Airflow отображаются графики с основной информацией по компоненту Airflow Worker. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
-
Завершено зомби-процессов – количество завершенных процессов-зомби;
-
Частота ошибок операторов в минуту – количество ошибок операторов в минуту;
-
Слоты в очереди – задачи в очереди ресурсов;
-
Свободные слоты в очереди – доступные слоты в очереди ресурсов;
-
Отложенные слоты в очереди – слоты в очереди, отложенные из-за нехватки ресурсов;
-
Запущенные слоты в очереди – занятые слоты в очереди ресурсов.
Обслуживание
В разделе «Обслуживание» представлена таблица со списком всех доступных экземпляров сервиса Nova Iceberg Maintenance (Далее NIM), сервиса рекомендаций, сервиса Ресурсный банк (resource-bank), сервиса tool-storage и сервиса Диагностический бандл (diagnostic-bundle). Количество этих сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени сервиса, чтобы перейти на детализированную страницу конкретного экземпляра сервиса. В таблице отображаются движки, взаимодействующие с сервисами, пространство имен, в котором располагаются сервисы, а также текущие статусы сервисов. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Сервис NIM
При выборе конкретного сервиса NIM пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы (1).
Обзор NIM
По умолчанию, при переходе на страницу конкретного сервиса NIM, открывается «Обзор» (2), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
-
CPU NIM – потребление CPU сервисом NIM.
-
RAM NIM – потребление RAM сервисом NIM.
Динамика NIM
На вкладке «Динамика» отображаются графики с основной информацией о сервисе NIM. У пользователя есть возможность выбора различных временных интервалов для отображения информации на графиках: за час, за сутки, за неделю и за месяц. На этой странице можно видеть следующие метрики:
-
CPU NIM – потребление CPU сервисом NIM.
-
RAM NIM – потребление RAM сервисом Hue.
Настройки
На вкладке «Настройки» доступны 2 раздела: «Конфигурации» и «Шаблоны».
В разделе «Конфигурации» отображаются доступные конфигурации для заданий NIM типа Compaction и Expiring. Интерфейс позволяет выполнять с конфигурациями следующие действия: добавлять (1), редактировать (2), удалять (3) и просматривать файл (4).
При нажатии на кнопку «Добавить» открывается модальное окно создания конфигурации, в котором можно заполнить необходимые данные. Для использования дефолтной конфигурации для определенного типа задания, можно выбрать нужный тип и нажать кнопку «Сбросить к дефолту». Для добавления конфигурации нужно нажать кнопку «Сохранить» в модальном окне.
При нажатии на кнопку «Редактировать» напротив не дефолтной конфигурации открывается модальное окно редактирования конфигурации, в котором можно изменить нужные данные. Для сохранения изменений нужно нажать кнопку «Сохранить» в модальном окне.
При нажатии на кнопку «Удалить» напротив не дефолтной конфигурации открывается модальное окно подтверждения удаления. После подтверждения удаления выбранная конфигурация удалится из списка.
В разделе «Шаблоны» отображается список шаблонов для заданий типа Compaction и Expiring. Интерфейс позволяет выполнять с шаблонами следующие действия: создавать (1), редактировать (2) и удалять (3). Также доступен поиск подходящих шаблонов по затрагиваемым базам данных и таблицами (4)
При нажатии на кнопку «Добавить» открывается модальное окно создания шаблона, в котором можно заполнить необходимые данные. Для добавления шаблона нужно нажать кнопку «Сохранить» в модальном окне.
При нажатии на кнопку «Редактировать» напротив шаблона открывается модальное окно редактирования шаблона, в котором можно изменить нужные данные. Для сохранения изменений нужно нажать кнопку «Сохранить» в модальном окне.
При нажатии на кнопку «Удалить» напротив шаблона открывается модальное окно подтверждения удаления. После подтверждения удаления выбранный шаблона удалится из списка.
Для поиска подходящих шаблонов нужно нажать кнопку «Найти шаблоны», после чего открывается модальное окно поиска. В окне нужно заполнить параметры базы данных и таблиц, которые должен затрагивать шаблон. После нажатия кнопки «Поиск» в модальном окне, окно закрывается и список показывает подходящие шаблоны.
Сервис рекомендаций
При выборе сервиса рекомендаций пользователь попадает на детализированную страницу сервиса. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор») и время работы (1).
Вкладка «Рекомендации» сервиса рекомендаций
По умолчанию, при переходе на страницу сервиса рекомендаций, открывается вкладка «Рекомендации» (2), где представлена таблица со списком таблиц, которым рекомендованы действия Compaction и/или Expiring.
Пользователь может сгенерировать новые рекомендации по текущим правилам рекомендаций через кнопку «Сгенерировать» (3). При нажатии открывается модальное окно подтверждения, в котором пользователь должен подтвердить генерацию новых рекомендаций.
Вкладка «Правила рекомендаций» сервиса рекомендаций
При переходе на вкладку «Правила рекомендаций» открывается раздел «Правила» с правилами формирования рекомендаций действий Compaction и Expiring для таблиц. Пользователь может добавить новые (1), редактировать (2), копировать (3), удалять (4) и активировать правила (5).
При нажатии на кнопку «Добавить» открывается модальное окно добавления правила, в котором можно заполнить нужные данные. Для сохранения внесенных данных нужно нажать кнопку «Добавить» в модальном окне.
При нажатии на кнопку «Редактировать» напротив правила открывается модальное окно редактирования правила, в котором можно изменить нужные данные. Для сохранения изменений нужно нажать кнопку «Сохранить» в модальном окне.
При нажатии на кнопку «Скопировать» открывается модальное окно добавления правила с предзаполненными данными правила, у которого нажали кнопку «Скопировать».
При нажатии на кнопку «Удалить» напротив правила открывается модальное окно подтверждения удаления. После подтверждения удаления выбранное правило удалится из списка.
При нажатии на переключатель в колонке «Активно» открывается модальное окно подтверждения активации или деактивации правила.
В разделе «Исключения» отображается список исключений для рекомендаций рекомендаций действий Compaction и Expiring. Пользователь может добавить новые (1), редактировать (2), копировать (3), удалять (4) и активировать исключения (5).
При нажатии на кнопку «Добавить» открывается модальное окно добавления исключения, в котором можно заполнить нужные данные. Для сохранения внесенных данных нужно нажать кнопку «Добавить» в модальном окне.
При нажатии на кнопку «Редактировать» напротив исключения открывается модальное окно редактирования исключения, в котором можно изменить нужные данные. Для сохранения изменений нужно нажать кнопку «Сохранить» в модальном окне.
При нажатии на кнопку «Скопировать» открывается модальное окно добавления исключения с предзаполненными данными исключения, у которого нажали кнопку «Скопировать».
При нажатии на кнопку «Удалить» напротив исключения открывается модальное окно подтверждения удаления. После подтверждения удаления выбранное исключение удалится из списка.
При нажатии на переключатель в колонке «Активно» открывается модальное окно подтверждения активации или деактивации исключения.
Сервис Ресурсный банк
При выборе конкретного сервиса Ресурсный банк пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы.
Сервис tool-storage
При выборе конкретного сервиса tool-storage пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы.
Сервис Диагностический бандл
При выборе конкретного сервиса Диагностический бандл пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы.
Сервисы Nova
В разделе «Сервисы Nova» представлена таблица со списком всех доступных экземпляров сервиса qModel и сервиса рекомендаций. Количество этих сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса qModel и сервиса рекомендаций. В таблице отображаются движки, взаимодействующие с сервисами, пространства имен, в которых располагаются сервисы, а также текущие статусы сервисов. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
Сервис qModel
При выборе сервиса qModel пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия, время работы (1) и список связанных с сервисом вычислительных движков (2).
Вкладка «Обзор» qModel
По умолчанию, при переходе на страницу конкретного сервиса qModel, открывается «Динамика» (3), где представлены графики с показателями работы сервиса на текущий момент и за последние сутки. На этой странице можно видеть следующие метрики:
-
CPU qModel – потребление CPU сервисом qModel.
-
RAM qModel – потребление RAM сервисом qModel.
-
Прирост количества вызовов сервиса – динамика обращения к сервису qModel.
Вкладка «Модель Impala» qModel
При переходе на вкладку «Модель Impala» пользователь может увидеть информацию по текущей используемой модели предсказания нагрузки на движок Impala. (1) Также доступна возможность заменить предиктивную текущую модель на стороне сервиса на наиболее актуальную по выбору системы, нажав кнопку «Обновить модель». (2)
Сервисы Git
В разделе «Сервисы Git» представлена таблица со списком всех доступных экземпляров сервиса Git. Количество этих сервисов совпадает с числом, отображаемым в боковом меню. Пользователь может кликнуть по имени сервиса, чтобы перейти на детализированную страницу мониторинга конкретного экземпляра сервиса Git. В таблице отображаются движки, взаимодействующие с сервисом, пространство имен, в котором располагается сервис, а также текущий статус сервиса. Для удобства на странице доступен встроенный «Поиск», который помогает быстро находить нужные компоненты.
При выборе конкретного сервиса Git пользователь попадает на детализированную страницу мониторинга. В инфопанели отображается ключевая информация: статус сервиса, его история изменений (подробнее об истории изменения статусов см. в разделе «Обзор»), версия и время работы (1). В разделе «Компоненты» инфопанели показан список сервисов, из которых состоит Git, их статусы и количество подов для каждого сервиса (2).
Отображение данных из системы логирования
Для мониторинга работы кластера и быстрого реагирования на инциденты в модуле Control предусмотрена функция просмотра записей, которые хранятся в системе OpenSearch. Чтобы получить доступ к журналам, администратору нужно перейти на вкладку «Логи» на странице обзора инстанса Nova.
На странице записей администратору предлагаются две основные вкладки: отображение записей по всему продукту инстанса Nova (1) и записей для Kubernetes кластера (2). Записи собираются из индексов OpenSearch, соответствующих префиксам, указанным в конфигурации. Для того чтобы получать данные из OpenSearch, необходимо указать такие параметры, как URL-адрес OpenSearch для инстанса Nova, логин и пароль для доступа, а также префиксы индексов для записей Nova и Kubernetes.
Фильтрация данных из системы логирования
Система поддерживает несколько типов фильтров, чтобы упростить поиск нужной информации:
- Фильтр по дате: администратор может отфильтровать записи по датам начала и конца периода или указать временной интервал (например, данные за последние 30 минут).
- Фильтры в таблице: администратор может использовать фильтры по колонкам, таким как под или пространство имен для записей Nova, а также по типу, пространству имен или виду для Kubernetes.
- Фильтр по тексту: поддерживается текстовый поиск, что упрощает поиск записей, содержащих конкретные ключевые слова.
После установки любого фильтра информация в таблице обновляется автоматически.
Возможности страницы Логи
Просмотр соседних записей в журнале
Пользователю доступен просмотр информации о соседних записях в журнале. Для этого необходимо нажать на кнопку «Посмотреть соседние записи» напротив нужной записи.
При на кнопку «Посмотреть соседние записи» рядом с нужной записью открывается модальное окно с подробностями о текущей и соседних записях (1). Пользователю доступна настройка количества отображающихся записей до и после текущей. Для этого необходимо задать значения и нажать на кнопку «Применить» (2). Количество отображаемых записей по умолчанию задается в разделе «Конфигурации» инстанса Nova - параметр № 35.
Экспорт информации о записях в журнале
Пользователю доступен экспорт данных в нескольких вариантах:
-
Скачивание всего журнала: Если необходимо выгрузить всю таблицу, которая отображается в интерфейсе, администратор может воспользоваться кнопкой «Выгрузить журнал» (1). При нажатии на кнопку «Выгрузить журнал», скачивается CSV-файл, содержащий все данные, представленные в таблице на экране.
-
Скачивание только записей Для того чтобы скачать текстовые данные записйе (то есть содержимое колонки, в которой хранится текст записи), используется кнопка «Выгрузить записи» (2). При нажатии на «Выгрузить записи», скачивается CSV-файл, но в этом случае он содержит только текстовые данные, извлеченные из колонки с записями, исключая остальные метаданные.
-
Скачивание конкретной записи Если нужно скачать только конкретную запись из журнала логов, это можно сделать, используя кнопку «Скачать файл» (3), которая находится рядом с каждой отдельной записью в журнале. При нажатии на кнопку «Скачать файл», выгружается одна конкретная запись в формате текстового файла (TXT).
Для предотвращения скачивания слишком больших файлов, которые могут повлиять на производительность системы, предусмотрено ограничение на максимальный размер файла для выгрузки логов из OpenSearch. Этот параметр задается в конфигурации инстанса Nova:
- Параметр №36 - Максимальный размер файла для скачивания из OpenSearch (в байтах).
SQL-запросы
Настройка получения данных для мониторинга SQL-запросов
Для мониторинга запросов в кластере Nova через модуль Control, пользователь имеет доступ к информации о запросах, запущенных и выполненных на платформе Impala и Trino. Этот функционал реализован с использованием OpenSearch, и для корректной работы необходимо заполнить несколько параметров в конфигурации инстанса Nova.
Настройка параметров для работы с SQL-запросами Impala из OpenSearch:
-
URL-адрес OpenSearch – указывается в параметре №11 без протокола (например, просто opensearch.example.com).
-
Логин и пароль для доступа к OpenSearch – параметры №14 и №15.
-
Индекс OpenSearch для запросов Impala – параметр №27. Если запросы хранятся в одном индексе, указывается его название. Если данные распределены по нескольким индексам с одинаковым паттерном, можно использовать символ * для группировки (например, index*).
Важно
Вкладка «Запросы» пока не поддерживает индексы типа daily, когда каждый день создается новый индекс.
Настройка параметров для работы с SQL-запросами Trino из OpenSearch:
-
URL-адрес OpenSearch – указывается в параметре №11 без протокола (например, просто opensearch.example.com).
-
Логин и пароль для доступа к OpenSearch – параметры №14 и №15.
-
Индекс OpenSearch для запросов Trino – параметр №40. Если запросы хранятся в одном индексе, указывается его название. Если данные распределены по нескольким индексам с одинаковым паттерном, можно использовать символ * для группировки (например, index*).
Когда параметры настроены, администратор получает доступ к списку всех запросов на странице «Запросы» во вкладке «Impala», «Trino» и «StarRocks». Список состоит из следующих элементов:
-
Список запросов – список всех запросов. По умолчанию отображаются все запросы за последний час с основными атрибутами: идентификатор, дата и время запуска, статус выполнения и другие метаданные (1).
-
Фильтр по дате – позволяет выбрать временной интервал для отображения запросов (например, за последний час или день) (2).
Описание работы фильтров
На странице «Запросы» предусмотрено несколько типов фильтров, которые позволяют администратору легко искать и управлять запросами, запущенными в кластере. Каждый из фильтров помогает сузить круг данных для просмотра, что особенно полезно при большом количестве запросов:
-
Фильтр по дате. При открытии на странице «Запросы» любой вкладки по умолчанию отображаются все запросы, запущенные за последний час. Фильтр по дате позволяет выбирать более широкий или узкий временной диапазон для просмотра запросов. Фильтр включает:
-
Выбор временного интервала – пользователь может задать даты и время начала и окончания периода, в который были запущены или завершены запросы.
-
Тип даты (только запросы Impala) – можно выбирать между датой запуска запроса или датой завершения.
-
Если выбрана категория «Дата запуска», будут отображаться запросы, дата запуска которых попадает в выбранный интервал.
-
Если выбрана категория «Дата завершения», будут отображены запросы, завершенные в указанный промежуток времени (1).
-
После выбора фильтров нужно нажать кнопку «Применить» для обновления данных в таблице, и система автоматически покажет запросы, удовлетворяющие установленным критериям (2).
-
Фильтр в таблице. В таблице запросов можно также применять фильтры по каждому столбцу, для которого доступен такой тип фильтрации. Для применения фильтра:
-
Откройте выпадающий список для нужной колонки.
-
Выберите необходимые параметры.
-
Нажмите «ОК» для применения фильтров.
В таблице отобразятся только запросы, соответствующие заданным критериям, а все ранее установленные фильтры останутся активными.
- Фильтр по результатам поиска (полнотекстовый поиск). Этот фильтр позволяет искать запросы по конкретным словам или фразам. Поиск работает по всем столбцам в таблице запросов. Поиск выполняется по шаблону %текст%, где можно вводить слова, даты, числа и символы как на кириллице, так и на латинице. Ранее наложенные фильтры при поиске сохраняются, в этом случае поиск значений происходит на ограниченной выборке. Для поиска данных необходимо нажать кнопку «Применить», и система отобразит все релевантные запросы по выбранной маске поиска.
Запросы Impala
Отображение запросов
Запросы платформы Impala отображаются во вкладке «Impala». Для запросов доступно отображение в виде списка и в виде плиток. Для переключения между списком и плитками используется переключатель.
Для просмотра подробной информации в плитке запроса нужно нажать кнопку раскрытия.
Действия с запросами Impala
Если в списке запросов необходимо прервать выполнение активного запроса, можно воспользоваться функцией остановки. Для этого:
-
Найдите нужный запрос в таблице.
-
Нажмите кнопку «Прервать запрос», расположенную рядом с выбранным запросом.
-
Подтвердите действие во всплывающем окне.
После подтверждения запрос будет прерван, и его статус изменится в таблице запросов.
Также пользователю доступно скачивание профиля запроса через кнопку «Скачать полный профиль запроса»
После нажатия начнется скачивание профиля запроса в формате .txt.
Информация о запросе Impala
Когда пользователь выбирает конкретный запрос из списка запросов Impala, он перенаправляется на страницу с подробной информацией о данном запросе. Эта страница предоставляет детализированные данные о запросе, включая:
-
Инфопанель с метаданными – на панели перечислены основные параметры запроса, такие как:
-
Идентификатор запроса.
-
Дата и время запуска.
-
Статус выполнения.
-
Продолжительность выполнения.
-
Имя пользователя, который запустил запрос.
-
Дополнительные параметры, такие как ресурсная очередь, к которой относится запрос, или используемые ресурсы.
-
Вкладки с различными представлениями запроса. На странице также есть несколько вкладок, каждая из которых предоставляет разную информацию о запросе:
-
Текст запроса – здесь можно просмотреть исходный SQL-запрос, который был отправлен в систему Impala.
- План запроса – текстовое представление плана выполнения запроса. Это позволяет понять, как система оптимизирует и выполняет запрос.
- Граф плана запроса – схематическое изображение выполнения запроса в виде графа. Этот граф помогает визуализировать этапы выполнения запроса и показывает, как данные обрабатываются на каждом этапе.
Граф план запроса Impala
Структура графа плана запроса
-
Вершины графа – представляют собой отдельные этапы выполнения запроса, такие как сканирование таблиц, объединение данных, фильтрация и другие.
-
Связи между вершинами – показывают взаимосвязи между этапами запроса, указывая последовательность их выполнения.
Граф плана запроса помогает лучше понять, где в процессе выполнения может возникать узкое место или задержка, что особенно важно для оптимизации производительности запросов.
Если пользователю нужно вернуть граф плана в исходное положение, можно нажать кнопку «Центрировать карту», после чего граф вернется к первоначальному отображению.
Запросы Trino
Отображение запросов
Запросы платформы Trino отображаются во вкладке «Trino». Для запросов доступно отображение в виде списка и в виде плиток. Для переключения между списком и плитками используется переключатель.
Для просмотра подробной информации в плитке запроса нужно нажать кнопку раскрытия.
Действия с запросами Trino
В списке запросов можно завершить или вытеснить запрос. Завершение запроса принудительно останавливает выбранный запрос. Вытеснение запроса используется администратором для освобождения ресурсов: запрос снимается с выполнения в пользу более приоритетной нагрузки. В обоих случаях выполнение запроса прекращается. Для завершения запроса необходимо выполнить следующие действия:
-
Найдите нужный запрос в таблице.
-
Нажмите кнопку «Завершить запрос» (значок x) или «Вытеснить запрос» (значок -), расположенную рядом с выбранным запросом.
-
Подтвердите действие во всплывающем окне.
После подтверждения запрос будет завершен, и его статус изменится в таблице запросов.
Информация о запросе Trino
Когда пользователь выбирает конкретный запрос из списка запросов Trino, он перенаправляется на страницу с подробной информацией о данном запросе. Эта страница предоставляет детализированные данные о запросе, включая:
-
Инфопанель с метаданными – на панели перечислены основные параметры запроса, такие как:
-
Идентификатор запроса.
-
Дата и время запуска.
-
Статус выполнения.
-
Имя пользователя, который запустил запрос.
-
Дополнительные параметры, такие как пространство имен, в котором запущен запрос, или используемые ресурсы.
На странице также есть несколько вкладок, каждая из которых предоставляет разную информацию о запросе:
- SQL-запрос – здесь можно просмотреть исходный SQL-запрос, который был отправлен в систему Trino.
- Текст профиля запроса – текстовое представление плана выполнения запроса. Это позволяет понять, как система оптимизирует и выполняет запрос.
- JSON профиль запроса – JSON-представление плана выполнения запроса.
- Полный профиль запроса – полное текстовое представление профиля запроса.
- Граф плана запроса – схематическое изображение выполнения запроса в виде графа. Этот граф помогает визуализировать этапы выполнения запроса и показывает, как данные обрабатываются на каждом этапе.
Граф план запроса Trino
Структура графа плана запроса
-
Вершины графа – представляют собой отдельные этапы выполнения запроса, такие как сканирование таблиц, объединение данных, фильтрация и другие.
-
Связи между вершинами – показывают взаимосвязи между этапами запроса, указывая последовательность их выполнения.
Граф плана запроса помогает лучше понять, где в процессе выполнения может возникать узкое место или задержка, что особенно важно для оптимизации производительности запросов.
Если пользователю нужно вернуть граф плана в исходное положение, можно нажать кнопку «Центрировать карту», после чего граф вернется к первоначальному отображению.
Запросы StarRocks
Отображение запросов
Запросы платформы StarRocks отображаются во вкладке «StarRocks». Для переключения между списком и плитками используется переключатель.
Информация о запросе StarRocks
Когда пользователь выбирает конкретный запрос из списка запросов StarRocks, он перенаправляется на страницу с подробной информацией о данном запросе. Эта страница предоставляет детализированные данные о запросе, включая:
-
Инфопанель с метаданными – на панели перечислены основные параметры запроса, такие как:
-
Идентификатор запроса.
-
Дата и время запуска, начала и завершения.
-
Статус выполнения.
-
Имя пользователя, который запустил запрос.
-
Дополнительные параметры, такие как пространство имен, в котором запущен запрос, или используемые ресурсы.
-
Вкладка с текстом запроса – здесь можно просмотреть исходный SQL-запрос, который был отправлен в систему StarRocks.
- Вкладка с профилем запроса – здесь отображается информация по выполнению SQL-запросу, профиль запроса.
- Граф плана запроса – схематическое изображение выполнения запроса в виде графа. Этот граф помогает визуализировать этапы выполнения запроса и показывает, как данные обрабатываются на каждом этапе.
Граф план запроса StarRocks
Структура графа плана запроса
-
Вершины графа – представляют собой отдельные этапы выполнения запроса, такие как сканирование таблиц, объединение данных, фильтрация и другие.
-
Связи между вершинами – показывают взаимосвязи между этапами запроса, указывая последовательность их выполнения.
Граф плана запроса помогает лучше понять, где в процессе выполнения может возникать узкое место или задержка, что особенно важно для оптимизации производительности запросов.
Если пользователю нужно вернуть граф плана в исходное положение, можно нажать кнопку «Центрировать карту», после чего граф вернется к первоначальному отображению.
Запросы Spark
Отображение запросов
Запросы платформы Spark отображаются во вкладке «Spark». Для переключения между списком и плитками используется переключатель.
Также пользователю доступно скачивание профиля запроса через кнопку «Скачать план запроса»
После нажатия начнется скачивание профиля запроса в формате .txt.
Информация о запросе
Когда пользователь выбирает конкретный запрос из списка запросов Spark, он перенаправляется на страницу с подробной информацией о данном запросе. Эта страница предоставляет детализированные данные о запросе, включая:
-
Инфопанель с метаданными – на панели перечислены основные параметры запроса, такие как:
-
Идентификатор запроса.
-
Дата и время запуска и завершения работы запроса.
-
Статус выполнения.
-
Имя пользователя, который запустил запрос.
-
Базовые метрики производительности
-
Дополнительные параметры, такие как пространство имен, в котором запущен запрос, или используемые ресурсы.
-
Вкладка с текстом запроса – здесь можно просмотреть исходный SQL-запрос, который был отправлен в систему Spark.
- План запроса – здесь отображается план запроса, аналогичный профилю запроса для Spark (1). Также доступна возможность скачать план запроса в формате .txt, нажав кнопку “Скачать план запроса” (2).
Действия с запросами Spark
При работе со страницей запросов Spark может возникнуть потребность проанализировать состояние запроса или экстренно его прервать. Для этого доступен анализ подов, используемых для выполнения текущей Spark-задачи.
По кнопке «Открыть поды инфраструктуры» выполняется переход на страницу «Инфраструктура» → «Поды» с преднастроенным фильтром: все отображаемые поды связаны с выбранным запросом. Пользователь может просмотреть журналы и события пода, а при необходимости — удалить его.
