Clickhouse

Создание и управление инстансом

Создание инстанса

Для отображения информации об инстансе в модуле Control, необходимое пройти процесс его создания. Модуль Control предоставляет администраторам возможность добавления метаданных об инстансе с помощью специализированной формы.

Процесс создания инстанса:

Откройте главную страницу модуля Control.
Нажмите кнопку «Добавить инстанс».

После нажатия откроется форма для ввода параметров инстанса.

Таблица. Список параметров для заполнения

Параметр	Описание параметра	Обязательность
Продукт	Тип продукта, инстанс которого необходимо создать. Для создания инстанса ClickHouse необходимо выбрать этот продукт из выпадающего списка	Да
Инстанс	Наименование создаваемого инстанса в интерфейсе модуля Control	Да
Описание	Описание создаваемого инстанса в интерфейсе модуля Control	Нет

Рисунок 2: Форма создания нового инстанса

После заполнения всех параметров, администратор должен проверить правильность и актуальность введенных данных.
Чтобы завершить процесс создания инстанса, нажмите кнопку «Добавить».

После успешного добавления инстанс будет отображаться в списке на главной странице модуля Control.

Редактирование метаданных инстанса

Помимо создания новых инстансов, модуль Control предоставляет возможность редактирования информации о существующих инстансах. Для выполнения этой операции администратору необходимо:

На главной странице модуля Control выбрать инстанс, который нужно изменить.
Нажать на кнопку «Редактировать инстанс».

Рисунок 3: Кнопка редактирования инстанса

После нажатия на кнопку откроется форма редактирования инстанса. Данная форма содержит предварительно заполненные текущие значения параметров инстанса, которые можно изменить.

Таблица. Список параметров формы для редактирования

Параметр	Доступность для редактирования
Продукт	Нет
Инстанс	Да
Описание	Да

Рисунок 4: Форма редактирования инстанса

После внесения изменений администратор должен проверить правильность и актуальность данных.
Для завершения процедуры редактирования нажмите кнопку «Сохранить».

После успешного сохранения информация об инстансе будет обновлена и доступна для просмотра на главной странице модуля Control.

Архивирование инстанса

В модуле Control предусмотрена функция архивирования инстансов, которая позволяет администратору сохранять текущее состояние инстанса и удалять его из активного списка. Для архивирования инстанса выполните следующие шаги:

На главной странице модуля Control выберите нужный инстанс.
Нажмите кнопку со списком доступных действий рядом с выбранным инстансом (1).
В выпадающем меню выберите опцию «Архивировать инстанс» (2).

Рисунок 5: Кнопка архивирования инстанса

После этого появится диалоговое окно для подтверждения архивирования инстанса.

Рисунок 6: Окно подтверждения архивирования инстанса

Если администратор подтверждает действие нажатием кнопки «Выполнить», инстанс архивируется. Это действие приводит к удалению инстанса из списка активных на главной странице, при этом его текущее состояние сохраняется в виде снимка в модуле Control.

Архивированные инстансы можно просматривать и восстанавливать с вкладки «Обзор» в разделе управления инстансами модуле Control. Подробнее про работу с снимками см. в разделе Управление сохраненными снимками инстансов.

Восстановление инстанса

Модуль Control предоставляет возможность восстановления инстансов из созданных ранее снимков. Для выполнения этой операции необходимо:

На главной странице модуля Control нажать кнопку «+ Инстанс».

В появившейся форме выбрать опцию «Восстановить».

Рисунок 8: Форма восстановления инстанса до выбора продукта

В поле Продукт необходимо выбрать продукт ClickHouse из выпадающего списка. После этого станут доступно поле формы «Снимок инстанса» для заполнения.

Рисунок 9: Форма восстановления инстанса после выбора продукта

В поле выбора снимка инстанса из списка доступных выбрать тот снимок, который нужно восстановить. Снимок инстанса содержит информацию об инстансе, его инфраструктуре, платформах и сервисах, а также расписание заданий, периоды приостановки заданий и журнал выполненных задач.
После выбора снимка поля «Инстанс» и «Описание» будут автоматически заполнены текущими значениями, но их можно редактировать.

Рисунок 10: Форма восстановления инстанса после выбора снимка инстанса

Администратору будут предложены следующие опции для восстановления:

Метаданные инстанса: это обязательные параметр, который восстанавливается всегда. Он содержит информацию об инфраструктуре инстанса, его платформах и сервисах.
Расписание заданий.
Периоды приостановки заданий.
Журнал выполненных заданий (с возможностью указания даты начала для восстановления журнала).

Таблица. Список параметров для заполнения

Параметр	Обязательность
Продукт	Да
Снимок инстанса	Да
Инстанс	Да
Описание	Нет

После завершения ввода данных нужно убедиться в их правильности и актуальности. Для завершения процедуры восстановления необходимо нажать кнопку «Добавить». После успешного добавления инстанс станет доступен на главной странице модуля Control в списке инстансов.

Запуск заданий

В главном меню модуля Control в отношении продукта ClickHouse администратору доступен вызов заданий для конкретного инстанса. Для этого необходимо нажать кнопку со списком доступных действий рядом с выбранным инстансом и выбрать нужное для запуска задание.

Сервис Инфраструктура

Возможности вкладки Хосты

На странице «Инфраструктура» во вкладке «Хосты» инстанса продукта ClickHouse отображается список хостов, на которых развернут сам инстанс. Для каждого хоста отображаются следующие значения:

Название: DNS-адрес.
Внутренний IP-адрес.
Статус: текущее состояние хоста.
Сервисы: подключенные сервисы к хосту.
CPU, %: загруженность ЦП.
RAM, GB: загруженность оперативной памяти.
Disk, GB: занятое пространство на диске.
Invalid Disks: количество проблемных дисков на хосте.

Рисунок 12: Страница «Инфраструктура», вкладка «Хосты»

Для создания нового хоста нужно нажать кнопку «Добавить» над списком хостов.

В открывшемся окне заполняются данные хоста: название хоста, внутренний IP-адрес, логин пользователя и, в зависимости от способа подключения, пароль пользователя или SSH-ключ.

Рисунок 14: Модальное окно добавления нового хоста

Пользователю доступна настройка хостов с помощью кнопки «Редактировать».

Откроется модальное окно с текущими настройками хоста, где их можно редактировать. Для сохранения изменений необходимо нажать кнопку «Сохранить», после чего информация в таблице обновится.

Рисунок 16: Модальное окно настроек хоста

Также пользователю доступна настройка установленных на хосте сервисов. Для этого нужно нажать кнопку «Настроить» конкретного хоста.

Откроется модальное окно с текущими установленными сервисами, где можно добавлять и удалять сервисы. Для сохранения изменений необходимо нажать кнопку «Сохранить», после чего информация в таблице обновится.

Рисунок 18: Модальное окно настройки установленных сервисов

Для удаления хоста необходимо нажать кнопку «Удалить» рядом с выбранным элементом.

После нажатия этой кнопки откроется модальное окно подтверждения удаления хоста. После подтверждения пользователем окно будет закрыто, таблица со списком хостов обновится.

Настройка параметров конфигурации кластера

Настройка параметров конфигурации интеграции с Platform UI

Настройка параметров конфигурации в системе Platform UI — это гибкий процесс, который позволяет администратору управлять интеграцией и мониторингом состояния кластеров. На странице конфигураций в модуле Control по умолчанию открывается вкладка «Инстанс».

В данной вкладке отображается список параметров инстанса продукта ClickHouse (1), которые влияют на работу инстанса внутри модуля Control.

Интерфейс страницы конфигураций включает удобный поиск (2), позволяющий быстро находить нужные параметры. Изменение их значений возможно через интуитивно понятную форму редактирования, которая открывается при нажатии на кнопку редактирования (3) рядом с параметром или при двойном клике по его строке. После внесения изменений администратор может применить их, нажав на кнопку «Сохранить» (4).

Чтобы облегчить процесс работы, предусмотрена возможность автоматического сохранения изменений — если активировать чек-бокс «Сохранять автоматически» (5), то изменения будут применяться после сохранения информации о каждом параметре автоматически.

Рисунок 21: Вкладка «Конфигурации», список параметров (1), поиск по параметрам и значениям (2), кнопка «Редактировать» (3), кнопка «Сохранить» (4), кнопка «Сохранять автоматически» (5)

Рисунок 22: Форма редактирования параметра

Таблица. Список параметров на странице конфигурации

ID параметра	Наименование параметра	Описание параметра
1	ch_inst_prometheus_link	URL-адрес Prometheus. Данный URL вводится с указанием протокола (например, https:// или http://)
2	ch_inst_grafana_link	URL-адрес Grafana. Данный URL вводится с указанием протокола (например, https:// или http://) и домена
3	ch_metric_collection_delay	Задержка шедуллеров для сбора метрик (миллисекунды)
4	ch_monitor_alert_delay	Задержка шедуллеров для мониторинга alert-ов (миллисекунды)
5	ch_inst_login	Логин для получения метрик при помощи запроса к ClickHouse
6	ch_inst_password	Пароль для получения метрик при помощи запроса к ClickHouse
7	ch_queries_collection_delay	Задержка шедуллеров для мониторинга списка запросов (миллисекунды)
8	ch_host_address_for_tables_data	Адрес хоста для получения информации о таблицах
9	ch_tables_collection_delay	Задержка шедуллеров для мониторинга списка таблиц ClickHouse (миллисекунды)
10	ch_service_status_show_time	Промежуток времени за который будет выводится история статусов сервисов
11	ch_query_hist_link	URL-адрес для получения списка запросов. Данный URL вводится с указанием протокола (например, https:// или http://)
### Просмотр истории версии параметров конфигурации кластера

Для параметров конфигурационных файлов, которые сохраняются на стороне модуля Control, предусмотрена возможность просмотра истории их изменений. Эта функция помогает пользователям отслеживать изменения, которые вносились в конфигурации, фиксируя дату, время и пользователя, внесшего корректировки. Это особенно полезно для анализа состояния системы и решения возможных проблем.

Чтобы воспользоваться этой функцией, необходимо зайти на вкладку «Конфигурации». После этого достаточно нажать на кнопку истории изменений напротив нужного параметра, чтобы открыть форму со списком всех правок, внесенных в этот параметр. Каждое изменение сопровождается отметкой времени и датой, что позволяет легко отследить эволюцию значения параметра. Текущее значение выделяется с помощью метки «текущее», что упрощает ориентирование в списке изменений.

Рисунок 23: Вкладка «Конфигурации», кнопка «История изменений»

Рисунок 24: Вкладка «Конфигурации», форма истории параметра

Настройка параметров рекомендательной системы ClickHouse

Для работы с параметрами конфигурационных файлов рекомендательной системы ClickHouse нужно перейти на странице «Конфигурации» во вкладку «Параметры RS». На странице вкладки отображается список параметров (1) файла connection_settings, который в выпадающем списке (2) выбран по умолчанию при переходе на вкладку. В это выпадающем списке администратор может выбрать нужный ему конфигурационный файл для отображения необходимых параметров.

Интерфейс страницы конфигураций включает удобный поиск (3), позволяющий быстро находить нужные параметры. Изменение их значений возможно через интуитивно понятную форму редактирования, которая открывается при нажатии на кнопку редактирования (4) рядом с параметром или при двойном клике по его строке. После внесения изменений администратор может применить их, нажав на кнопку «Применить изменения» (5). Для скачивания конфигурационного файла необходимо в выпадающем списке выбрать необходимый, затем нажать кнопку «Посмотреть конфигурационный файл» (6) и в открывшемся окне нажать кнопку «Скачать файл». После этого начнется загрузка выбранного конфигурационного файла в формате TXT.

Рисунок 25: Вкладка «Конфигурации», список параметров (1), выпадающий список файлов (2), поиск по параметрам и значениям (3), кнопка «Редактировать» (4), кнопка «Применить изменения» (5), кнопка «Посмотреть конфигурационный файл» (6)

Из окна просмотра конфигурационного файла можно скачать файл в формате txt. Для этого нужно нажать кнопку «Скачать файл».

Рисунок 27: Окно просмотра конфигурационного файла

Обзор продукта ClickHouse и его сервисов

Обзор

На странице «Обзор» представлена сводная информация о кластере ClickHouse. Инфопанель (1) отображает ключевые метрики системы, такие как:

Статус всего кластера: рассчитывается на основе состояния всех хостов, на которых установлен ClickHouse DB.
Время работы ClickHouse: определяется исходя из времени работы всех хостов, выводится наибольшее значение.
Версия дистрибутива: установленная версия дитрибутива на хостах.
Хосты: количество хостов, на которых развернут ClickHouse. Поле кликабельно, при нажатии на которое открывается вкладка «Хосты» на странице «Инфраструктура».
Запросы: показывает количество активных SQL-запросов. Поле кликабельно, при нажатии на которое открывается вкладка «SQL-запросы» на странице «Запросы».

В списке действий для инстанса (2) доступны опции для редактирования метаданных и архивирования инстанса, а также запуск заданий.

Помимо этого справа от инфопанели отображается список сервисов (3), развернутых на данном кластере.

Информация о кластере

По умолчанию при переходе на страницу «Обзор» открывается вкладка «Кластер» (4), которая демонстрирует основную информацию о ресурсах кластера: потребление ресурсов ЦП, дискового пространства и оперативной памяти в процентах.

Рисунок 28: Страница «Обзор», вкладка «Кластер»

Хранилище

Вкладка «Хранилище» содержит таблицу с информацией о занятом/свободном пространстве в разрезе каталогов (1) и хостов (2).

Если выбрать конкретный каталог в левой таблице, то в таблице хостов отобразится информация о хосте, на котором данный каталог расположен. Аналогично работает и с хостами.

Динамика

Вкладка «Динамика» включает в себя следующие графики и соответствующие им гистограммы:

Cluster: CPU: среднее потребление CPU на хостах с установленным ClickHouse.
Cluster: RAM: среднее потребление RAM на хостах с установленным ClickHouse.
Query: Sum: количество запросов к базам данных по всему кластеру.
Query: Failed: количество упавших запросов по всему кластеру.
Query: Select: средний процент запросов типа SELECT по всему кластеру.
Query: Insert: средний процент запросов типа INSERT по всему кластеру.
Query: RPS Select: среднее количество запросов на чтение в секунду.
Query: RPS Insert: среднее количество запросов на запись в секунду.
Query: Selected Per Second: объем прочитанных в секунду данных.
Query: Inserted Per Second: объем вставленных в секунду данных.
Query: Selected Rows Per Second: среднее число прочитанных строк в секунду.
Query: Inserted Rows Per Second: среднее число вставляемых строк в секунду.

Рисунок 30: Страница «Обзор», вкладка «Динамика»

Подключения

Вкладка «Подключения» состоит из счетчиков статусов сессий.

Сессия - это период времени с момента подключения пользователя к БД и до разрыва соединения.

Во вкладке отображается общее количество подключений и количество подключений в разрезе протоколов.

Рисунок 31: Страница «Обзор», вкладка «Подключения»

Данные

Вкладка «Данные» содержит основную информацию (1) о таблицах в ClickHouse.

Пользователь может самостоятельно выбрать, какие атрибуты он хочет видеть в таблице, нажав на кнопку «Отображение полей» (2). Также пользователю доступен удобный поиск (3) по значениям столбцов для поиска необходимых данных.

Рисунок 32: Страница «Обзор», вкладка «Данные», список таблиц (1), кнопка «Отображение полей» (2), строка «Поиск» (3)

Таблица. Описание столбцов данных

Столбец	Описание
Хост	Наименование хоста
Схема	Схема объекта
Таблица	Имя объекта
Движок	Движок таблицы
Политика хранения	Политика хранения объекта
Объем, GB	Размер объекта
Строки	Количество строк
Столбцы	Количество столбцов
Партиции	Количество партиций
Parts	Количество партов
Merges	Количество процессов, протекающих над таблицей
Обновление информации	Дата сбора информации о таблице
Время последнего запуска	Дата последнего запроса с участием таблицы
ID последнего запроса	ID последнего запроса
Статус последнего запроса	Статус последнего запроса
Ключ сортировки	Ключ сортировки

ClickHouse Keeper

ClickHouse Keeper – сервис для репликации данных и выполнения распределенных DDL-запросов.

На странице сервиса отображается инфопанель (1), подключенные к сервису хосты (2) и вкладка «Обзор» (3).

Инфопанель показывает текущий статус хоста. Справа от инфопанели отображаются хосты с их ролями: leader, follower и inactive, – которые отображаются под названиями хостов.

Обзор

Вкладка «Обзор» содержит следующие графики:

Размер очереди тасков.
Количество реплик Readonly.
Размер последнего файла снимка для хоста: Отображается для каждого хоста, для которого выполнен снимок.

При наведении курсора на график появляется тултип с информацией по метрике.

Рисунок 33: Страница ClickHouse Keeper, инфопанель сервиса (1), панель хостов (2), вкладка «Обзор» (3)

Очередь заданий

На вкладке «Очередь заданий» отображается список о невыполненных и находящихся в процессе выполнения тасках по синхронизации данных между нодами.

Таблица. Описание столбцов таблицы очереди заданий

Название столбца	Описание
Хост	Хост ClickHouse
Позиция	Позиция задачи в очереди
Тип	Тип задачи в очереди
База данных	Схема
Таблица	Таблица
Название реплики	Имя реплики, которая еще не синхронизирована
Реплика источник	Имя реплики, с которой Название реплики должно синхронизироваться
Дата создания	Дата и время отправки задачи на выполнение
Выполняется	Флаг, указывающий на выполнение задачи на данный момент
Попытки	Количество неудачных попыток выполнить задачу
Последнее исключение	Текст сообщения о последней возникшей ошибке при выполнении задачи
Последняя попытка	Дата и время последней попытки выполнить задачу
Последний перенос	Дата и время, когда была отложена задача в последний раз
Причина переноса	Причина, по которой была отложена задача
### Load Balancer

Балансировка нагрузки – это метод распределения рабочих нагрузок по нескольким вычислительным ресурсам, таким как компьютеры, сетевые ссылки или диски. Он направлен на улучшение использования ресурсов, максимизацию пропускной способности, улучшение времени отклика и обеспечение отказоустойчивости.

На странице сервиса отображается инфопанель (1), активные соединения (2) и вкладка «Динамика» (3).

В списке действий для сервиса (4) доступен запуск таких заданий, как запуск, остановка и перезапуск сервиса.

Инфопанель показывает статус сервиса, время его работы с момента старта и актуальный тип балансировки. В активных соединениях - текущее число активных клиентских соединений. Типы соединений следующие:

Считывающие – текущее число соединений, в которых nginx в настоящий момент читает заголовок запроса.
Записывающие – текущее число соединений, в которых nginx в настоящий момент отвечает клиенту.
Ожидающие – текущее число бездействующих клиентских соединений в ожидании запроса.

Динамика

Во вкладке «Динамика» отображаются графики утилизации ресурсов сервисом: CPU (%) и RAM (MB).

Мониторинг запросов

В модуля Control пользователю доступна информация о запущенных и выполненных запросах на кластере. Список всех запросов доступен на странице «Запросы» на инстансе ClickHouse. При переходе на страницу пользователю отображаются статусы активных (1) и завершенных за час (2) запросов, таблица запросов (3) и фильтры таблицы (4).

Рисунок 36: Страница «Запросы», панель активных запросов (1), панель завершенных за час запросов (2), таблица запросов (3), фильтры таблицы (4)

Блок активных статусов отображает количество выполняющихся запросов. Справа от слова «Активно» отображается число активных запросов. При нажатии пользователем на любой тип статуса таблица отфильтровывается по столбцу «Статус».

Блок завершенных за час статусов отображает количество выполненных за последний час запросов каждого статуса. Справа от выражения «Завершено за час» отображается количество завершенных за час запросов. При нажатии пользователем на любой тип статуса таблица отфильтровывается по столбцу «Статус», количество выводимых строк равно количеству строк в счетчиках.

Фильтрация таблицы запросов

Пользователю доступна фильтрация таблицы по различным критериям:

На момент выбранной даты. Пользователю доступно три опции данного фильтра: текущая дата, n минут/часов/дней назад и конкретная дата и время.
В случае текущей даты пользователю отображаются незавершенные запросы, в статусах актуальных на текущий момент.

Если выбрано значение фильтра «n минут/часов/дней назад», то пользователю отображаются все запросы, которые были незавершенными в том статусе, который был актуален на дату «текущий день минус % минут/часов/дней назад».

Рисунок 38: Фильтр «n минут/часов/дней назад».

Если пользователь выбирает конкретную дату и время (например, 2021-12-31 00:00:00), то отображаются все запросы, которые были незавершенными в том статусе, который был актуален на указанную дату и время.

Рисунок 39: Фильтр конкретной даты и времени

На выбранный временной период. Если пользователь сменит toggle-фильтр, то ему будет доступна фильтрация по типам интервала, дате и времени интервала.
Если выбрана категория «Время запуска», то пользователю отображаются все запросы, значения столбца «Время запуска» которых попадает в период интервала, отображаемый статус: «In Progress».
Если выбрана категория «Время завершения», то пользователю отображаются все запросы, значения столбца «Время завершения» которых попадает в период интервала, отображаемый статус: «Finished»/«Exception While Processing»/«Exception Before Start».

Рисунок 40: Фильтр по промежутку времени

По ключевому слову. Фильтр выполняется по всем столбцам в БД GP таблицы по маске «%текст%». Текст может содержать символы кириллицы, латиницы, даты и числа. В результате пользователь видит все релевантные значения.

Таблица. Описание полей таблицы

Название столбца	Описание
ID	Идентификатор запроса
Хост	Название хоста
Пользователь	Пользователь, запустивший запрос
Статус	Статус запроса
Тип запроса	Тип запроса
Исходных запрос	Признак, обозначающий, является ли запрос первичным или порожден распределенным запросом
ID исходного запроса	Идентификатор первичного запроса
Исходный пользователь	Пользователь, запустивший первичный запрос
Время запуска	Дата начала работы запроса
Время работы	Длительность выполнения запроса
Время завершения	Дата завершения работы запроса
Считанный объем, МБ	Количество прочитанных МБ в ходе выполнения запроса
Записанный объем, МБ	Количество записанных МБ в ходе выполнения запроса
Объем результата, МБ	Количество потраченных в памяти МБ для хранения результата запроса
Считано строк	Количество прочитанных строк в ходе выполнения запроса
Приблиз. общее количество строк	Приблизительное число строк, которые нужно прочитать запросу
Записано строк	Количество записанных строк в ходе выполнения запроса
Результат строк	Для запросов insert, result_rows совпадает с written_rows; для запросов select, result_rows это кол-во строк в результате запроса
Memory usage, МБ	Сколько использовано памяти в ходе выполнения запроса
Количество подзапросов	Количество порожденных запросов
Текст запроса	Текст запроса
Исключение	Сообщение ошибки (при наличии)
Используемые таблицы	Использованные в ходе запроса таблицы, выводятся через запятую
Используемые функции	Использованные в ходе запроса функции, выводятся через запятую