Интеграция с DWH (Clickhouse)

Приветствую, пользователь!

Сейчас мы рассмотрим: как на платформе Appliner работает интеграция с DWH.

Для начала рассмотрим что такое DWH.

DWH (Data Warehouse) — это единое корпоративное хранилище архивных данных из разных источников (систем, департаментов и прочее). 

Цель Data Warehouse — обеспечить пользователя (компанию и ее ключевых лиц) возможностью принимать верные решения в ключе управления бизнесом на основе целостной информационной картины.

DWH — это не просто база данных

Корпоративное хранилище данных отличается от обычных БД, по нескольким параметрам:

• Тип и источник данных
  Обычные БД хранят данные от конкретных информационных систем. Например, в базе данных HR-отдела мы увидим информацию о сотрудниках, а вот данных о поставках там не будет. DWH строится по другому принципу: такое корпоративное хранилище консолидирует в себе информацию от всех департаментов компании — от статистики продаж до сведений о сотрудниках.
• Объем данных
  Обычные базы используются для хранения только актуальной информации — в ней не имеет смысла хранить данные за несколько лет работы предприятия. В DWH, наоборот, стекаются исторические данные и архивные сведения. Например, заглянув в DWH, можно получить информацию о всех сделках за последние несколько лет.
• Роль в бизнес-процессах
  Изначально данные хранятся в обычных БД и уже оттуда поступают в DWH. Иными словами, DWH всегда содержит последние версии данных.

А теперь рассмотрим, как мы можем использовать в нашей системе этот инструмент!

Для начала переходим на страницу платформы Appliner (рисунок ниже).

Зайдем в заранее созданное приложение на страницу Конструктора интеграций (на рисунке ниже иконка конструктора подсвечена синим цветом).

Нажмем на кнопку “+” возле заголовка надписи “Интеграции” (на рисунке выше на иконку наведен курсор).

Появляется модальное окно “Добавление интеграции” (на рисунке ниже представлено модальное окно).

В появившемся модальном окне “Добавление интеграции” заполним поля (пример указан на рисунке ниже):

• Тип интеграции: выбираем “DWH”;
• Название: вводим произвольное название интеграции;
• Описание (необязательное поле): вводим произвольное описание интеграции;
• Данные для подключения: Базовый URL Clickhouse.

Нажимаем на кнопку “Сохранить”.

Далее перейдем в Конструктор модели данных (на рисунке ниже иконка подсвечена синим цветом), и нажмем на кнопку “+” возле заголовка “Модель данных” (на рисунке ниже на кнопку наведен курсор).

В появившемся контекстном меню выберем пункт “Создать пустую таблицу” (как показано на рисунке ниже).

Появляется модальное окно “Создать модель”, в нем заполним поля (как показано на рисунке ниже):

• Название: произвольное название;
• Описание модели (необязательное поле): произвольное описание модели.

Нажмем на чекбокс “Внешняя модель данных”.

Под чекбоксом появляются дополнительные строки (дополнительные строки указаны на рисунке ниже), в строках заполняем:

• Интеграция: выбираем интеграцию созданную в “Конструкторе интеграций”;
• Внешний ключ: выбираем название таблицы из Сlickhouse с которой у нас интеграция.

Нажимаем на кнопку “Сохранить” 

*Примечание: внешний ключ должен полностью соответствовать названию таблицы из Clickhouse (название таблицы выделено на рисунке ниже).

 

У нас создана модель данных связанная с интеграцией (на рисунке ниже модель данных подсвечена синим цветом).

 

Рассмотрим пример как мы можем работать с созданной нами интеграцией.

Для того чтобы нам увидеть данные из таблицы Clickhouse необходимо добавить несколько полей в Модель данных “из dwh”.

Для этого необходимо нажать на кнопку “+ Новое поле” (на рисунке  кнопка подсвечена синим цветом”).

Появляется модальное окно “Новое поле” (на рисунке ниже).

В открывшемся модальном окне заполняем поля соответствующие данным столбцам таблицы в Clickhouse (как на рисунке ниже):

• Тип поля: “Целое число”;
• Название поля: аналогично заголовку таблицы в Clichouse;
• Ключ: формируется автоматически в зависимости от заполненной строки “Название поля”, при необходимости можно заменить на произвольное значение;
• Чекбокс “Заголовок строки”: проставляем опционально, если в нем есть необходимость.

Нажимаем кнопку “Сохранить”.

В модели данных у нас появилось новое поле (на рисунке ниже показано созданное поле).

При переходе в раздел “Записи” модели данных, мы увидим первый столбец данных из таблицы в Clickhouse (как показано на рисунке ниже).

Так как у нас в таблицы Clickhouse было 2 столбца данных, аналогично повторяем создание поля для второго столбца.

Нажимаем в модели данных “из dwh” на кнопку “+ Новое поле”.

В появившемся модальном окне “Новое поле” заполняем (пример на рисунке ниже):

• Тип поля: “Короткий текст”;
• Название поля: аналогично заголовку таблицы в Clichouse;
• Ключ: формируется автоматически в зависимости от заполненной строки “Название поля”, при необходимости можно заменить на произвольное значение;
• Чекбокс “Заголовок строки”: проставляем опционально, если в нем есть необходимость.

Нажимаем кнопку “Сохранить”.

Созданное поле добавилось в модель данных.

При переходе в записи мы увидим таблицу, что соответствует таблице данных из Clickhouse.

Ура!!! теперь мы можем использовать данные из DWH.