Перенос данных из ClickHouse в Power BI или Excel

Для чего может понадобиться перенос данных из ClickHouse в Power BI или Excel

ClickHouse - это аналитическая колоночная база данных от Яндекс, предназначенная для работы с аналитикой и большими данными (Big Data). Данная система становится все популярнее с каждым годом, так как она позволяет выполнять аналитические SQL-запросы для больших структурированных баз данных в режиме реального времени.

ClickHouse использует собственный SQL-диалект. В отличие от стандартного SQL он имеет различные расширения (массивы и вложенные структуры данных, дополнительные специализированные агрегатные функции, функции для работы с URL и т.д.).

Power BI - это ПО, использующееся бизнес-аналитиками и компаниями для составления отчетов и дашбордов. Преимуществом программы является то, что к ней можно подключить более 50 источников данных. Это могут быть xlsx, csv, txt-файлы, а также данные баз SQL.

В Power BI можно делать красивые и понятные отчеты, собирать их на одном дашборде и затем использовать для принятия бизнес-решений. На выбор доступно большое количество диаграмм. Собранный отчет можно выгрузить в Power BI Service и предоставить доступ к нему для других сотрудников.

Как подружить ClickHouse и Power BI или MS Excel

Для выгрузки данных будем использовать Open Database Connectivity (ODBC). Это программа, разработанная Microsoft, с помощью которой различные приложения могут получать доступ к данным, хранящимся в системах управления БД, направляя SQL-запросы к базе данных.

Алгоритм подключения Power BI к ClickHouse:

Установить ClickHouse ODBC Driver, чтобы получить доступ к базе данных в качестве источника данных.
Создать имя источника данных. DSN (Data Source Name) нужен для того, чтобы связать различные параметры конфигурации перед тем, как настраивать связь с базой данных. DSN содержит такие параметры как: имя и расположение источника данных, логин и пароль для доступа к ним. Чтобы его создать, необходимо в поиске Windows ввести “ODBC”.
Откроется приложение, в котором нужно перейти на вкладку Пользовательский DSN и нажать кнопку Добавить.

В открывшемся окне необходимо выбрать ClickHouse ODBC Driver. Выбор кодировки (ANSI или Unicode) зависит от того, какие символы содержит база данных, к которой настраивается доступ.

Далее следует нажать кнопку Готово и на последнем шаге ввести параметры конфигурации. Когда все данные заполнены, ClickHouse можно использовать в качестве источника данных в Power BI.

Нужно перенести данные из одной BI-системы в другую? Оставляйте заявку и мы поможем выполнить перенос и настроить отчеты для анализа данных.

Как настроить подключение в самом Power BI.

Для этого нужно открыть Power BI, перейти на вкладку “Получить данные” и выбрать ODBC (если не можете найти так, воспользуйтесь поиском). Далее нужно выбрать имя источника данных (DSN) и прописать SQL-запрос (при необходимости).

Как настроить подключение в MS Excel

Для этого, открываем MS Excel
Переходим на закладку "Данные"
пункт "Из других источников"
ODBC DSN
Выбираем ранее созданное подключение
И создаем графики и Сводные таблицы по данным БД Clickhouse

Работаете с 1С 8.3, но хотите анализ данных выполнять в MS Excel или MS Power BI?

Для этого необходимо в Вашу 1С установить расширение “Экстрактор данных 1С 8.3 -> BI”. Подробная настройка описана в этой статье - Выгрузка данных 1С в Datalens или другую BI-систему.

О плюсах использования “Экстрактор данных 1С 8.3 -> BI” можно говорить очень долго:

Работа как с файловыми, так и с клиент-серверными базами данных;
Возможность выгружать из 1С произвольные наборы данных (в том числе очень Сложные Запросы 1С, которые мы поможем вам подготовить или это сделают ваши Программисты 1С);
При выгрузке можно использовать Отборы, Параметры выгрузки, Дополнительные расчетные поля;
“Экстрактор” автоматически генерирует таблицы в Clickhouse;
“Экстрактор” автоматически добавляет и удаляет поля в таблицах Clickhouse при изменении структуры Наборов данных из 1С;
Данные из 1С выгружаются полностью автоматически (по расписанию);
Возможна одновременная выгрузка данных (отдельными “Проектами”) в разные таблицы (отдельными потоками);
Можно настраивать последовательность выгрузки данных (список элементов в каждом Проекте Экстрактора выгружается последовательно).

Можно ли подключить Power BI напрямую к ClickHouse?

Да, Power BI можно подключить к ClickHouse как через ODBC‑драйвер, так и через нативный коннектор Power Query ClickHouse. В обоих случаях ClickHouse выступает источником данных для построения отчетов и дашбордов в Power BI.

Как подключить Power BI к ClickHouse через ODBC?

Нужно установить ClickHouse ODBC Driver, настроить системный или пользовательский DSN (указать хост, порт, базу, логин/пароль), а затем в Power BI выбрать источник данных ODBC и указать созданный DSN. При необходимости можно сразу задать SQL‑запрос в расширенных параметрах и затем загрузить данные в модель Power BI.

Что дает нативный коннектор Power Query ClickHouse и когда его использовать?

Нативный коннектор Power Query ClickHouse позволяет подключаться к ClickHouse без ручной настройки ODBC, достаточно указать хост, порт, базу и учетные данные. Он поддерживает режим DirectQuery или импорт, что позволяет либо запрашивать данные напрямую из ClickHouse, либо загружать их в модель Power BI.

Какой режим подключения к ClickHouse выбрать в Power BI: Import или DirectQuery?

Режим Import подходит, когда объем данных относительно невелик и удобно хранить их в модели Power BI для быстрого отклика и работы без постоянного подключения к ClickHouse. DirectQuery используют, когда данные слишком большие для импорта или важна актуальность вблизи реального времени: в этом режиме Power BI выполняет запросы напрямую к ClickHouse при каждом обновлении визуализаций.

Какие особенности и ограничения нужно учитывать при работе Power BI с ClickHouse?

При подключении через ODBC для обновления данных в сервисе Power BI обычно требуется локальный шлюз, так как ClickHouse выступает локальным/частным источником. Также важно учитывать производительность запросов (индексы, фильтры, объем выборки) и безопасность: ограничивать доступ по IP, использовать отдельные учетные записи и внимательно настраивать права в ClickHouse.

Для получения доступа к Экстрактору данных 1C->BI обращайтесь в наш отдел продаж. Также мы оказываем услуги по подключению и настройке систем BI-аналитики.

Оставляйте заявку для получения подробной информации.

Оставить заявку

Автор: