Подготовка данных и логика вычислений в Power BI и Yandex DataLens
Работа с данными в Power BI
Прежде, чем превратить данные в наглядную картинку, их необходимо перенести в программу. Для этого требуются внешние коннекторы. В Power BI не существует собственного облачного хранилища для обработки информации, поэтому нужно выбирать из существующих сторонних сервисов тот, который в наибольшей мере отвечает вашим целям и запросам.Power BI работает с информацией с помощью сервиса Power Query. Пользователю доступны:
- загрузка данных внутри модели BI;
- повторение алгоритма обработки информации;
- предварительный просмотр;
- объединение данных (даже из разных источников);
- редактирование текста и цифровых показателей;
- объединение таблиц;
- фильтр по датам и т.д.
Опытные пользователи Power BI могут воспользоваться скриптовым языком M. Он доступен в интерфейса Power BI Desktop. Слева и по центру окна отобразится предварительный просмотр данных с учетом этапа обработки, а с правой стороны — алгоритм действий системы. После завершения порядка действий, информация помещается в оперативную память, окно закрывается — и данные готовы к визуализации.
Для проведения логических операций Power BI использует внутренний язык обработки вычислений Power BI-DAX. С его помощью можно создавать сложные алгоритмы обработки информации.

Работа с данными в Yandex DataLens
Архитектура получения информации и работы с ней в Yandex DataLens принципиально другая, так как сервис является частью системы Yandex Cloud. Совместимых рабочих коннекторов не так много, но в них нет необходимости: в Yandex Cloud есть свои сервисы получения и обработки информации, в том числе для работы с труднодоступными источниками. Задачи, которые не решает Yandex Cloud, осуществляются любым из подходящих коннекторов.
В основе данных для Yandex Datalens лежит понятие Датасета (таблицы данных), которая физически размещается в базе данных/файле/Google-таблице/
Т.е. в Yandex Datalens нет встроенной базы данных (как это реализовано в Power BI) и Yandex Datalens использует внешнее хранилище данных (базу данных), откуда данный сервис извлекает информацию.
Поэтому Yandex Datalens позволяет реализовывать более сложные схемы работы с данными, в том числе и работу с данными в "реальном времени".
Для выгрузки информации в "Хранилище данных" для Yandex Datalens можно воспользоваться ETL-инструментами. Например, Экстрактор данных — разработка компании Денвик. Сервис позволяет быстро импортировать базу данных из 1С в ClickHouse, а оттуда — в любую BI систему.

В Yandex Cloud происходит предварительная очистка и обработка информации. При этом данные в него загружать не нужно: он работает с источником напрямую, что существенно сокращает время на операцию. Из взаимосвязанных систем Yandex Cloud в DataLens попадает информация, уже готовая к визуализации. Грамотно продуманная архитектура создает меньше путанницы для аналитика или экономиста. А на сервис Yandex DataLens сокращается нагрузка. Собственный коннектор Яндекса ClickHouse адаптирован для качественной работы в системе и прекрасно справляется с задачами бизнес-аналитики. ClickHouse зарекомендовал себя как удобный и быстрый сервис.
В DataLens реализуются связи между таблицами, проводится маппинг данных, определяется тип данных для каждого поля и создаются вычисляемые поля. Все эти операции осуществляются при помощи внутреннего сервиса датасет. Для запросов вычисляемых полей используется внутрисистемный язык DataLens. После предварительной настройки датасет сохраняет поля и они становятся доступными для визуализации.



