Выгрузка данных из 1С в Yandex Datalens - экстрактор данных 1С -> BI

Yandex Datalens в представлении не нуждается - облачная бесплатная система анализа данных, органично встроенная в экосистему Yanex Cloud.

1С – самый известный бренд в России и, наверное, самое большое количество инсталляций софта в России для автоматизации бизнеса

Как 1С и Yandex Datalens связать между собой? – ведь прямого коннектора между 1С и Yandex Datalens нет, тем более, что:

1С относится к классу OLTP-систем, т.е. систем, предназначенных для обработки транзакций в реальном времени;
А вот Yandex Datalens – это система анализа и поиска данных в режиме «самообслуживания» (self-service).

Разные подходы, разное предназначение, т.е.:

1С – это источник данных для анализа;
Yandex Datalens – потребитель данных из 1С, визуализирующий их уже конечному пользователю.

Оттолкнемся от Yandex Datalens:

Yandex Datalens лучше всего работает с одним датасетом (таблицей) для всех графиков (чартов) на дашборде (панели отчетов).

На этом датасете должны быть:

Меры – то, что мы будем суммировать, вычислят среднее, искать максимум, минимум, вычислять накопительные итоги и т.д.
Измерения – то, в разрезе чего будут изучаться данные, группироваться, фильтроваться.

А так как 1С это транзакционная система и плохо приспособлена для выборки объемов данных за большие периоды, то получается, что связывать напрямую 1С и Yandex Datalens:

Плохо по блокировкам внутри 1С;
Накладно по использованию ресурсов сервера, где размещена 1С;
А еще и небезопасно – ведь для связки 1С -> Yandex Datalens придется открывать доступ (снаружи) «из» Интернет к вашей 1С для Yandex Datalens.

Надеюсь, я вас убедил, что работать напрямую из Yandex Datalens с данными 1С плохо

А как же работать «хорошо»?

А «хорошо» работать с данными 1С в Yandex Datalens можно только если:

Данные из 1С выгружены;
Выгружены в специализированную «колоночную» базу данных (например Clickhouse);
Данные заранее подготовлены (добавлены и посчитаны дополнительные поля и группировки, иерархии и данные свернуты до необходимого уровня детализации (выполнена агрегация данных, если их очень – очень много));
Сама база данных Clickhouse доступна для Yandex Datalens (находится на вашем сервере или размещена в Облаке Yandex, например, в Managed Service for Clickhouse).

Все эти задачи решает наш новый программный продукт: «Экстрактор данных 1С -> BI»

Как работает Экстрактор 1С -> BI

Вот общая схема работы «Экстрактора 1С -> BI»

Подключение «Экстрактор данных 1С -> BI» в 1С 8.3

Подключим Расширение в нашу базу 1С:

Обязательно снять «Безопасный режим»

Создание нового «Проекта» в 1С

Теперь перейдем в новый появившийся раздел «Экстрактор 1С»

Запустим Помощник создания нового проекта:

Создадим новый «Набор данных», используя «Запрос». Вообще есть два подхода:

Создавать Наборы данных, используя «объекты 1С» - регистры, документы, справочники;
Или создавать Наборы данных, соединяя объекты 1С в единый запрос (этот вариант немного сложнее, но он более универсален).

В визуальном «Конструкторе» перетянем все необходимые поля из выбранного нами «РегистрНакопления.ВыручкаИСебестоимостьПродаж.Обороты»

И заодно еще допишем формулу для расчета поля «Валовая прибыль»

Переименуем поля в удобочитаемый вид на закладке «Объединения/Псевдонимы»

По кнопке «Ок» закроем конструктор

Мы с Вами получили запрос по регистру Выручка и себестоимость продаж, со всеми дополнительными полями, которые на могут понадобиться в последующем анализе данных

Делать дополнительную настройку по параметрам и расчетным полям сейчас не будем, равно как и делать отбор по периоду, так как данных относительно немного и наш «Набор данных» отрабатывает очень быстро

Сделаем настройку подключения к нашему облачному Managed Services for Clickhouse – базе данных, которую мы предварительно «по одной кнопке» развернули в Облаке Яндекс

Так как для только что созданного «Набора данных» еще не создано таблицы в Базе данных, то создадим ее. Делается, все тоже по одной кнопке

Переименовывать поля в таблице-приемнике не будем (хотя это можно сделать легко, равно как и выбрать уже существующую таблицу в БД Clickhouse и сопоставить поля с этой существующей таблицей)

Запустим выгрузку

Заодно сразу создадим регламентное задание, чтобы даные по этому «Проекту» выгружались с нужной нам периодичностью

Сделаем Отчетность в Yandex Datalens

Для начала перейдем в https://datalens.yandex.ru/ и создадим там «Подключение»

Создадим Датасет на основе нашей таблицы, которая создана из 1С в БД Clickhouse

Добавим расчетные поля, которые нам понадобятся. Скажем, очень интересно видеть динамику продаж в сравнении лет помесячно. Для этого добавим:

Поле «Месяц»;
Поле «Год»;
«День» и «День недели»;
Поле «Выручка накопительно по дням».

Сделаем чарты и соберем дашборд

Часто задаваемые вопросы

Существует ли прямой коннектор между 1С и Yandex DataLens?

Прямого коннектора между 1С и Yandex DataLens не существует.

Что такое выгрузка данных из 1С в Yandex DataLens?

Выгрузка данных из 1С в Yandex DataLens — это процесс интеграции, при котором данные из 1С передаются в облачный сервис бизнес-аналитики Yandex DataLens для последующего анализа и визуализации.

Какова цель выгрузки данных из 1С в Yandex DataLens?

Целью выгрузки данных из 1С в Yandex DataLens является создание единого аналитического пространства, где данные из разных баз 1С объединяются, и строятся интерактивные дашборды, которые невозможно реализовать внутри самой 1С.

Что делает «Экстрактор 1С» при работе с данными?

«Экстрактор 1С» настраивает выборки данных из 1С, создаёт соответствующие таблицы в базе данных, сопоставляет поля из 1С с полями в базе и автоматически выгружает данные по заданному расписанию.

Какие требования предъявляются для работы с «Экстрактором 1С»?

Для работы с «Экстрактором 1С» требуется платформа 1С версии не ниже 8.3.19, возможность подключения расширения к конфигурации 1С, наличие учётной записи с полными правами, доступ к серверу СУБД и базовые знания структуры данных используемой конфигурации 1С.

Какие шаги включает процесс интеграции 1С с Yandex DataLens через Экстрактор?

Процесс включает получение и ввод лицензионного ключа, генерацию токена доступа, создание подключения в Yandex DataLens, настройку проекта выгрузки и автоматическое выполнение выгрузки по расписанию.

Что происходит после успешной выгрузки данных из 1С в Yandex DataLens?

После успешной выгрузки данные автоматически становятся доступными в Yandex DataLens, где их можно использовать для дальнейшего анализа и визуального представления.

Какие объекты можно выгружать из 1С с помощью Экстрактора?

С помощью Экстрактора можно выгружать такие объекты, как пользователи портала, структура компании, справочники, сделки, звонки, задачи, лиды, документы, товары и другие элементы конфигурации 1С.

Как настраивается проект выгрузки данных в «Экстракторе 1С»?

Проект настраивается через интерфейс 1С: выбираются объекты (например, справочники и регистры), задаются правила выгрузки (полная или инкрементальная), а также настраиваются обработчики при необходимости.

Как работает автоматизация процесса выгрузки данных?

Автоматизация осуществляется через настройку расписания, при котором обновления передаются в Yandex DataLens автоматически, например, каждые 10 минут.

Автор: