Как построить аналитику данных 1С: встроенные отчеты, excel-таблицы, напрямую через Odata или в Yandex Datalens

Следующее, что приходит в голову при работе с 1С – это сохранение отчета 1С в файл CSV/Excel, с последующей загрузкой его в Google sheets/Файлы Datalens.

Это скорее, история про «быстро скрутить красивый дашборд» по данным отчета:

Понятно, что отчет надо в 1С:

В плане BI - аналитики, для последующего анализа Excel-файлов намного удобнее – MS Excel.

Опять же, чтобы выгрузить достаточно подробные данные в файлы (ну или в базу данных) из 1С, нужны:

1. Часто Программист (не всегда хватает типовых отчетов 1С);
2. Время на разработку.

Выгрузки в файлы можно автоматизировать, поставить на выгрузку по расписанию, дописать загрузку данных из нужного отчета сразу в базу данных. Но это все – история опять про программиста, а не про пользователя-аналитика.

Однако, такой подход может быть первым этапом для тестирования и апробации Yandex DataLens на реальных данных из вашего 1С.

Если вы чувствуете себя программистом, ну или готовы его нанять, то есть еще один способ получить данные напрямую из 1С – это получение данных по протоколу OData (Open Data Protocol).

Для работы с данными требуется:

1. Публикация базы 1С на web-сервере (подходит и для файлового и клиент-серверного режима работы);
2. Некий набор скриптов (Python, PHP etc.), чтобы преобразовать данные из получаемого формата «XML» / «JSON» в структуру таблиц базы данных.

Доступ вы получаете к тем объектам базы 1С, на которые дано разрешение для работы с OData.

Из плюсов:

1. Данный способ добычи данных разрешен лицензионным соглашением 1С;
2. Метод достаточно универсален.

Из минусов:

1. Медленно, есть ограничения по извлечению данных по объему;
2. Работает периодически нестабильно (метод не предназначен для извлечения больших объемов данных);
3. Требуется конвертации данных из XML/JSON в данные БД.

Замечание:

Технология OData популярна для извлечения «по быстрому» из 1С для последующего использования в Power BI, который нативно поддерживает загрузку данных из Интернет в свою встроенную базу данных.

Yandex DataLens не поддерживает работу с OData напрямую, однако используя , например, Yandex Cloud Function можно реализовать скрипт для регулярного экспорта данных в облачный Clickhouse и визуализировать. Но без разработчика здесь не обойтись.

Прямой доступ к базе данных 1С

Если вспомнить на технологию работы 1С в клиент-серверном варианте (картинка взята с официального сайта 1С):

Как видим, основой работы является Сервер базы данных, причем наиболее популярными являются СУБД:

1. Microsoft SQL Server;
2. PostgreSQL.

Сразу же возникает резонный вопрос: «А можно ли обратиться к данным 1С напрямую, минуя 1С-сервер и его объектную модель?» Ответ приходит: «Да можно, но сложно».

В чем сложность? (опустим пока вопрос лицензионной чистоты такого обращения к данным, мы же практики, а не юристы).

Приведу пример того, как выглядят данные справочника Номенклатуры изнутри в базе 1С

Обратите внимание:

1. На наименование таблицы - _Reference266X1
2. На наименование полей:

Fld7692RRef – это ссылка на справочник Единиц измерения;

_Fld7689RRef – а это ссылка на справочник Видов номенклатуры.

Т.е напрямую читать данные из базы 1С в MS SQL Server/PostgreSQL крайне сложно.

Мы не рекомендуем подключаться из Yandex DataLens напрямую к БД 1С.

Есть специализированные сервисы и разработки, которые позволяют «перевести» эти «машинные» таблицы в «человекочитаемый» вид, через создание View (именованных представлений) к физическим таблицам БД:

1. ATK BiView
2. Коннектор 1С для выгрузки данных в Power[1] [2]

Таким образом, используя данные инструменты, вы, минуя 1С, сможете обращаться напрямую к таблицам в базе данных SQL.

В примере с «Коннектором 1С» таблица выше будет выглядеть вот так:

Т.е. все поля, да и имя самой таблицы «переведены» «на русский».

Тем не менее, даже получив доступ к непосредственно таблицам 1С, мы не решаем следующие проблемы:

1. Все таблицы надо правильно соединить (join) между собой, чтобы получить ту самую «плоскую» таблицу для Yandex Datalens;
2. Открывать доступ к базе данных 1С снаружи из интернет явно небезопасно;
3. Вся нагрузка исполнения запросов из Yandex Datalens ложится на СУБД, с которой работает 1С («оперативная» или «отчетная» база).

Получается, что опять необходимы:

1. Аналитическая база (желательно в облаке Yandex и желательно ClickHouse);
2. Скрипты, для доставки данных из View (представлений) в аналитическую базу.

Экстрактор данных 1С -> BI

Если смотреть на идеологию работы с Yandex Datalens, то верной схемой является классическая схема построения BI-систем, когда:

Такая “Система” реализована в нашем продукте “Экстрактор данных 1С -> BI”.

“Экстрактор данных 1С -> BI”:

Результатом является:

1. Постоянно обновляемая из 1С База данных Clickhouse;
2. Возможность комфортно работать с данными 1С в среде Yandex Datalens.

Резюме