Data Driven подход: принятие решений на основе данных

Выгрузка в Excel и CSV

Принцип эксплуатации

Для успешной выгрузки необходимо наличие в конфигурации 1С универсального отчета или другого отчета, который позволяет формировать данные по документам, справочникам и движениям регистров.

Результаты отчета можно сохранить в формате Excel или CSV, что позволяет загружать их в системы BI-аналитики или анализировать в Excel. Хотя такая выгрузка может выглядеть простой, она плохо согласуется с логикой Data Driven решений, требующей автоматизации и повторяемости. По-настоящему Data Driven подход подразумевает минимальное участие человека в цикле «данные-инсайт-действие».

Сложности с Data Driven

Основная проблема заключается в том, что отчеты формируются вручную, что требует значительных временных затрат. Каждый день необходимо выполнять рутинные операции: формировать отчет, сохранять его и загружать в BI. 

Хотя автоматизация этих процессов возможна с помощью программных роботов или программирования, каждый новый источник данных требует разработки нового отчета и автоматизации его выгрузки. Масштабируемые Data Driven решения требуют более гибких и автоматизированных подходов к извлечению данных.

В случае больших баз данных 1С с миллионами транзакций, выгрузка даже нескольких сотен тысяч строк может стать серьезной проблемой.

OData. Первый шаг к Data Driven

OData представляет собой REST API, который доступен "из коробки" для извлечения данных из 1С. Это решение упрощает доступ к данным и позволяет интегрировать 1С с другими системами, что значительно расширяет возможности анализа и использования информации.

Для Data Driven решений OData часто становится первым шагом к построению потоковых конвейеров данных. Однако сам по себе Data Driven не ограничивается выбором конкретного протокола.

Извлечение данных из 1С — это сложный, но необходимый процесс для эффективного анализа и принятия решений. Внедрение Data Driven подхода предполагает грамотный выбор инструментов извлечения, хранения и визуализации информации.

Понимание доступных механизмов и их особенностей поможет компаниям оптимизировать свои бизнес-процессы и повысить эффективность работы.

Публикация базы 1С на Web-сервере

Требования 

Для успешной публикации базы 1С на Web-сервере необходимо выполнить следующие условия:

• Размещение базы 1С на Web-сервере: Это позволит обеспечить доступ к данным из внешних источников.
• Внешний сервис: Требуется разработка программного кода, который будет отправлять запросы к OData-сервису и обрабатывать полученные ответы.

Сложности с Data Driven

Работа с OData может столкнуться с рядом трудностей:

• Обработка больших объемов: При наличии значительного объема информации потребуется система выборки данных порциями. Это может привести к необходимости передачи большого количества параметров в GET-запросе, что, в свою очередь, может превышать лимит длины URL (255 символов).
• Отслеживание изменений: Реализация системы отслеживания изменений в OData может быть неочевидной и потребует дополнительных усилий.
• Производительность 1С: Поскольку 1С не отличается высокой скоростью работы, может потребоваться сложная система для распараллеливания выгрузки данных.

В общем, для небольших баз 1С OData является вполне рабочим инструментом. Однако, с увеличением объема, работа с OData может стать значительно более сложной и затруднительной.

Web сервисы

Взаимодействие с 1С через Web-сервисы и SQL

1С предоставляет возможность взаимодействия через протоколы HTTPS, используя запросы (GET, POST, PUT и т.д.). Это позволяет вызывать методы, описанные программистом, через внешний интерфейс Web-сервера. Такой подход хорошо сочетается с принципами Data Driven, где каждое событие фиксируется и транслируется.

Требования

• Разработка специализированного кода: Необходимо создать программный код, который будет либо предоставлять готовые наборы данных, либо принимать запросы и выполнять соответствующие действия для возврата данных.
• Обработка: Для обработки данных из Web-сервиса потребуется сервис, который будет получать результаты от Web-сервиса 1С и загружать их в целевую БД.

Сложности с Data Driven

• Необходимость внешнего сервиса: Для работы с Web-сервисами 1С требуется внешний сервис или программный код, который инициирует обращения и обрабатывает полученную информацию.
• Инкрементальная выгрузка: При большом объеме данных необходимо реализовать инкрементальную выгрузку, что требует механизма отслеживания изменений в 1С.
• Безопасность: Публикация базы 1С на Web-сервере может вызвать беспокойство у сотрудников службы безопасности, так как в 1С могут храниться персональные и чувствительные данные, доступ к которым должен быть строго ограничен.

От своевременной обработки веб-сервисных вызовов зависит успешность Data Driven решений, отвечающих за оперативную отчетность.

Прямой доступ к базе SQL 1С

Прямой доступ к базе 1С — один из старейших способов получения данных, известный с версии 1С 7.7. Он заключается в подключении напрямую к физической базе MS SQL или PostgreSQL для извлечения данных. На первый взгляд, такой метод может показаться идеальным для реализации Data Driven подхода, но на практике возникает множество ограничений.

Проблемы с реализацией Data Driven

• Необходимость прямого подключения: Требуется прямое подключение к БД в СУБД MS SQL или PostgreSQL.
• Машиночитаемый формат данных: 1С хранит данные в "машиночитаемом" виде, что требует использования коннекторов для преобразования названий таблиц и полей в метаданные 1С.
• Ограниченные возможности: При этом способе извлечения информации недоступны многие функции 1С, такие как виртуальные таблицы остатков и оборотов, работа с субконто и доступ к данным "через точку".
• Лицензионные ограничения: Прямой доступ к СУБД запрещен лицензионным соглашением с 1С, что может привести к юридическим последствиям.
• Отсутствие механизмов отслеживания изменений: Нет возможности определить последние изменения в базе, что требует извлечения данных "от начала времен".
• Нагрузка на СУБД: Прямой доступ может создать неконтролируемую нагрузку на СУБД, что приводит к задержкам в работе пользователей.

Хотя прямой доступ к базе 1С SQL может показаться привлекательным, он сопряжен с множеством рисков и ограничений. 

Рекомендуется рассмотреть альтернативные методы извлечения, которые обеспечивают безопасность и соответствие лицензионным требованиям.

Инновационное решение для интеграции данных

1С Шина — это новое понятие в мире 1С-программирования, представляющее собой Enterprise Service Bus (ESB) или "Сервисную шину данных". 

Этот сервис может стать отличной альтернативой Apache Kafka в экосистеме 1С, особенно при интеграции нескольких баз 1С. 

Мы уверены, что 1С Шина должна стать вашим первым выбором для системы гарантированной доставки сообщений. В архитектуре микросервисов именно Data Driven подход стимулирует использование шины сообщений.

Data Driven позволяет масштабировать обработку транзакций горизонтально. При верной настройке 1С Шина становится сердцем Data Driven решений с гарантированной доставкой данных.

Особенности 1С Шины

• Гарантированная доставка сообщений: Обеспечивает надежную передачу информации, что важно для Data Driven-решений, где актуальность данных определяет качество аналитики.
• Встроенные механизмы интеграции: Для работы с 1С предусмотрены специальные "Сервисы интеграции".
• Снижение объема кода: Упрощает настройку выгрузки, поддерживая JDBC-драйверы для работы с СУБД.

Сложности с Data Driven

• Отсутствие no-code решений: 1С Шина в первую очередь служит транспортом для доставки сообщений, и универсальных механизмов для подготовки и отправки сообщений нет. Все это необходимо разрабатывать самостоятельно.
• Нет специализированных инструментов для отслеживания изменений: Для этого также потребуется разработка дополнительных решений.
• Промежуточное хранение сообщений: На текущий момент система требует хранения данных в Регистре сведений и фоновых заданиях для отправки сообщений в 1С Шину.

Если у Вас есть сильная команда 1С-программистов и время на разработку, 1С Шина может стать отличным решением для организации системы выгрузки, аналогично RabbitMQ или Apache Kafka, особенно при реализации Data Driven подхода.

Разработка системы выгрузки из 1С во внешние источники

Создание эффективной системы выгрузки данных из 1С во внешние базы данных — задача, которую лучше всего решают опытные программисты 1С. 

Они обладают глубокими знаниями о системе и понимают её сильные и слабые стороны. 

Если такие специалисты также имеют опыт в смежных областях, таких как БД, очереди сообщений, DWH и BI-системы, вероятность успешной разработки системы выгрузки значительно возрастает.

Однако существует одна важная проблема: программисты всегда заняты. 

Это общеизвестный факт, который хорошо описан в Теории ограничений Элияху Голдратта. 

Если перефразировать, каждый узкий специалист становится "бутылочным горлышком" в процессе принятия решений, производства или оказания услуг.

Программисты — это высококвалифицированные сотрудники, которых часто не хватает для выполнения всех задач в бэклоге. 

Программисты 1С не являются исключением, и в некоторых компаниях очередь на выполнение их работ может достигать от двух недель до полугода.

Стать программистом за короткий срок невозможно — это требует длительного обучения, постоянного развития и самоподготовки, а также определенного склада ума.

При грамотной организации команда превращает техническую интеграцию в Data Driven решения, ускоряющие оборачиваемость капитала. Тем не менее, без культуры Data Driven даже самая продвинутая ETL-цепочка теряет эффект.

Учитывая эти ограничения, мы в компании "Денвик" решили разработать Low-Code инструмент для извлечения данных из 1С. 

Этот подход позволит значительно упростить процесс работы, минимизируя необходимость в глубоком программировании и ускоряя внедрение решений.

История создания

В 2022 году был выпущен первый релиз "Экстрактор данных 1С в BI". 

Идея разработки этого инструмента возникла в результате нескольких проектов, реализованных в этом году, где наблюдался единый запрос на Data Driven-решения:

• Low-code: Пользователи хотели настраивать выгрузки самостоятельно, без необходимости привлекать программистов.
• Решение должно поддерживать любые версии 1С 8.2 и 8.3.
• Система должна обеспечивать высокую скорость работы.
• Необходимо отслеживание изменений в 1С с возможностью выгрузки только измененных данных. Отслеживание изменений - ключевая функция для Data Driven-подхода

Таким образом, целью было создать систему, которая могла бы заменить программиста 1С и предоставить простым аналитикам возможность выполнять выгрузку из 1С в удобном режиме, сохраняя при этом все преимущества, доступные программистам, такие как оптимизация кода, высокая скорость работы, выгрузка только необходимых данных и гибкость системы.

Экстрактор 1С в виде схемы

Экстрактор 1С — это интегрированное приложение для платформы 1С, представляющее собой расширение (или встройку) конфигурации 1С. Оно предоставляет пользователям реализовать полноценный Data Driven-подход:

• Выбирать объекты для выгрузки из 1С или формировать произвольные запросы и использовать их в качестве источника.
• Производить трансформацию данных, вычисляя дополнительные поля и модифицируя выгружаемые данные с помощью функций платформы 1С.
• Создавать и изменять таблицы-приемники в системах управления базами данных (СУБД) или темах Apache Kafka, сопоставляя поля и их типы, а также настраивать структуру таблиц, индексы и ключи.
• Настраивать отслеживание изменений для выгружаемых объектов 1С. Автоматизированное отслеживание изменений - основа Data Driven-аналитики
• Устанавливать выгрузку этих объектов по расписанию в СУБД или очередь, с возможностью настройки интервала от одного дня до одной секунды.

Источники для Экстрактора 1С

• Объекты 1С или их комбинации, связанные в рамках факт-измерений.
• Произвольные запросы 1С, включая временные и виртуальные таблицы.
• Программные обработчики, где в качестве источника служит код 1С.
• CSV-файлы с доступом через сетевой ресурс для сервиса “Сервер 1С”.
• Excel-файлы с аналогичным доступом.

Системы управления БД (приемники)

• Clickhouse (как на серверах заказчика, так и в облачных Managed-установках Yandex, VK и других).
• PostgreSQL (доступ через ADODB (ODBC) или http-сервис “db-proxy-service” для 1С на Linux).
• Microsoft SQL Server (версии 2008 и выше) с одинаковыми способами доступа.
• Очередь сообщений Apache Kafka, поддерживающая выгрузку через компоненту Confluent (REST API), с автоматическим созданием схемы и тем.
• Для высоконагруженных баз в Экстракторе 1С предусмотрен дополнительный сервис http_redis, который позволяет хранить "очередь изменений 1С" во внешней БД, такой как Redis (аналог PicoData) или Apache Ignite (аналог DataGrid).

Ключевые особенности

• Режим самообслуживания: пользователям доступна возможность работы без привлечения программистов.
• Простота выбора и настройки объектов 1С для выгрузки.
• Автоматизация создания и модификации таблиц-приемников.
• Полностью автоматизированное отслеживание изменений.
• Удобные инструменты для трансформации данных и формирования моделей выгрузки на основе фактов и измерений.
• Высокая скорость выгрузки благодаря параллельной обработке потоков.
• Оптимизированный код Экстрактора 1С обеспечивает быструю регистрацию изменений данных