Как превратить 1С в надежный источник данных для корпоративного DWH

Чтобы 1С как источник данных для DWH стала надежной основой аналитики, одного подключения к учетной системе недостаточно. Информацию извлекают, передают во внешний контур, сохраняют и готовят для отчетов. В статье разберем всю цепочку: от выбора объектов 1С до витрин и BI-дашбордов. 

Почему 1С становится одним из ключевых источников корпоративной аналитики

Когда сведения о продажах, финансах и клиентах хранятся в разных системах, отчетность приходится собирать вручную. Из-за этого показатели обновляются с задержкой, версии отчетов расходятся, а руководители не видят полной картины бизнеса.

В 1С отражается значительная часть финансовой и хозяйственной деятельности компании. 

Система хранит сведения, которые входят в управленческую отчетность:

• продажи и закупки;
• остатки на складах;
• оплаты и движение денег;
• взаиморасчеты с клиентами и поставщиками;
• номенклатуру и контрагентов;
• документы и хозяйственные операции.

Однако 1С показывает преимущественно учетную часть бизнес-процессов. 
В системе остается факт продажи, оплаты или отгрузки, но не весь путь, который привел к результату. 
Например, 1С фиксирует продажу товара, а источник обращения, рекламная кампания и этапы сделки хранятся в CRM, на сайте и в маркетинговых сервисах.

Корпоративный DWH объединяет эти сведения в единой структуре. Руководители получают целостную картину по финансам, продажам, складу, маркетингу и операционным процессам.

Какие данные из 1С нужны корпоративному DWH

В хранилище передают не готовые отчеты, а исходные сущности для расчета показателей:

• справочники — номенклатуру, контрагентов, склады и организации;
• документы — продажи, закупки, заказы, оплаты и перемещения;
• регистры и движения — остатки, цены, обороты и взаиморасчеты;
• финансовые объекты — проводки, планы счетов и хозяйственные операции;
• нетиповые объекты — дополнительные реквизиты и доработки конфигурации.

Набор объектов зависит от будущих отчетов. Сначала определяют показатели, которые войдут в аналитику, а затем находят связанные с ними сущности 1С. Так для отчета по запасам потребуются номенклатура, склады, документы поступления и перемещения, а также движения регистров. Для анализа взаиморасчетов — контрагенты, договоры, оплаты и задолженность.

Передавать всю базу без понятной цели невыгодно: растут объем обработки и нагрузка на источник. При этом выбранные объекты нельзя воспринимать как обычные таблицы. Их структура и связи подчиняются логике 1С.

В чем сложность работы с 1С 

Почему данные из 1С сложнее обычных таблиц 

1С нельзя воспринимать как набор таблиц «товары», «клиенты» и «заказы». Одно хозяйственное событие распределяется между документом, справочниками, регистрами и движениями. Поэтому для расчета показателя часто недостаточно выгрузить один объект.

На результат влияют особенности системы:

• движения регистров показывают изменение остатков, оборотов и взаиморасчетов;
• перепроведение документов обновляет ранее записанные показатели;
• пометка на удаление не означает физическое удаление объекта из базы;
• ссылки между сущностями связывают документы со складами, товарами и контрагентами;
• нетиповые реквизиты зависят от доработок конкретной конфигурации.

Документ фиксирует продажу, а движения отражают списание товара со склада и появление задолженности клиента. После перепроведения сумма, количество или связанные движения изменятся. Если передать только документ или пропустить его последующие изменения, DWH технически заполнится, но показатели начнут расходиться с 1С. Поэтому механизм выгрузки учитывает не только структуру объектов, но и связи между ними.

Почему прямое подключение и Excel не подходят для DWH

Для получения сведений из 1С часто используют прямое чтение SQL-базы (базы данных, в которой система физически хранит информацию) и ручные Excel-выгрузки. Оба способа подходят для отдельных задач, но имеют разные ограничения при регулярном обновлении DWH. 

1. Прямое подключение к SQL-базе 1С. 
При таком подходе аналитическая система обращается напрямую к рабочей SQL-базе 1С. Это создает риски для производительности, безопасности и корректной интерпретации данных. Например, прямой доступ к таблицам не дает готовой логики для работы со срезами последних, сложными справочниками, проводками и планами счетов. 

2. Ручные Excel-выгрузки. 
Здесь результат зависит от сотрудника. Ошибка в периоде, фильтре или структуре файла переходит в отчет. Формат также меняется от выгрузки к выгрузке, а исправления прошлых периодов не фиксируются автоматически. В результате появляются разные версии файлов, а причины расхождений ищут уже после публикации отчета.

Прямое подключение и ручные выгрузки не обеспечивают стабильный формат, регулярность и контроль передачи. Поэтому между 1С и DWH выделяют отдельный слой доставки.

Как устроена передача данных из 1С в DWH

Чтобы данные из 1С дошли до BI-отчета без потерь, процесс разделяют на несколько этапов: 



Каждый слой отвечает за отдельную часть работы — от получения исходных сведений до их визуализации:

Извлечение. 
Слой доставки получает выбранные объекты из 1С и передает их во внешний аналитический контур.

Сохранение. 
ODS, или промежуточный слой данных, хранит исходные записи без изменений. Это упрощает сверку с 1С и повторную обработку.

Подготовка. 
ETL / ELT очищает информацию, сопоставляет справочники и объединяет разные источники.

Хранение. 
DWH содержит общую модель, а витрины — показатели для конкретных отчетов.

Визуализация. 
BI-система показывает готовые метрики на дашбордах.

Так учетная работа остается в 1С, а хранение, обработка и аналитика переходят во внешний контур. Частота обновления зависит от режима выгрузки.

Как обновлять данные из 1С в DWH: полная и инкрементальная выгрузка

Режим обновления зависит от объема и частоты передачи:

Полная выгрузка. 
Система передает выбранный массив целиком. Такой режим подходит для первичного наполнения DWH, разовой задачи или небольшого объема. Регулярное чтение крупной базы увеличивает нагрузку на 1С и замедляет обновление.

Инкрементальная выгрузка. 
При корректной настройке в хранилище поступают  только новые и измененные записи. 

При этом процесс учитывает изменения задним числом:

• новые документы и справочники;
• перепроведение документов;
• исправления прошлых периодов;
• пометки на удаление;
• пересчитанные движения регистров.
  
  

Дата документа показывает период операции, а дата изменения — момент последней правки. Например, продажа относится к марту, но сумму исправили в июне. Новое значение включают в очередное обновление. После перепроведения в актуальном слое остаются новые движения. Старые записи больше не участвуют в расчетах. При необходимости DWH отдельно сохраняет историю версий.

Такой подход предотвращает рассинхронизацию данных между 1С и BI. Однако успешная доставка еще не подтверждает корректность исходной информации.

Как контролировать выгрузку и качество данных

Технически успешная выгрузка подтверждает доставку, но не корректность исходной информации. В связи с этим необходимо контролировать всю выгрузку. 

Сделать это можно двумя способами:

1. Контроль доставки. 

На этапе настройки и приемки сверяют:

• количество переданных записей;
• даты и периоды;
• суммы, остатки и обороты;
• пропуски и повторные строки;
• связи между документами и справочниками.

После запуска отслеживают статусы, объем передачи и ошибки. Если часть записей не дошла до хранилища, их отправляют повторно.

2. Контроль исходных данных. 

Сверка данных между 1С и DWH включает:

• суммы, остатки и обороты;
• дубли и пустые ключи;
• связи между документами и справочниками;
• несопоставленные товары и контрагентов;
• изменения после обновления.

Неверный контрагент, дубль товара или пустой реквизит переходят в DWH из учетной системы. Такие ошибки исправляют в 1С либо на этапе ETL после загрузки в ODS. Правки во время извлечения затрудняют сверку с первоисточником. Поэтому сырой слой сохраняет исходные записи, а очистка проходит на следующих этапах.

В регулярном процессе контроль встраивают в управляемый механизм доставки. Это снижает зависимость от ручных проверок и отдельных разработчиков.

Когда компании нужен готовый инструмент для выгрузки данных из 1С

Самописная выгрузка подходит компаниям с командой разработчиков и ресурсами на поддержку. Без этого решение постепенно превращается в «черный ящик», устройство которого знает один специалист.

Готовый инструмент используют, когда:

• информация обновляется регулярно;
• источниками служат несколько баз 1С;
• объем исключает постоянную полную загрузку;
• важен учет изменений прошлых периодов;
• требуются логи и повторная передача после сбоя;
• SQL-базу нельзя открывать внешним системам.

Стабильный слой доставки создают с помощью специализированного инструмента, например, Экстрактора 1С. Он извлекает информацию из учетной системы и передает ее во внешнюю базу или ODS-слой. 

Экстрактор позволяет:

• извлекает выбранные объекты 1С;
• фиксирует новые и измененные записи;
• передает их во внешний аналитический контур;
• учитывает перепроведение и правки прошлых периодов;
• поддерживает повтор после сбоя;
• сохраняет сведения о результате обмена.

Экстрактор помогает отказаться от ручных файлов и снижает зависимость от самописных механизмов. Это ETL-инструмент с фокусом на извлечение и доставку информации из 1С. Очистка, объединение источников и формирование витрин проходят на следующих этапах.

Что происходит после доставки данных

После выгрузки информацию очищают, связывают и приводят к единой модели. ETL / ELT устраняет дубли, сопоставляет справочники и объединяет сведения из 1С, CRM и других источников. Например, один товар в разных системах записан под разными названиями. На этапе трансформации записи связывают с единым объектом, чтобы продажи и остатки рассчитывались корректно.

Для такой обработки используют ETL-инструменты — такие как DVT. 

Он позволяет настроить объединение источников, преобразование данных и подготовку витрин для отдельных задач:

• продаж;
• остатков;
• взаиморасчетов;
• финансовых показателей.

После подготовки витрины передают в BI-систему — Yandex DataLens подключается к рассчитанным показателям и превращает их в отчеты и дашборды.
BI лучше подключать к готовым витринам, а не к сырым данным. Иначе очистка и расчеты переходят в отдельные отчеты, а одинаковые показатели начинают расходиться.