Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Обзор от компании «Белый код»

В рамках серии обзоров BI-платформ и инструментов аналитики наши партнеры регулярно сталкивались с одной и той же задачей — получением данных из 1С.

Для большинства российских компаний 1С является основным источником корпоративных данных. Именно в этой системе хранятся сведения о продажах, финансах, закупках, складах, производстве, персонале и других ключевых бизнес-процессах. Поэтому практически любой проект по аналитике, BI или построению хранилища данных начинается с вопроса: как быстро, безопасно и без лишних затрат получить данные из 1С?

Традиционный подход обычно предполагает привлечение 1С-разработчика для создания специализированных выгрузок. Однако такой путь связан с дополнительными расходами, увеличением сроков проекта и зависимостью от конкретных специалистов. Более того, при появлении новых аналитических требований или изменении структуры отчетности цикл разработки приходится повторять снова.

Именно поэтому Экстрактор 1С оказался в центре внимания серии материалов о BI. Продукт решает одну из наиболее важных задач аналитического контура — обеспечивает быстрый и удобный доступ к данным 1С.

Материал подготовлен на основе независимого аналитического обзора, выполненного при участии Андрея Рыжика, BI-разработчика компании «Белый код». Его экспертная оценка и практический опыт работы с BI-проектами легли в основу данного исследования.

Экстрактор 1С позволяет подключаться к информационным базам без разработки индивидуальных выгрузок и получать необходимые данные для последующей загрузки в любые аналитические платформы, хранилища данных и системы обработки информации. Среди популярных сценариев использования — интеграция с PIX BI, Visiology, AW BI, Loginom, DataLens, ClickHouse, различными СУБД и другими решениями для аналитики и управления данными.

Фактически Экстрактор 1С закрывает один из самых сложных и затратных этапов BI-проектов — организацию надежного канала передачи данных из 1С в аналитическую инфраструктуру компании. Именно поэтому продукт неоднократно упоминался в предыдущих обзорах и заслуженно стал темой отдельного материала.

Экстрактор 1С включён в реестр российского программного обеспечения (реестровая запись №25219 от 02.12.2024), а само решение получило рекомендации к внедрению по итогам экспертного «BI-круга Громова», объединившего ведущих специалистов российского рынка аналитики данных.

Экспертиза не ограничивается разработкой программного продукта. Мы реализуем комплексные проекты по внедрению BI-платформ, включая Yandex DataLens, PIX BI и Visiology, создаём корпоративные хранилища данных (DWH), а также предоставляем услуги технического аккаунт-менеджмента (ТАМ). 

Прежде чем углубляться в экстрактор, важно понять общую картину. «Денвик» – это не один продукт, а экосистема из нескольких компонентов, каждый из которых сейчас продаётся и лицензируется отдельно.


Прежде чем углубляться в экстрактор, важно понять общую картину. 
«Денвик Аналитика» – это не один продукт, а экосистема из нескольких компонентов, каждый из которых сейчас продаётся и лицензируется отдельно.

Экстрактор 1С – ключевой продукт. Расширение, которое встраивается непосредственно в базу 1С клиента. Извлекает данные из 1С и выгружает их в СУБД-приёмники (ClickHouse, PostgreSQL, MS SQL, MySQL) или в очереди сообщений (Kafka, ActiveMQ, 1С Шина).

DVT (Denvic Visual Transformer) – визуальный ETL-инструмент. Веб-сервис, разворачивается в Docker-контейнере. Позволяет строить пайплайны трансформации данных в графическом интерфейсе – подключаться к СУБД, API, файлам, преобразовывать данные и загружать результат обратно в хранилище. А также имеет готовые ноды к Битрикс24 (для облака и коробки) и Yandex Metrica Logs.

Инжектор – компонент для обратной загрузки данных из SQL-баз и Kafka в 1С. По сути, обратная операция относительно экстрактора.

Denvic Control Center (DCC) – центр управления. REST API, мониторинг, логирование, развёртывание, оркестрация. Через него можно запускать проекты экстрактора, коннектора и инжектора по расписанию или по триггеру из DVT.

Каждый компонент имеет собственный интерфейс. 

По словам Степана Пыстина (Технический директор компании Денвик Аналитика), компания движется к объединению всех интерфейсов под единый UI – это будет продукт Denvic Tools. При этом каждое приложение по-прежнему будет устанавливаться отдельно, но работа будет осуществляться из единого веб-интерфейса.

Экстрактор 1С: подробный разбор

Установка

Экстрактор устанавливается в информационную базу 1С в виде расширения. 

Процесс выполняется через внешнюю обработку и максимально приближен к стандартному механизму обновления конфигураций 1С. 

Во время установки система автоматически определяет версию платформы и режим совместимости, после чего загружает из облачного хранилища подходящую сборку и выполняет её установку. 

Полный процесс внедрения обычно занимает около трёх минут и не требует сложной настройки со стороны пользователя.

Поддерживаются платформы 1С версий 8.2, 8.3 и 8.5 – то есть покрывается подавляющее большинство версий 1С у клиентов. Экстрактор работает с любыми конфигурациями 1С: «Бухгалтерия», «Управление торговлей», «ERP», «УПП» и любые кастомные конфигурации.

 Важный момент: экстрактор живёт внутри базы 1С, это не внешнее приложение. Он появляется в интерфейсе 1С как отдельная подсистема, и пользователь работает с ним из привычной среды.

Для кого предназначен

На встрече были чётко обозначены четыре целевые аудитории:

BI-аналитик / аналитик данных – основной пользователь. Тот, кто обычно зависит от 1С-программиста и ждёт, пока ему подготовят выгрузку. С экстрактором аналитик может самостоятельно извлекать нужные данные в режиме self-service / low-code.

Программист 1С – экстрактор снимает с него рутину по написанию выгрузок. Вместо того чтобы с утра до вечера писать запросы на выгрузку, разработчик может отдать эту работу аналитику или сделать её за минуты с помощью экстрактора и заниматься более интересными задачами.

ИТ-директор – оптимизация ресурсов. Вместо того чтобы держать нескольких разработчиков для поддержки выгрузок, можно посадить одного джуна или вообще отдать задачу менее квалифицированному специалисту (в контексте 1С).

Бизнес-руководитель – снижение стоимости владения интеграцией. Интеграция легко поддерживается после внедрения, стоимость самого внедрения ниже, масштабируемость выше.

Режимы работы

У экстрактора четыре режима работы – от простейшего до инструмента для разработчика.

Режим «Объект» – самый простой, для пользователей без навыков программирования. 

Экстрактор считывает метаданные базы 1С и показывает дерево всех объектов конфигурации: документы, справочники, регистры, табличные части, дополнительные реквизиты. 

Пользователь выбирает нужный объект (например, «Реализация товаров и услуг»), галочками отмечает нужные атрибуты – и готово. 

На демонстрации, было показано действие: выбрали объект, проставили галочки, запустили – данные ушли в хранилище. Пользователь, который работает в 1С и знает, с какими объектами он имеет дело (например, руководитель отдела продаж знает, что его данные живут в документах реализации), способен настроить выгрузку буквально в три клика.

Отдельная приятная деталь – навигация по ссылкам. 
Внутри 1С всё связано ссылками: документ ссылается на контрагента, контрагент – на менеджера и т. д. 
В экстракторе можно «пройтись по ссылочке» и достать атрибуты связанных сущностей, обогатив набор данных. 
А если нужна нормализованная структура – выгружаете справочники (контрагенты, менеджеры, склады) отдельными проектами, а факты (продажи) – отдельно, и строите модель данных уже в хранилище или в BI.

Режим «Запрос» – позволяет писать произвольные запросы на языке запросов 1С. По словам вендора, этот режим предназначен для случаев, когда в 1С есть сложные отчёты, которые за пределами 1С воспроизводить долго и дорого. Тогда проще забрать результат готового запроса. С точки зрения архитектуры данных это не лучшая практика (любой архитектор скажет, что готовить данные на этапе выгрузки – неправильно), но разработчик честно признал: бывает так, что это оптимальный путь, и режим успешно используется клиентами.

Режим «Обработчик» – программный источник для разработчика 1С. Позволяет выгружать вообще всё что угодно, включая результаты сложных отчётов с постобработкой (запрос + программная обработка на языке 1С: циклы, переменные, условия). Это инструмент для нестандартных случаев.

Excel / CSV – бонусная возможность для базовых сценариев СМБ – когда нужно быстро загрузить Excel в БД без разворачивания полноценного ETL. Режим простой: указываете путь к файлу (можно использовать маску для нескольких файлов), и данные уходят в базу

Механика работы: подписки, очереди, многопоточность

Под капотом экстрактора – три ключевых механизма, которые обеспечивают скорость и снижают нагрузку на 1С.

Подписки на события. Экстрактор отслеживает изменения объектов внутри 1С благодаря подпискам на события. Создали документ, изменили, удалили – экстрактор это видит и фиксирует.

Очередь изменений. Зафиксированные изменения накапливаются в очереди. Это позволяет работать инкрементально: не перевыгружать весь массив данных, а отправлять в хранилище только то, что изменилось.

Многопоточная выгрузка. Данные выгружаются в несколько потоков параллельно. Количество потоков не ограничивается экстрактором – ограничение может идти от лицензии 1С (корпоративная лицензия не имеет ограничений по числу фоновых заданий, профессиональная – до 12 потоков).

Вносим изменения в документ:

Проверяем, что документ, который мы изменили, попал в очередь выгрузки: 



Проверяем, что в БД выгрузились строки обновленного документа:



На демо нам показали полный цикл. Разработчик изменил один документ «Реализация товаров и услуг» в тестовой базе. Экстрактор мгновенно зафиксировал изменение, записал его в очередь. 
После запуска проекта – две строки обновлённого документа появились в хранилище. Без полной перевыгрузки, без нагрузки на базу.

Сегментация данных

Это одна из ключевых настроек, влияющих на производительность. Идея в том, чтобы не пытаться «проглотить слона» целиком, а разделить его на маленькие части и грузить параллельно.

Правила сегментации гибкие: можно нарезать данные по дням, часам, месяцам, кварталам, годам, а также по бизнес-измерениям – организация, менеджер, договор, ссылка на документ или справочник. Можно комбинировать: например, по дням и внутри дня – по менеджерам.

Важная деталь: для первоначальной выгрузки и для регулярного обновления можно задать разные размеры сегментов. Например, при инициализации грузим помесячно (крупные куски – меньше вставок в СУБД, что продуктивнее), а для регулярных обновлений – по каждому изменённому документу (мелкие куски, но их мало).



Режим по умолчанию

Расширенный режим

Дополнительные возможности экстрактора

Вычисляемые поля – можно обогатить набор данных произвольными вычислениями. Например, поставить метку времени выгрузки каждого батча и вывести её на дашборд, чтобы понимать, когда последний раз данные были обновлены и актуален ли дашборд.

Аудиторский след – можно фиксировать, кто, когда и что менял в 1С. Полезно для версионирования данных в хранилище.

Автомаппинг и автоматическое создание таблиц — Экстрактор самостоятельно определяет соответствие между типами данных в 1С и целевой СУБД, после чего автоматически формирует необходимые таблицы в базе-приёмнике. Это избавляет от необходимости вручную разрабатывать DDL-скрипты и ускоряет запуск интеграции.

Экспорт и импорт проектов — Настроенные проекты выгрузки можно сохранять в виде шаблонов и использовать повторно для других клиентов с аналогичными или схожими конфигурациями 1С. При работе через центр управления (DCC) процесс переноса и тиражирования настроек максимально автоматизирован, что значительно упрощает масштабирование готовых решений.

Работа по расписанию - проекты могут выполняться по расписанию с минимальным интервалом всего в 1 секунду. Помимо автоматического запуска, предусмотрен ручной старт через интерфейс, а также возможность инициировать выполнение через REST API из DVT или любых внешних информационных систем.

Многопоточная выгрузка (демо)

Кириллица в именах полей

Мы задали вопрос: можно ли, чтобы поля в таблицах хранилища загружались с русскими названиями? Можно, но есть нюанс: в ClickHouse стоит ограничение на суммарную длину пути (от корневой папки до имени файла) плюс имя поля. Кириллица «весит» 3–4 байта на символ (против 1–2 у латиницы), поэтому при длинных кириллических именах можно упереться в лимит. Для PostgreSQL и MS SQL предпочтительны именования таблиц и полей на латинице.

DVT (Denvic Visual Transformer)

После того как данные попали в хранилище, их часто нужно трансформировать: очистить, обогатить, построить витрины. Для этого в экосистеме «Денвик» есть DVT – визуальный ETL-инструмент.

DVT – это веб-сервис, который разворачивается в отдельном Docker-контейнерах. Пользователь работает через браузер.

Визуальный граф

Трансформация строится как визуальный граф (пайплайн), состоящий из кубиков. Каждый кубик – отдельная операция: подключение к источнику, чтение данных, фильтрация, группировка, джойн, вычисление, запись в приёмник. Кубики соединяются стрелками, формируя последовательность обработки.

На демо показали один из рабочих проектов: подключение к REST API внешней платформы, парсинг JSON-ответа в табличный вид, серия трансформаций и запись результата в базу данных. На каждом шаге можно посмотреть промежуточные данные – нажимаем кнопку и видим датафрейм, который прошёл через этот кубик.

Набор кубиков (нод_)

Источники данных – REST API (HTTP-запросы), подключения к базам данных (PostgreSQL, MS SQL, MySQL, ClickHouse), файловое хранилище S3 (Parquet, Excel, CSV).

Трансформации данных — Экстрактор предоставляет широкий набор инструментов для подготовки данных: выбор и фильтрацию колонок, группировки, объединение таблиц (JOIN), операции Pivot и Unpivot, обработку данных с помощью регулярных выражений, переименование полей, разделение одной колонки на несколько, преобразование типов данных, работу с датами и временными зонами. 
Также доступны очистка данных, удаление пустых строк и исключение ненужных колонок перед загрузкой в целевую систему.

Пользовательский код — Если стандартных инструментов обработки недостаточно, в конвейер можно добавить блок с произвольным Python-кодом. Данные внутри DVT представлены в виде датафреймов, поэтому Python-блок получает на вход таблицу данных, выполняет необходимую логику обработки и возвращает результат в том же формате.

Запись результатов — После обработки данные можно сохранить в различные целевые системы: загрузить обратно в базу данных или выгрузить в файлы популярных форматов, включая CSV, Excel и Parquet.

Все кубики под капотом написаны на Python. Если какого-то готового кубика нет, можно написать свой.

Подмодели

На момент написания статьи (март 2026) в DVT появился функционал “расширений”:

– Битрикс24;

– Яндекс.Метрика;

Данные кубики являются специально организованными моделями данных для Битрикс24 и Яндекс Метрика, в которых заложена вся механика работы с данными интернет-сервисами, включая таймауты, особенности чтения данных и прочее.

Подмодели

На момент написания статьи (март 2026) в DVT уже появились субграфы (свёртывание части графа в подмодель). Выделяете группу кубиков, сворачиваете в один блок, а потом при необходимости проваливаетесь внутрь. Это упрощает чтение сложных пайплайнов и делает их поддержку проще. На момент нашей встречи функция была в разработке.

Расписание

DVT поддерживает запуск проектов по расписанию. Также через центр управления (DCC*) можно выстроить цепочку: сначала запускается экстрактор (забирает данные из 1С), затем DVT (трансформирует их в витрину), результат доступен для BI-системы. Таким образом в качестве внешнего оркестратора исполнения проектов в цепочке Экстрактор 1С - DVT - Инжектор 1С - можно использовать любой инструмент, принятый в вашей компании, от cron или PowerShell до Apache AirFlow.

(* доступно в Enterprise версии)

Приёмники данных

Экстрактор поддерживает выгрузку в следующие приёмники:

• Реляционные СУБД – ClickHouse, PostgreSQL, MS SQL, MySQL.

• Очереди сообщений – Kafka и любые брокеры, поддерживающие протокол AMQP (RabbitMQ, ActiveMQ и др.).

• Нативные интеграции с BI-вендорами – Yandex DataLens, FastBoard, Visiology. Для Visiology существует отдельная совместная сборка: когда Visiology продаёт свою BI-платформу клиенту с 1С, они предлагают встроенный коннектор, который является продуктом «Денвик».

• Datareon – поддержка для клиентов, использующих эту интеграционную платформу.

Безопасность и совместимость

Экстрактор передаёт данные в зашифрованном виде. Работает полностью локально, без подключения к интернету, что критично для компаний с закрытым контуром. Разграничение прав доступа реализовано на уровне объектов экстрактора по ролям (то есть можно ограничить, кто из пользователей какие проекты выгрузки видит и может запускать). На уровне самих данных ограничений нет – разграничение доступа к данным обеспечивается платформой 1С.

Экстрактор используется в государственных компаниях, розничных сетях, строительных компаниях, агрохолдингах, финтехе, на производственных предприятиях.

По конфигурациям 1С ограничений нет – работает с любыми, включая кастомные.

Лицензирование и стоимость

Лицензии бессрочные – купили один раз и пользуетесь. В первый год включены обновления и техническая поддержка. Далее поддержка и обновления продлеваются отдельно; если не продлевать – продукт продолжает работать, но без обновлений.

Стоимость – по запросу. Вендор предпочитает индивидуальный расчёт, поскольку цены индексируются и зависят от масштаба клиента, количества баз 1С и количества пользователей.

Что известно о структуре лицензирования:

Экстрактор 1С – лицензируется по количеству подключённых баз 1С. Есть несколько уровней: на одну базу, на четыре базы, индивидуальные условия для крупных клиентов.

DVT (Denvic Visual Transformer) – лицензируется по количеству воркеров (фоновых процессов, исполняющих пайплайны).

Сборка Enterprise (с Центром управления) – комплексная лицензия для крупных внедрений.

Каждый продукт экосистемы продаётся и лицензируется отдельно. В перспективе планируется единый продукт Denvic Tools с комплексной лицензией.

Целевая аудитория по масштабу – компании с оборотом от 1 млрд рублей. Ранее в компании рассматривали клиентов от 200 млн, но с ними экономика проекта не складывается – берут минимальные лицензии, и трудозатраты на поддержку не окупаются.

Заключение

Что понравилось

• Простота установки и начала работы – расширение устанавливается за 3 минуты через инсталлятор, работает в привычном интерфейсе 1С. Не нужно разворачивать отдельную инфраструктуру.

• Режим «Объект» для не-программистов – выбрал объект, проставил галочки, запустил. Для базовых сценариев выгрузки не нужен ни 1С-разработчик, ни знание SQL.

• Инкрементальная загрузка через подписки – экстрактор отслеживает изменения в 1С и выгружает только то, что изменилось. Минимальная нагрузка на базу 1С.

• Гибкая сегментация – данные можно нарезать по времени, по организациям, по менеджерам и комбинировать правила. Разные размеры сегментов для инициализации и регулярных обновлений.

• Многопоточность – параллельная выгрузка в несколько потоков, до 10 000 строк в секунду по заявлению вендора.

• DVT как визуальный ETL – полноценный инструмент трансформации с веб-интерфейсом, графом кубиков, возможностью писать Python-код. Закрывает потребность в подготовке данных для BI-витрин.

• Экспорт/импорт проектов – можно тиражировать настройки между клиентами с похожими конфигурациями 1С.

• Нативные интеграции с BI-вендорами – DataLens, FastBoard, Visiology. Не нужно ничего «допиливать», коннектор идёт из коробки.

• Бессрочные лицензии – купили и пользуетесь, без ежегодных платежей за само ПО.

• Честность вендора – на встрече разработчик прямо говорил об ограничениях: какие функции не развивают, где архитектурно «не идеально», какой минимальный масштаб клиента имеет смысл.

Что вызвало вопросы

• Разрозненность экосистемы –  каждый компонент - самостоятельный инструмент со своим интерфейсом. Это даёт гибкость (можно купить только то, что нужно), но требует привыкания к нескольким UI. Вендор движется к объединению интерфейсов под Denvic Tools.

• Целевая аудитория – от 500 млн оборота  – вендор ориентирован на клиентов с оборотом от 500 млн. Для компаний меньшего масштаба связка "экстрактор + DVT" может оказаться за пределами типового СМБ-бюджета – но думаю, стоит запросить расчет под конкретный кейс, хотя есть специальный набор mini-лицензий для малого бизнеса.

• Стоимость Enterprise-сборки – в рамках бюджета 1,5 млн рублей на весь BI-проект (лицензии + внедрение) Enterprise-вариант с центром управления, скорее всего, не укладывается. Однако базовая лицензия на экстрактор вполне вписывается и оставляет бюджет на BI-систему и внедрение.

• Цены подвижны – вендор прямо сказал, что цены индексируются, и конкретные суммы могут измениться через полгода. Для точного расчёта нужно обращаться в отдел продаж.