Выгрузка данных из 1С в bi системы с помощью Экстрактора данных от Денвик

Назначение продукта

"Экстрактор данных 1С 8.3 в BI" используется для автоматизации работы по выгрузке данных для последующего анализа в BI-системе Yandex Datalens. Наши Заказчики - это:

бизнес-аналитики
программисты
пользователи, активно работающих с 1С 8
финансовые и технические директора
CEO

Продукт решает следующие проблемы:

Удобная настройка выборки данных в 1С - т.е. формирование 1С как "Источника данных"
Автогенерация таблиц в базе-приемнике ClickHouse
Автосопоставление полей между Источником данных и Базой-приемником
Автоматическая (по расписанию) выгрузка данных из 1С в базу-приемник (можно укзаать разное расписание для разных наборов данных, можно разделить выгрузку по периодам, потокам и прочим фильтрам)

«Экстрактор данных 1С 8 в BI» - это ETL-инструмент автоматизации массивной выгрузки данных из 1С в аналитическую базу данных Clickhouse для работы с такими инструментами BI-аналитики как:

Yandex Datalens, Apache Superset, Microsoft Power BI, Qlik Sense, Tableau, Processet, Omega BI, LuxmsBI, Visiology, Loginom, Форсайт, Polymatica

«Экстрактор данных» полностью автоматизирует извлечение информации в Datalens, Visiology и пр. а также трансформацию и выгрузку данных в БД Clickhouse, для последующей обработки в BI-системах Datalens, Tableau и других.

«Экстрактор данных» реализует:

Данные с помощью экстрактора формируются в пользовательском режиме из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
БД Clickhouse поддерживается как в облаке Яндекс Datalens, так и self-hosted (http и https – доступ)
Поддержка партицирования таблиц в БД Clickhouse
Полная выгрузка экстрактором и выгрузка только изменений (в рамках партиции)
С помощью экстрактора данные осуществляются в многопоточную выгрузку
Работа с клиент-серверными и файловыми базами
Экстрактор полностью автоматизирует работу в фоновом режиме

Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет возможности программы необходимым функционалом.

В каждой поставке мы предоставляем Заказчикам две версии:
Как «Расширение»
Как «Конфигурацию» для встраивания (методом объединения конфигураций)

Мы осуществляем полную методическую и консультационную поддержку нашего Решения.

Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно).

Мы использовали стандартные методы и подходы 1С 8.3 и частично задействовали механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий.

Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается.
Также, Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16 (Для платформы ниже 8.3.16 необходима проверка под совместимость.
На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений).

Решение уже протестировано на стандартных (типовых) конфигурациях:

1С Управление торговлей 11 (11.4 и 11.5);
1С Розница 2 и 3;
1С Бухгалтерия 3.0;
ЗУП;
ERP 2.4 и 2.5;
УНФ 1.6 и 3.0;
Далион;
АСТОР.

Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.3.

Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам:

Собрать себе набор данных (Датасет) в терминах 1С
На его основе создать таблицу в Базе данных “одной кнопкой”
при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
Настроить регулярную автоматическую выгрузку, на то чтобы данные передавались в базу данных
Обеспечить многопоточную фоновую выгрузку, чтобы данные выгружались «по расписанию»
При определенных настройках можно реализовать фактически real-time выгрузку данных в БД Clickhouse(все зависит от того, какого объёма данные и поставленной задачи бизнес-аналитиком)
заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д.
получать большие массивы данных здесь и сейчас для анализа в своей BI-системе (например, Datalens)

Какие данные можно выгрузить с "Экстрактор данных 1С в BI-системах в Datalens" от ДЕНВИК

Наше решение позволяет выгружать любые данные из 1С в таблицы Clickhouse, для последующей работы в BI-системах Datalens:

Продажи;
Расходы;
Закупки;
Документы;
Справочники;
Перечисления;
Константы;
Планы видов характеристик;
Планы счетов;
Хозяйственные операции (проводки);
Регистры сведений (цены и т.д.);
Регистры расчета (зарплатные);
Бизнес-процессы;
Задачи;
Планы обмена.
и т.д.
И все это вместе и как единый набор данных для выгрузки и как отдельные наборы данных

Использование Экстрактора данных позволит вам не только упростить переносимые данные из 1С в yandex Datalens или Power BI, но и:

делать автоматическую выгрузку данных из любой конфигурации (даже из файловой);
настроить выгрузку в Datalens по расписанию;
подключить и настроить передаваемые в Datalens данные без участия программистов;
гибко добавлять и изменять таблицы в базе данных Datalens, куда выгружаются данные
все данные хранятся в облаке yandex Datalens, поэтому не нужно тратиться на администрирование серверов и контроль базы данных;
Это прямая выгрузка по расписанию из 1С в базу данных, для работы с Yandex Datalens и Power BI

Выгрузка из 1С в Yandex Datalens данных происходит следующим образом:

Экстрактор данных 1С в BI:

Подходит для всех конфигураций 1С 8.3 (тестировалось начиная с платформы 8.3.16);
Умеет выгружать абсолютно все сущности, в том числе и нетиповые;
Устанавливается как "Расширение 1С", а также как "Конфигурация для объединения".

Тестировалось и отлично работает под:

1С Управление торговлей 11
1С комплексная автоматизация 2
1С ERP 2.4 и 2.5
1С Розница 2 и 3
1С УНФ 1.6 и 3
1С Управление Холдингом
Далион
АСТОР Торговая Сеть и АСТОР Ваш Магазин
1С Управление Отелем
и другие...

Для работы требует установленный и настроенный сервер Clickhouse (в облаке или у вас на компьютере)

Описание как развернуть Managed Service for Clickhouse в облаке Яндекс

По запросу предоставим образы для развертывания Clickhouse под Hyper-V/VirtualBox)

Чтобы выгрузить данные из 1С в Datalens, нужно открыть экстрактор данных через 1С и выбрать необходимые для выгрузки в Datalens сущности.

Далее переименовать поля, если это нужно, чтобы они корректно выгрузились в Yandex Datalens и указать, как нужно отфильтровать данные. Следующим этапом настроить расписание для выгрузки.

Теперь можно подключаться к своей базе данных через Yandex Datalens и настраивать визуализации.

У нас вышла новая версия "Экстрактора данных", которая включает в себя:

Многопоточную выгрузку данных
Пред- и пост-обработчики выгрузки для каждого "проекта"
Специализированную "очередь" выгрузки, с помощью которой программист конфигурации может гибко управлять выгрузкой изменений" из базы 1С
Работу с партициями таблиц Clickhouse (теперь система умеет перезаписывать не всю таблицу-приемник целиком, а перезаписывать отдельные ее партиции (например месяцы или дни и т.д.)
Проведена значительная оптимизация кода, которая позволила еще более ускорить выгрузку, в том числе и за счет "тонкой" настройки экранирования спецсимволов
Теперь "Экстрактор данных" поставляется и как "Расширение" и как "Конфигурация для объединения"

Примеры настроенных дашбордов в Yandex Datalens по данным, получаемым нашим решением из 1С

Демо на котором демонстрируются выгружаемые данные о выручке и себестоимости в Datalens
Демо по безналичным платежам в Datalens

Мы поможем подключить и настроить Экстрактор данных для выгрузки в Datalens, если у вас возникнут проблемы.

Как подключить базы Clickhouse описано в этих статьях:

Быстрый гайд по развертыванию базы данных Clickhouse в облаке Яндекс (для работы с Yandex Datalens) (Далее, далее, далее...)

Как выгрузить данные с помощью нашего решения в Datalens, мы подробно описали в своем блоге.

Для консультации по поводу возможностей решения и совместимости его с 1С обращайтесь в наш отдел продаж.

Новинки, обновления и ответы на вопросы доступны в нашем Telegram-канале: https://t.me/extractor_1C_to_Clickhouse

Подписывайтесь, будьте в курсе новостей.

Сравнительный анализ

Традиционная парадигма разработки ПО, основанная на императивном программировании, требует высокой квалификации и много ресурсов. В этой модели создание и отладка кода — трудоемкие задачи, требующие глубоких знаний и навыков.

Low-code платформы предлагают другой подход. Они используют графические элементы и упрощают кодирование. Это сокращает время разработки и делает её понятной для пользователей с любым уровнем навыков.

Заказать демо

Другие статьи

Смотреть все

От быстрой аналитики и первых дашбордов к масштабному контуру данных

Тернистый путь от View к Экстрактору 1С.
История начинается одинаково почти у всех
В компании появляется запрос на аналитику, причем не абстрактный — а очень конкретный.

От хаоса в 1С к инкрементальному DWH на Postgres, Airflow и dbt: Как мы перестроили data-платформу и дали аналитикам скорость

В статье — реальный опыт построения DWH на PostgreSQL, Airflow, Kafka и dbt:
инкрементальные загрузки с ретроактивными изменениями, DDS со SCD2, обработка 300M строк стоков, CI/CD для пайплайнов и витрины, которые аналитики могут развивать сами.

Очистка данных: инструменты и особенности процесса

Очистка данных — обязательный этап подготовки информации перед анализом и отчётностью.

В статье разбираем, какие проблемы возникают в корпоративных данных, как проводят анализ качества, какие подходы к очистке используют на практике и почему без формализованных правил аналитика быстро теряет надёжность.

Импортозамещение SAP: переезд на 1С. Архитектура решения

Как выстроить промышленный переезд с SAP на 1С: сценарии миграции, выгрузка данных через SAP ODP, подготовка и загрузка в 1С без рисков для бизнеса.

Эволюция работы с данными в 1С: от Экстрактора 1C к единой экосистеме Denvic Visual Tools

Как мы прошли путь от создания инструмента для выгрузки данных из 1С до построения целостной экосистемы? В этой статье — эволюция Denvic Visual Tools

Коробочный дашборд 1С:ЗУП: вся HR-аналитика в одном окне

Готовый аналитический дашборд подключается к вашей базе, автоматически собирает данные и превращает их в понятные визуальные показатели

Как выгрузить нетривиальный отчёт из ЗУПа за 7 минут: профессиональный гайд!

Узнайте эффективный метод выгрузки сложных отчётов из ЗУПа

Экстрактор 1С: Инкрементальная выгрузка, многопоточность и управление данными

На вебинаре эксперты рассказали, как правильно настроить Экстрактор 1С для инкрементальной выгрузки данных, многопоточной обработки регистров и постобработки информации. В статье — ключевые вопросы пользователей и практические рекомендации.

Теория ограничений в управлении командой — доклад Дениса Смирнова на Analyst Days 20

На конференции Analyst Days 20 генеральный директор Денвик Аналитика Денис Смирнов представил практическую методику управления командами, основанную на принципах Теории ограничений.

Компания «Денвик Аналитика» приняла участие в конференции PIX Day 2025

29 октября 2025 года в Москве состоялась ежегодная конференция PIX Day 2025, организованная компанией PIX Robotics.

Итоги участия в конференции «Жёлтая конфа 2025»

24 октября 2025 года представители компании «Денвик Аналитика» приняли участие в ежегодной конференции для специалистов 1С и IT-руководителей — «Жёлтая конфа 2025», которая состоялась в Москве по адресу: Ленинградский проспект, 37 к.9.

Почему 1С — надежный источник данных, но слабый инструмент для управленческой аналитики

Узнайте, почему стандартные отчеты 1С ограничены, какие проблемы они создают при масштабировании компании, и как BI-решения с Экстрактором от Денвик помогают превратить данные 1С в полноценные управленческие инсайты.

Подписка на новости

Хотите узнавать о лучших предложениях первыми?
Подпишитесь на наши новости!

Назад к списку

Экстрактор данных 1С->BI: как выгружать данные из 1С в Yandex Datalens