Назад
Битрикс24 хранит данные. DVT превращает их в аналитическую ценность
Сегодня Битрикс24 является одной из самых распространенных CRM-систем на российском рынке. В ней работают отделы продаж, маркетинга, сервисные службы, проектные команды и руководство компаний.
Однако по мере роста бизнеса возникает закономерная проблема: данные есть, а использовать их для полноценной аналитики становится сложно.
Стандартных отчетов Битрикс24 зачастую недостаточно для принятия управленческих решений. Руководителям необходимы сквозные показатели, аналитика продаж, прогнозирование, контроль KPI, анализ воронки и объединение CRM-данных с данными из 1С, ERP, бухгалтерских систем и BI-платформ.
«Выгрузка данных — это не цель. Это первый шаг к управлению компанией на основе фактов.»
Именно для решения этих задач в составе Denvic Visual Transformer (DVT) был разработан специализированный Коннектор Битрикс24.
У многих компаний ETL начинается с кнопки «Экспорт в Excel», а самая популярная интеграция во всём мире — комбинация Ctrl+C → Ctrl+V 🙂
Но Коннектор - это не просто интеграция с CRM.
Это полноценный инструмент ETL-класса, который позволяет извлекать данные из Битрикс24, преобразовывать их и передавать в любые аналитические системы без разработки собственного программного кода.
Подключение к Битрикс24 через ETL-платформу «DVT»
Подключение к Битрикс24 через DVT осуществляется с помощью веб-хука Битрикс24.
Для этого рекомендуется использовать переменные проекта:
Создаем переменную «b24_hook»:
Далее в ноде “Read Data From Bitrix24” в поле “Webhook URL” вводим название нашей переменной: “=b24_hook”.
Настраиваем способ выгрузки и выбираем перечень выгружаемых полей:
- Полный (Full)
- Инкрементальный (Incremental)
И далее, строим пайплайн трансформации этих данных и записи их в базу данных
В результате, данные из Битрикс24 выгружаются в базу данных, в stage-слой.
Инкрементально (по отслеживанию даты модификации) или полностью (за указанный период).
При этом, периодичность выгрузки, дата модификации, также, могут быть определены динамически через систему
«переменных».
Что такое Коннектор Битрикс24 в DVT
Коннектор Битрикс24 - это специализированная нода платформы Denvic Visual Transformer, предназначенная для автоматизированной выгрузки данных из CRM Битрикс24.
После подключения система получает данные через API Битрикс24, преобразует их в структурированный DataFrame и передает дальше по ETL-пайплайну для обработки, объединения, очистки и загрузки в конечные системы хранения или аналитики.
Визуальный ETL-пайплайн DVT
Интерфейс Denvic Visual Transformer с визуальным ETL-конвейером.
Фактически Коннектор Битрикс24 является логическим расширением возможностей DVT и позволяет использовать CRM как полноценный источник корпоративных данных.
Почему стандартных возможностей Битрикс24 недостаточно
Большинство компаний сталкиваются с одинаковыми ограничениями.
Ручная выгрузка данных
Сотрудники регулярно выгружают отчеты в Excel.
Проблемы:
- данные быстро устаревают;
- отчеты готовятся вручную;
- высок риск ошибок;
- невозможно обеспечить единый источник данных.
Ограничения API
Разработчики сталкиваются со сложностями:
- лимиты REST API;
- постраничная загрузка;
- ограничения скорости запросов;
- необходимость писать собственную логику обновления.
В данном случае, REST API ограничивает количество запросов. Excel ограничивает терпение аналитиков.
А самый сложный API — это коллега, который каждый понедельник присылает новый Excel 🙂
BI-проекты тормозятся
Для построения аналитики необходимо:
- получать данные регулярно;
- хранить историю изменений;
- выполнять инкрементальные обновления;
- объединять CRM с другими системами.
Собственная разработка подобных механизмов может занимать недели или даже месяцы.
«Важно помнить, что красивый дашборд не исправит плохую выгрузку.
Но хорошая выгрузка сделает красивым любой дашборд».
Какие задачи решает Коннектор Битрикс24
Выгрузка данных из Битрикс24 в BI
Коннектор позволяет передавать данные в:
- DataLens;
- Visiology;
- PIX BI;
- Power BI;
- Tableau;
- Metabase;
- Superset;
- и любые другие BI-системы.
В результате бизнес получает актуальную аналитику без ручных операций.
«Данные становятся ценностью только тогда, когда их можно быстро превратить в управленческую информацию.»
Источник: Thomas H. Davenport, Competing on Analytics.
Выгрузка данных Битрикс24 в базы данных
Поддерживаются популярные СУБД:
Базы данных:
- ClickHouse;
- PostgreSQL;
- MS SQL Server;
- MySQL;
- Greenplum;
Файловые хранилища S3, сетевом хранилище, FTP:
- Parquet
- CSV
- Excel
Другие корпоративные хранилища данных.
Построение витрин данных
Коннектор становится частью единого Data Pipeline, в котором данные из Битрикс24 можно объединить с:
- 1С;
- ERP;
- Excel;
- CSV;
- внешними API;
- корпоративными справочниками.
Сквозная аналитика бизнеса
После объединения данных становится возможным анализировать:
- продажи;
- прибыль;
- выполнение заказов;
- оплату счетов;
- маркетинговые расходы;
- эффективность сотрудников.
«Самый быстрый отчет - тот, который строится автоматически.»
Какие данные можно выгружать из Битрикс24
Коннектор поддерживает практически весь набор REST-сущностей платформы.
CRM-объекты
- Лиды (Lead)
- Сделки (Deal)
- Контакты (Contact)
- Компании (Company)
- Активности (Activity)
- Коммерческие предложения
- Реквизиты
Каталог товаров
- Товары
- Категории товаров
- Склады
- Остатки
- Цены
- Единицы измерения
Смарт-процессы
Поддерживается работа со Smart Process Automation (SPA), что особенно важно для компаний с кастомизированным Битрикс24.
Задачи и проекты
- Задачи
- Шаблоны задач
- Рабочие группы
- Учет трудозатрат
Пользователи и организационная структура
- Пользователи
- Подразделения
- Группы пользователей
- Пользовательские поля
Телефония и коммуникации
- Телефония
- Открытые линии
- История взаимодействий
Документы и бизнес-процессы
- Диск Битрикс24
- Документооборот
- Бизнес-процессы
Выбор сущностей для выгрузки
В одной ноде читается только одна сущность. Для чтения N сущностей нужно N нод “Read Data From Bitrix24”.
В примере выбирается сущность “Сделки” (Deal).
Полная и инкрементальная выгрузка данных
Одно из главных преимуществ Коннектора Битрикс24 — поддержка нескольких режимов загрузки. Full Load
Полная выгрузка данных за выбранный период.
Используется:
- при первичном запуске;
- при миграции данных;
- при создании нового хранилища.
Incremental Load
Инкрементальная выгрузка только измененных записей.
Преимущества:
- высокая скорость;
- снижение нагрузки на API;
- уменьшение объема передаваемых данных;
- возможность обновления аналитики практически в реальном времени.
Говоря простым языком: “Полная выгрузка — это когда кофе успевает остыть. Инкрементальная — когда нет”.
Настройка инкрементальной выгрузки:
Для полного инкрементального цикла выгрузки нужны ноды:
- DB Connection для подключения к целевой БД
- Read Variables From DB для чтения крайней даты изменения целевой сущности
- Read Data Bitrix 24 для чтения данных целевой сущности из Битрикс24
- Write DataFrame To DB для загрузки данных в целевую таблицу
Читаем переменную «last_modify_date» с датой крайнего изменения из целевой таблицы
Выставляем эту перменную в поле «Last Modified» ноды «Read Data From Bitrix24»
Загружаем данные в целевую таблицу с помощью ноды «Write DataFrame To DB V3», выбрав режим записи «upsert» с ключом по «ID».
Как DVT упрощает работу с API Битрикс24
При самостоятельной разработке интеграции приходится учитывать множество технических нюансов.
В результате аналитики получают данные, а не проблемы интеграции.
Коннектор Битрикс24 как часть экосистемы DVT
Главное преимущество решения заключается в том, что Коннектор не существует отдельно.
Он является частью Denvic Visual Transformer — low-code платформы визуальной подготовки данных.
После получения данных из Битрикс24 можно:
- очищать данные;
- устранять дубли;
- объединять таблицы;
- выполнять вычисления;
- строить витрины данных;
- преобразовывать структуры;
- создавать сложные ETL-процессы без программирования.
«До 80% времени аналитических проектов уходит не на построение отчетов, а на поиск, очистку и подготовку данных.»
Источник: IBM Data Science / исследования рынка подготовки данных.
Таким образом пользователь получает не просто выгрузку CRM, а полноценный конвейер подготовки данных.
Сравнение с собственной разработкой
| Критерий | Коннектор Битрикс24 DVT | Самописная интеграция |
|---|---|---|
| Скорость запуска | Несколько часов | Недели |
| Поддержка API | Встроена | Нужно разрабатывать |
| Инкрементальная выгрузка | Есть | Нужно реализовывать |
| Обработка ошибок | Есть | Нужно писать код |
| Масштабирование | Простое | Требует доработок |
| Стоимость сопровождения | Низкая | Высокая |
Типовые сценарии использования
Отчетность отдела продаж
Автоматическая выгрузка сделок, лидов и активностей в BI-систему. Контроль работы менеджеров
Мониторинг KPI сотрудников на основе CRM-данных. Сквозная аналитика CRM + 1С
Объединение данных продаж, оплат и себестоимости. Корпоративное хранилище данных
Регулярная загрузка данных Битрикс24 в ClickHouse или PostgreSQL. Автоматизация отчетности
Формирование Excel, CSV и управленческих отчетов без участия сотрудников.
Кейсы использования Коннектора Битрикс24
Кейс №1. Выгрузка Битрикс24 в ClickHouse для аналитики продаж
Задача
Торговая компания использовала Битрикс24 для управления продажами.
Количество сделок превышало 1 млн записей.
Стандартные отчеты CRM работали медленно и не позволяли анализировать историю изменений.
Решение
Был внедрен Denvic Visual Transformer.
Настроены процессы:
- выгрузка лидов;
- выгрузка сделок;
- выгрузка товаров;
- выгрузка активностей менеджеров;
- инкрементальное обновление каждые 15 минут.
Все данные загружаются в ClickHouse.
Результат
- скорость аналитических запросов выросла более чем в 50 раз;
- построены детальные воронки продаж;
- появилась историческая аналитика CRM;
- руководители получили актуальные данные практически в режиме реального времени.
Кейс №2. Битрикс24 + DataLens для управленческой отчетности
Задача
Руководство компании хотело видеть:
- продажи;
- конверсию;
- эффективность менеджеров;
- выполнение плана;
- средний чек.
Стандартной аналитики Битрикс24 было недостаточно.
Решение
Через Коннектор Битрикс24 данные загружаются в PostgreSQL.
Далее DataLens автоматически строит:
- дашборды продаж;
- анализ воронки;
- рейтинги сотрудников;
- показатели подразделений.
Результат
- сокращено время подготовки отчетности с нескольких часов до нескольких минут;
- руководители получили единое окно аналитики;
- исключены ручные Excel-отчеты.
Преимущества Коннектора Битрикс24
- Быстрое внедрение
- Не требует разработки
- Работает внутри DVT
- Поддерживает десятки сущностей Битрикс24
- Подходит для BI-проектов любого масштаба
- Позволяет строить полноценные ETL-процессы
- Снижает стоимость сопровождения интеграций
- Поддерживает регулярное обновление данных
