1. Визуальный ETL Pipeline и работа с большими данными

Показали полноценный сценарий построения Data Pipeline: подключение к БД, чтение больших таблиц, JOIN, очистка и трансформация данных, аналитика продаж и запись результата обратно в базу.

DVT позволяет собирать сложные ETL/ELT-процессы визуально — без написания кода.

Видео:

2. Подготовка PnL и управленческой аналитики 

В новом кейсе продемонстрировали объединение данных валовой прибыли и затрат для формирования управленческой отчетности PnL. 

Внутри: 

• UNION таблиц; 
• настройка периодов; 
• очистка и нормализация полей; кэширование; 
• выгрузка результата в БД или Excel.

Видео:
PnL-аналитика и объединение данных 

3. Интеграция с Яндекс.Метрикой 

Добавили интеграцию с Яндекс.Метрикой для автоматической загрузки визитов и исторических данных напрямую в аналитический контур. 

Поддерживается: 

• подключение по токену; 
• автоматическая выгрузка всей истории; SQL-генерация; 
• партиционирование;
• регулярное обновление данных

Видео: 
Интеграция DVT с Яндекс.Метрикой

4. Развертывание DVT в Yandex Cloud

Подготовили подробную инструкцию по запуску DVT в облаке через Docker.

Пошагово разобрали:

• создание VM в Yandex Cloud;
• настройку SSH;
• установку Docker и Docker Compose;
• запуск платформы;
• подключение к веб-интерфейсу.

Видео:
Развертывание DVT в Yandex Cloud

5. Интеграция с Битрикс24

В DVT появился новый low-code коннектор для Битрикс24. 

Теперь данные CRM можно получать в виде готового DataFrame и сразу использовать в ETL-процессах:

• лиды;
• сделки;
• контакты;
• объединение с внешними источниками;
• выгрузка в DWH, BI и файлы.

Видео:
Интеграция DVT с Битрикс24

6. Инкрементальная выгрузка лидов из Битрикс24

Показали механизм инкрементальной загрузки лидов в предрелизной версии DVT 1.13.0rc1. 

Интеграция позволяет обновлять только измененные записи без полной повторной загрузки.

Видео:
Инкрементальная выгрузка лидов Битрикс24

7. SQL и работа с ClickHouse

Расширили возможности работы с SQL и аналитическими БД. 

Новые демонстрации показывают:

• использование ноды ReadQuery;
• SQL-запросы внутри pipeline;
• сегментацию данных;
• кэширование;
• подключение и чтение таблиц из ClickHouse.

SQL ReadQuery:
SQL в ноде ReadQuery

ClickHouse:
Подключение к ClickHouse и сегментация

8. Работа с Excel и S3

Добавили новые сценарии загрузки Excel:

• через S3;
• пакетная обработка файлов по маске;
• автоматическая загрузка нескольких файлов;
• работа с листами и колонками.

Excel через S3:
Загрузка Excel через S3

Пакетная загрузка Excel:
Пакетная загрузка Excel по маске

9. Новые ноды трансформации данных

Продолжаем развивать библиотеку трансформаций DVT для подготовки аналитических данных. 

DateTime → Period Start
Группировка данных по месяцам, неделям, годам и другим периодам. 
DateTime → Period Start 

Cast Column Types
Изменение типов данных внутри pipeline.
Cast Column Types 

Drop Columns
Удаление лишних колонок из DataFrame.
Drop Columns

Add TimeDelta
Добавление временных интервалов к DateTime-полям.
Add TimeDelta To DataFrame

Что дальше?

Denvic Visual Transformer продолжает развиваться как единая low-code платформа для:

• ETL/ELT;
• Data Engineering;
• интеграции данных;
• подготовки витрин BI и DWH;
• автоматизации аналитики. 

Следите за новыми релизами и демонстрациями от Денвик Аналитика.