Назад
В этом видео вы узнаете:
- какие способы извлечения данных из 1С существуют
- в чем недостатки ручных и устаревших методов
- как автоматизация влияет на бизнес и скорость принятия решений
- что такое «Экстрактор 1С» и какие задачи он решает
- как устроена архитектура решения и как проходит интеграция
- как обеспечить безопасность данных и снизить нагрузку на систему
- реальные кейсы использования
Спикер: Степан Пыстин — технический директор компании «Денвик Аналитика», эксперт по интеграции и работе с данными 1С.
Видео будет полезно:
- руководителям и собственникам бизнеса
- финансовым директорам и аналитикам
- IT-специалистам и интеграторам
- всем, кто работает с данными 1С и хочет автоматизировать процессы
👉 Смотрите запись, чтобы узнать, как ускорить работу с данными 1С и повысить эффективность аналитики.
Интервью по итогам вебинара
Что касается регистрации изменений: подписка на события действительно немного удлиняет транзакцию изменения объекта внутри 1С. Но есть инструменты, которые позволяют исключить часть объектов из подписок и оставить только нужные.
По результатам независимого исследования компании «Белый код», дополнительная нагрузка от экстрактора не превышает 5%.
Да, решение можно использовать в разных подразделениях. Экстрактор устанавливается на каждую базу 1С, из которой нужно забирать данные. После этого данные из разных баз можно складывать в единое хранилище и дальше анализировать совместно.
Кроме того, можно выгружать данные через запросы — например, взять текст запроса из существующего отчета и использовать его в экстракторе. Есть и третий режим — обработчик, то есть программный источник для сложных случаев, когда стандартными способами данные получить трудно.
По хранилищам поддерживаются PostgreSQL, Greenplum, MS SQL, ClickHouse, MySQL. Также поддерживаются очереди: Kafka, 1С Шина и системы, работающие по протоколу AMQP. Из BI-платформ нативно поддерживаются FastBoard и Visiology.
Есть разные варианты поставки. В лицензии Pro экстрактор обращается к нашим серверам лицензирования, поэтому доступ в интернет нужен. Но есть режим офлайн-активации на ограниченный срок — обычно на год.
В лицензии Enterprise проверки лицензии через интернет вообще нет. Это полностью автономный вариант для закрытых контуров.
Сам экстрактор может работать как в локальной 1С, развернутой в вашем контуре, так и в облаке — если облачный провайдер разрешает установку расширений.
С помощью экстрактора можно выгружать любые данные из 1С.
API для интеграции есть. Оно предоставляется отдельно, через внешний сервис — Denvic Control Center. Это центр управления и мониторинга, который позволяет управлять множеством инсталляций экстрактора, получать статусы выполнения, логи, метаданные конфигураций и шаблоны проектов.
Через этот API можно, например, запускать проекты из внешних систем вроде Airflow или других оркестраторов.
По последним нашим замерам, при выгрузке в 12 потоков производительность составила около 10 тысяч строк в секунду. Примерно 8,5 миллиона строк выгрузились за 15 минут.
С большими объемами экстрактор справляется хорошо за счет многопоточности и сегментирования. Ключевой момент — правильно подобрать размер сегментов.
Базовое внедрение занимает буквально 5 минут. За это время можно установить экстрактор, настроить выгрузку, выгрузить данные и построить первые визуализации в BI.
Если речь идет о полноценном проекте с построением хранилища и аналитической модели, сроки уже зависят от масштаба задачи. Но сам старт работы с инструментом очень быстрый.
Да, такие шаблоны есть. Например, у нас есть коробочное решение для аналитики на базе 1С:Бухгалтерии. Оно включает готовые настройки выгрузок, правильные фильтры по счетам, регистры, справочники и набор визуализаций.
Кроме того, сам экстрактор позволяет шаблонизировать ваши решения. Если у вас много однотипных баз 1С, можно один раз настроить выгрузку, сохранить шаблон и потом раскатать его на остальные базы.
Да. У нас есть установочные сессии: при тестировании или покупке продукта мы проводим одну или несколько встреч, на которых сопровождаем настройку ваших первых проектов.
Также есть открытая документация и бесплатный курс на Stepik. Он позволяет пройти путь от выгрузки данных до построения первого чарта.
Да, SLA есть. На сайте описаны базовый и расширенный уровни поддержки. В первый год после покупки действует базовая поддержка, потом она продлевается.
Крупные обновления выходят примерно раз в квартал. Исправления и фиксы — по мере необходимости, иногда даже в течение одного дня, если речь идет о критичной ошибке.
Да, решение можно ставить как на центральную базу, так и на РИБ.
Что касается CDC, у нас это реализовано не совсем так, как на уровне СУБД. Здесь логика двухэтапная: сначала мы отслеживаем факт изменения объекта и фиксируем, какой сегмент данных изменился, а затем по расписанию отправляем эти изменения в приемник.
Да. Можно управлять формированием наборов данных, готовить данные через запросы, а также управлять очередью через обработчики — как для первичной выгрузки, так и для регистрации изменений.
Но с точки зрения архитектуры все-таки лучше выгружать сырье из 1С, а трансформацию и бизнес-логику выносить за пределы 1С — в ETL или BI.
Да. Если в момент выгрузки происходит сбой, запись из очереди не удаляется. Значит, система попробует выполнить выгрузку повторно — сразу или позже, в зависимости от настроек.
Логирование есть. Можно смотреть историю запуска проекта, видеть запросы к 1С, запросы к СУБД, количество выгруженных строк. Есть и более подробные отладочные логи, но они быстро растут, поэтому используются аккуратно.
Если используется Denvic Control Center, то там логи накапливаются централизованно за всю историю.
Сам экстрактор в Docker не разворачивается, потому что это расширение для 1С. Но сопутствующие сервисы — например, Redis, Denvic Control Center или Denvic Visual Transformer — можно запускать в контейнерах.
Сложные связи между объектами настраиваются через поля ссылочного типа. От любого такого поля можно получить GUID — уникальный идентификатор, который и используется как ключ связи.
Это как раз решают подписки на события. Если документ изменили хоть за 2022 год, система зафиксирует, что объект изменился, и поставит его в очередь на выгрузку.
То есть не нужно каждый раз грузить «последние три месяца» в надежде поймать изменения. Подписки позволяют отслеживать именно реальные изменения, независимо от даты документа.
Напрямую — нет. Но можно выгружать данные, например, в MS SQL или MySQL, а Power BI уже подключать к этой базе.
В таком сценарии экстрактор инкрементально обновляет таблицы почти в реальном времени, а Power BI обращается к ним напрямую при построении дашборда.
Да, можно. Для этого есть разные режимы. Если нужна денормализованная структура — можно использовать режим объекта и получить одну таблицу, собранную из связанных сущностей.
Если нужна более правильная модель для хранилища, можно использовать режим «снежинка»: он позволяет формировать отдельные таблицы по сущностям и затем собирать из них нужные представления.
Возникли вопросы?
Другие статьи
