Онлайн воркшоп по Экстрактору 1С: Оптимизация выгрузки данных и настройка потоков

Q: Можно ли задать разные расписания для разных наборов данных?

Да. • Расписание задаётся на уровне проекта. • Все источники внутри одного проекта выполняются по одному расписанию. Чтобы использовать разные расписания — нужно разнести наборы данных в отдельные проекты.

Q: Чтобы не тянуть все данные заново, можно ли использовать кэш?

Ответ: Это не кэширование, а инкрементальная выгрузка. Экстрактор: • отслеживает изменения объектов 1С с помощью регистрации изменений, • помещает их в очередь, • выгружает только изменённые сегменты.

Q: Можно ли посмотреть, какие данные попали в инкремент?

Ответ: Да, через очередь выгрузки. Если включить поле «Дата выгрузки» — можно увидеть, какие сегменты перезаписаны. Триггерные изменения фиксируются автоматически.

Q: Как настраивается многопоточность?

Ответ: • По умолчанию: 4 потока. • 1С ПРОФ — до 12 потоков. • 1С Корп — ограничений нет. • Скорость зависит также от размера сегмента.

Q: Как настроить постобработку данных (удаление дублей, маскирование, шифрование)?

Ответ: Постобработка возможна в вычисляемых полях. Можно: • подменять значения полей, • накладывать маску, • преобразовывать в хэш, • использовать пользовательские экспортные функции. Однако рекомендуется выгружать сырые данные, а преобразования выполнять в последующем ETL-процессе.

Q: Когда используются Bulk Insert / COPY для PostgreSQL и MS SQL?

Ответ: Используются при: • больших пакетах (десятки/сотни тысяч строк), • когда необходимо ускорить массовую вставку. Для мелких инкрементов лучше использовать обычные INSERT. Требования: • настроенный каталог обмена, доступный серверу 1С и серверу БД. • доступы к сетевой папке должны быть корректно настроены.

Q: Как работает шифрование данных?

Ответ: • Передача идёт по HTTPS. • Возможна дополнительная маскировка/шифрование через вычисляемые поля. • На уровне БД отдельные механизмы не используются.

Q: Можно ли экспортировать схему проекта в JSON или YAML?

Ответ: Нет. Поддерживается только XML-шаблон. Шаблоны можно: • сохранять из формы проекта, • выгружать все разом, • хранить в Git.

Q: Как извлекать данные из текстовых файлов, загруженных в 1С?

Ответ: Выгрузка самих прикреплённых файлов пока не поддерживается. Рассматривается идея выгружать абсолютный путь до файла. Если необходимо выгрузить внешние файлы (CSV, Excel) — это возможно через соответствующий режим экстрактора.

Q: Какие методы защиты данных реализованы в Инжекторе?

Ответ: Инжектор также использует: • передачу данных по HTTP, • прикладное шифрование, • стандартные драйверы СУБД.

20 ноября 2025 года состоялся онлайн-воркшоп по работе с Экстрактором 1С, на котором эксперты делились практическими кейсами и отвечали на вопросы пользователей.

Среди спикеров на встрече были:
- Пыстин Степан - Технический директор в компании "Денвик Аналитика". Эксперт по разработке и внедрению программных продуктов.
- Суровцева Анна - Технический специалист компании "Денвик". Программист 1С. Специалист по поддержке Экстрактора 1С в "Денвик Аналитика".

Вебинар прошел в формате воркшопа, с демонстрацией работы инструмента в реальном времени и ответами на вопросы аудитории. Эксперты показали, как оптимизировать процесс выгрузки и обработки данных, что позволит пользователям эффективно управлять данными и экономить ресурсы.

Запись онлайн-воркшопа:

«Вопрос–Ответ» по материалам вебинара от 20.11.2025

Можно ли задать разные расписания для разных наборов данных?

Да.
• Расписание задаётся на уровне проекта.
• Все источники внутри одного проекта выполняются по одному расписанию.
Чтобы использовать разные расписания — нужно разнести наборы данных в отдельные проекты.

Чтобы не тянуть все данные заново, можно ли использовать кэш?

Ответ:
Это не кэширование, а инкрементальная выгрузка.
Экстрактор:
• отслеживает изменения объектов 1С с помощью регистрации изменений,
• помещает их в очередь,
• выгружает только изменённые сегменты.

Можно ли посмотреть, какие данные попали в инкремент?

Ответ:
Да, через очередь выгрузки.
Если включить поле «Дата выгрузки» — можно увидеть, какие сегменты перезаписаны.
Триггерные изменения фиксируются автоматически.

Как настраивается многопоточность?

Ответ:
• По умолчанию: 4 потока.
• 1С ПРОФ — до 12 потоков.
• 1С Корп — ограничений нет.
• Скорость зависит также от размера сегмента.

Как настроить постобработку данных (удаление дублей, маскирование, шифрование)?

Ответ:
Постобработка возможна в вычисляемых полях.

Можно:
• подменять значения полей,
• накладывать маску,
• преобразовывать в хэш,
• использовать пользовательские экспортные функции.

Однако рекомендуется выгружать сырые данные, а преобразования выполнять в последующем ETL-процессе.

Когда используются Bulk Insert / COPY для PostgreSQL и MS SQL?

Ответ:
Используются при:
• больших пакетах (десятки/сотни тысяч строк),
• когда необходимо ускорить массовую вставку.
Для мелких инкрементов лучше использовать обычные INSERT.

Требования:
• настроенный каталог обмена, доступный серверу 1С и серверу БД.
• доступы к сетевой папке должны быть корректно настроены.

Как работает шифрование данных?

Ответ:
• Передача идёт по HTTPS.
• Возможна дополнительная маскировка/шифрование через вычисляемые поля.
• На уровне БД отдельные механизмы не используются.

Можно ли экспортировать схему проекта в JSON или YAML?

Ответ:
Нет.
Поддерживается только XML-шаблон.

Шаблоны можно:
• сохранять из формы проекта,
• выгружать все разом,
• хранить в Git.

Как извлекать данные из текстовых файлов, загруженных в 1С?

Ответ:
Выгрузка самих прикреплённых файлов пока не поддерживается.
Рассматривается идея выгружать абсолютный путь до файла.
Если необходимо выгрузить внешние файлы (CSV, Excel) — это возможно через соответствующий режим экстрактора.

Какие методы защиты данных реализованы в Инжекторе?

Ответ:
Инжектор также использует:
• передачу данных по HTTP,
• прикладное шифрование,
• стандартные драйверы СУБД.

Как выгружать общие реквизиты документов?

Ответ:
Для технологии 1С:Фреш поддержка в разработке.
Требует уточнения деталей конфигурации — команда готова ответить в Telegram-чате.

Какие регулярные выражения поддерживаются в 1С и экстракторе?

Ответ:
Поддерживаются те же регулярные выражения, что используются в языке запросов 1С.
Экстрактор полностью принимает их в тексте запросов.

Что делать при изменении структуры таблиц после обновления 1С?

Ответ:
Используется Центр управления:
• выгрузка метаданных конфигурации,
• просмотр реквизитов документов, табличных частей, типов,
• последующее сравнение версий (в разработке).

Будет добавлена хэш-функция для отслеживания изменений метаданных.

Как определяется тип данных при выгрузке из 1С?

Ответ:

Тип определяется:
• по типу и длине реквизита в конфигурации 1С.
Если тип подобран неверно, можно:
• вручную изменить тип поля на этапе сопоставления,
• например, заменить smallint → numeric,
• или обрезать время у дат.
Ошибки в определении smallint устранены в обновлениях последних месяцев.

Как выполнить первичную загрузку всей базы, а затем перейти на инкремент?

Ответ:
В новом релизе реализован механизм расширения сегмента.

Доступны 3 режима:
1. Инициализация — первичная загрузка (например, за неделю).
2. Регулярный режим — отслеживание изменений по регистратору.
3. Расширенный сегмент — если число изменений достигает порога, выгружается весь день целиком.
Это оптимизирует и первичную загрузку, и дальнейшую инкрементальную работу.

Что такое расширенный сегмент?

Ответ:
Если регулярных изменений за день становится больше установленного порога — выполняется выгрузка всего дня одним пакетом.

Есть ли ограничения на размер пакета в Инжекторе?

Ответ:
Да, ограничения накладывает 1С:
• примерно до 10 000 строк за один вызов записи.
Поэтому загрузку необходимо дробить.
Планируется многопоточная обработка для ускорения загрузки.

История изменений объектов

Вопрос:
Можно ли выгружать историю изменений с пометкой удаления и владельцами?

Ответ:
• Прямого механизма нет, можно реализовать «псевдо-историю» через режим добавления и отметку даты выгрузки.
• Полная версионность пока не поддерживается.

Обработка ошибок и ограничений типов данных

Ошибки типа «SmallInt out of range» решаются на этапе сопоставления полей вручную.
• Можно корректировать типы данных в проекте.
• Для некорректных значений даты можно задать fallback-значение.

Многопоточность