Онлайн воркшоп по Экстрактору 1С: Оптимизация выгрузки данных и настройка потоков

20 ноября 2025 года состоялся онлайн-воркшоп по работе с Экстрактором 1С, на котором эксперты делились практическими кейсами и отвечали на вопросы пользователей.

Среди спикеров на встрече были:
- Пыстин Степан - Технический директор в компании "Денвик Аналитика". Эксперт по разработке и внедрению программных продуктов.
- Суровцева Анна - Технический специалист компании "Денвик". Программист 1С. Специалист по поддержке Экстрактора 1С в "Денвик Аналитика".

Вебинар прошел в формате воркшопа, с демонстрацией работы инструмента в реальном времени и ответами на вопросы аудитории. Эксперты показали, как оптимизировать процесс выгрузки и обработки данных, что позволит пользователям эффективно управлять данными и экономить ресурсы.

Запись онлайн-воркшопа:

«Вопрос–Ответ» по материалам вебинара от 20.11.2025

Можно ли задать разные расписания для разных наборов данных?

Да. • Расписание задаётся на уровне проекта. • Все источники внутри одного проекта выполняются по одному расписанию. Чтобы использовать разные расписания — нужно разнести наборы данных в отдельные проекты.

Чтобы не тянуть все данные заново, можно ли использовать кэш?

Ответ: Это не кэширование, а инкрементальная выгрузка. Экстрактор: • отслеживает изменения объектов 1С с помощью регистрации изменений, • помещает их в очередь, • выгружает только изменённые сегменты.

Можно ли посмотреть, какие данные попали в инкремент?

Ответ: Да, через очередь выгрузки. Если включить поле «Дата выгрузки» — можно увидеть, какие сегменты перезаписаны. Триггерные изменения фиксируются автоматически.

Как настраивается многопоточность?

Ответ: • По умолчанию: 4 потока. • 1С ПРОФ — до 12 потоков. • 1С Корп — ограничений нет. • Скорость зависит также от размера сегмента.

Как настроить постобработку данных (удаление дублей, маскирование, шифрование)?

Ответ: Постобработка возможна в вычисляемых полях. Можно: • подменять значения полей, • накладывать маску, • преобразовывать в хэш, • использовать пользовательские экспортные функции. Однако рекомендуется выгружать сырые данные, а преобразования выполнять в последующем ETL-процессе.

Когда используются Bulk Insert / COPY для PostgreSQL и MS SQL?

Ответ: Используются при: • больших пакетах (десятки/сотни тысяч строк), • когда необходимо ускорить массовую вставку. Для мелких инкрементов лучше использовать обычные INSERT. Требования: • настроенный каталог обмена, доступный серверу 1С и серверу БД. • доступы к сетевой папке должны быть корректно настроены.

Как работает шифрование данных?

Ответ: • Передача идёт по HTTPS. • Возможна дополнительная маскировка/шифрование через вычисляемые поля. • На уровне БД отдельные механизмы не используются.

Можно ли экспортировать схему проекта в JSON или YAML?

Ответ: Нет. Поддерживается только XML-шаблон. Шаблоны можно: • сохранять из формы проекта, • выгружать все разом, • хранить в Git.

Как извлекать данные из текстовых файлов, загруженных в 1С?

Ответ: Выгрузка самих прикреплённых файлов пока не поддерживается. Рассматривается идея выгружать абсолютный путь до файла. Если необходимо выгрузить внешние файлы (CSV, Excel) — это возможно через соответствующий режим экстрактора.

Какие методы защиты данных реализованы в Инжекторе?

Ответ: Инжектор также использует: • передачу данных по HTTP, • прикладное шифрование, • стандартные драйверы СУБД.

Как выгружать общие реквизиты документов?

Ответ: Для технологии 1С:Фреш поддержка в разработке. Требует уточнения деталей конфигурации — команда готова ответить в Telegram-чате.

Какие регулярные выражения поддерживаются в 1С и экстракторе?

Ответ: Поддерживаются те же регулярные выражения, что используются в языке запросов 1С. Экстрактор полностью принимает их в тексте запросов.

Что делать при изменении структуры таблиц после обновления 1С?

Ответ: Используется Центр управления: • выгрузка метаданных конфигурации, • просмотр реквизитов документов, табличных частей, типов, • последующее сравнение версий (в разработке). Будет добавлена хэш-функция для отслеживания изменений метаданных.

Как определяется тип данных при выгрузке из 1С?

Ответ: Тип определяется: • по типу и длине реквизита в конфигурации 1С. Если тип подобран неверно, можно: • вручную изменить тип поля на этапе сопоставления, • например, заменить smallint → numeric, • или обрезать время у дат. Ошибки в определении smallint устранены в обновлениях последних месяцев.

Как выполнить первичную загрузку всей базы, а затем перейти на инкремент?

Ответ: В новом релизе реализован механизм расширения сегмента. Доступны 3 режима: 1. Инициализация — первичная загрузка (например, за неделю). 2. Регулярный режим — отслеживание изменений по регистратору. 3. Расширенный сегмент — если число изменений достигает порога, выгружается весь день целиком. Это оптимизирует и первичную загрузку, и дальнейшую инкрементальную работу.

Что такое расширенный сегмент?

Ответ: Если регулярных изменений за день становится больше установленного порога — выполняется выгрузка всего дня одним пакетом.

Есть ли ограничения на размер пакета в Инжекторе?

Ответ: Да, ограничения накладывает 1С: • примерно до 10 000 строк за один вызов записи. Поэтому загрузку необходимо дробить. Планируется многопоточная обработка для ускорения загрузки.

История изменений объектов

Вопрос: Можно ли выгружать историю изменений с пометкой удаления и владельцами? Ответ: • Прямого механизма нет, можно реализовать «псевдо-историю» через режим добавления и отметку даты выгрузки. • Полная версионность пока не поддерживается.

Обработка ошибок и ограничений типов данных

Ошибки типа «SmallInt out of range» решаются на этапе сопоставления полей вручную. • Можно корректировать типы данных в проекте. • Для некорректных значений даты можно задать fallback-значение.

Многопоточность

<ul> <li>По умолчанию 4 потока, настраивается до 12–24 потоков в зависимости от лицензии.</li> <li> Файловая база ограничивает число потоков до 1</li> </ul>

Автор: