MDM-система: что это такое и как управлять мастер-данными в компании

Что такое MDM простыми словами 

MDM - это управление мастер-данными компании: сведениями о клиентах, товарах, контрагентах и других ключевых бизнес-сущностях. Подход включает правила работы с данными, роли сотрудников, процессы и MDM-систему для контроля качества информации. 

MDM-система объединяет информацию из разных источников, устраняет расхождения и формирует согласованную версию каждого объекта. 

В результате компания получает: 

• Единый источник правды вместо нескольких вариантов одной записи. 
• Меньше дублей и противоречий. 
• Общие справочники для 1С, CRM, ERP, BI, DWH и других систем. 
• Актуальные данные без регулярной ручной сверки. 

MDM расшифровывается как Master Data Management. В русском языке используют два равнозначных перевода: управление мастер-данными и управление основными данными. Оба термина описывают один и тот же подход к централизованному управлению ключевыми данными компании. 

Чем MDM-система отличается от обычного справочника 

Справочник только хранит сведения. Система MDM контролирует их качество: проверяет обязательные поля, объединяет дубли, хранит историю изменений, синхронизирует эталонные записи с учетными, CRM, ERP и аналитическими контурами, а BI использует подготовленные данные для отчетов и дашбордов. 

Почему MDM не нужно путать с Mobile Device Management 

Аббревиатуру MDM используют в двух значениях. В контексте управления корпоративной информацией речь идет именно о Master Data Management. Mobile Device Management означает управление мобильными устройствами — смартфонами, планшетами и другой техникой.

Что такое мастер-данные и почему они важны 

Мастер-данные - это сведения о бизнес-объектах, которые используют в продажах, закупках, финансах, логистике, аналитике и других направлениях работы. 

К ним относятся: 

• клиенты и контрагенты; 
• товары и номенклатура; 
• поставщики; 
• сотрудники; 
• филиалы и склады; 
• договоры; 
• статьи затрат и центры финансовой ответственности. 
  
  

Например, клиент остается одним и тем же объектом независимо от того, где с ним работают: в CRM, сайт или 1С. Разные реквизиты или идентификаторы приводят к расхождениям в операциях, отчетах и аналитике. 

Где используются мастер-данные 

Одни и те же сведения используются в разных процессах: 

• продажи работают с клиентами и договорами; 
• закупки - с поставщиками и товарами; 
• финансы - со статьями затрат и центрами финансовой ответственности; 
• логистика - со складами и адресами доставки. 

Если разные подразделения поддерживают свои версии этих данных, возникают расхождения: один контрагент появляется в нескольких вариантах, товар получает разные названия, а отчеты показывают разные результаты. 

Чем мастер-данные отличаются от транзакционных данных 

Мастер-данные описывают объекты, а транзакционные данные фиксируют действия с ними. 

Например: 

• клиент и товар — мастер-данные; 
• заказ или счет — транзакционные данные. 

Транзакции возникают ежедневно и используют сведения о конкретных объектах: товаре, клиенте, договоре или складе. Если они расходятся, компания получает неверные отчеты, расчеты и результаты аналитики. 

Чем мастер-данные отличаются от НСИ и справочных данных 

НСИ (нормативно-справочная информация) и справочные данные содержат классификаторы и нормативные значения. 

Например:

• валюты; 
• страны; 
• единицы измерения; 
• ставки НДС; 
• категории товаров. 

В MDM-контуре эти понятия дополняют друг друга: мастер-данные содержат сведения о конкретных объектах, а НСИ задает классификаторы и значения. 

Почему плохие мастер-данные портят отчетность, аналитику и интеграции 

Низкое качество данных возникает из-за расхождений в справочниках и карточках объектов: 

• система дублирует одного и того же контрагента; 
• один товар имеет разные названия или коды; 
• CRM и 1С используют разные идентификаторы клиента. 

Расхождения искажают BI-отчеты, приводят к разным значениям показателей в системах и создают ошибки при обмене. BI и DWH анализируют полученную информацию, но не исправляют ошибки в исходных записях, поэтому качество мастер-данных напрямую влияет на точность отчетности и расчетов. 

Сравним мастер-данные с другими типами информации, которые используют корпоративные системы:

Зачем бизнесу MDM-система 

MDM необходима, когда компании важно обеспечить качество данных и единые правила работы с ними. 

Дубли данных о товарах, клиентах и контрагентах 

Один объект нередко имеет несколько карточек: «ООО Зима», «Зима ООО» и «Зима». Договоры, продажи, оплаты и задолженность распределяются между ними, поэтому получить полную информацию по клиенту становится сложно. 

Расхождения между 1С, CRM, ERP, BI и Excel 

Каждый источник хранит свою версию данных. Если реквизиты обновили только в одном из них, остальные продолжают работать со старыми значениями. Сотрудники сверяют информацию вручную, а системы обмениваются противоречивыми сведениями. 

Почему отчеты показывают разные цифры 

Если один объект представлен несколькими карточками, DWH и BI учитывают их отдельно. В результате продажи, остатки, дебиторская задолженность и другие показатели расходятся между отчетами. 

Как MDM помогает создать единый источник правды 

Единый источник правды — это согласованная версия данных о каждом бизнес-объекте, которую используют все корпоративные системы. MDM сопоставляет записи одного объекта, объединяет дубли, определяет приоритетные значения атрибутов и синхронизирует актуальные сведения. 

Что такое золотая запись или эталонная запись 

Золотая (эталонная запись) — полная и достоверная карточка товара, клиента, контрагента или другого объекта. MDM объединяет информацию из нескольких источников, разрешает противоречия по заданным правилам и использует эту карточку как эталон при обмене данными.

Задачи MDM-системы 

MDM помогает компании решать следующие задачи: 

• Выявление и объединение дублей. 
  Сопоставляет записи по ИНН, КПП, названию, телефону, адресу, email и другим признакам. Найденные дубли объединяет автоматически, спорные случаи передает на проверку. 
• Очистка и нормализация данных. 
  Приводит адреса, телефоны, названия компаний, единицы измерения и категории товаров к единому формату, чтобы исключить расхождения. 
• Управление качеством данных (Data Quality). 
  Проверяет полноту, корректность, уникальность и согласованность записей по заданным правилам. Например, контролирует наличие ИНН у контрагента или единицы измерения у товара. 
• Согласование изменений в справочниках. 
  Направляет изменения по маршруту согласования, сохраняет историю правок и фиксирует автора каждого изменения. 
• Синхронизация данных. 
  Передает эталонные записи в 1С, ERP, CRM, BI, DWH и другие подключенные источники. 
• Подготовка информации для DWH, BI и управленческой отчетности. 
  Единые справочники повышают точность расчетов в BI и DWH, сокращая объем ручной сверки.

Как работает система 

MDM собирает сведения из разных источников, сопоставляет их, формирует эталонную запись и синхронизирует данные в рабочих системах. 

Схема процесса: 

1С / CRM / ERP / Битрикс24 / Excel / DWH → очистка и стандартизация → поиск дублей (matching) → эталонная запись → 1С / CRM / ERP / BI / DWH и другие источники 



1. Сбор данных 
Сведения о клиентах, товарах и контрагентах находятся в нескольких учетных системах. Например, реквизиты контрагентов могут поступать из 1С, контактные сведения клиентов — из CRM, а дополнительные атрибуты товаров — из ERP, Excel или DWH. Для каждого атрибута определяется источник с приоритетным значением. 

2. Очистка данных, нормализация и стандартизация 
Перед сопоставлением записи приводятся к единому формату: удаляются лишние символы, унифицируются названия компаний, адреса, телефоны, единицы измерения и другие атрибуты. 

3. Поиск дублей и сопоставление записей 
Записи сравниваются по ИНН, КПП, названию, адресу, телефону, email и другим признакам. Алгоритмы matching определяют, относятся ли карточки к одному объекту. Если совпадение нельзя подтвердить автоматически, запись направляется на ручную проверку. 

4. Создание эталонной записи 
После сопоставления формируется эталонная карточка. Например, название может поступить из 1С, контактные сведения — из CRM, адрес — из официального справочника, а реквизиты — пройти проверку по государственным реестрам. 

5. Публикация данных обратно в 1С, ERP, CRM, DWH и BI 
После проверки эталонная запись передается в 1С, CRM, ERP, BI и DWH. Она становится общей версией для всех подключенных систем. 

6. Управление изменениями и история версий 
Сохраняется история изменений каждой записи: кто, когда и по какой причине внес правки. История упрощает аудит, позволяет контролировать качество мастер-данных и разбирать спорные ситуации.

Основные функции MDM-системы 

Функции системы помогают анализировать качество информации, находить ошибки, управлять изменениями и контролировать правила работы с бизнес-объектами. 

• Data Profiling - анализ качества мастер-данных. Показывает дубли, пустые поля, некорректные значения и другие проблемы, чтобы определить, какие справочники требуют очистки. 
• Data Quality: проверка, очистка и стандартизация. Проверяет записи по заданным правилам, выявляет ошибки и приводит информацию к единому формату. 
• Matching и Deduplication: поиск дублей. Сопоставляет похожие записи и объединяет карточки одного объекта. 
• Golden Record: формирование эталонной записи. Объединяет сведения из разных источников в одну согласованную карточку. 
• Data Governance: роли, правила и согласования. Закрепляет владельцев данных, права доступа и маршруты согласования изменений. 
• Интеграция данных с другими системами. Передает информацию между 1С, ERP, CRM, DWH, BI и другими системами через API, ETL, файловый обмен или интеграционные шины.

MDM, НСИ, ERP, CRM, DWH, BI, PIM и CDP: в чем разница 

MDM часто сравнивают с ERP, CRM, BI и другими решениями. Разница — в задачах: одни системы автоматизируют операции или анализируют информацию, а MDM управляет мастер-данными, которые используют эти решения.

Типы мастер-данных 

MDM охватывает разные категории мастер-данных. 
Приоритет зависит от специфики бизнеса: например, ритейлу чаще нужно управлять товарными сведениями, а производственным компаниям — информацией о поставщиках, оборудовании и номенклатуре. 

• Клиенты. Объединяет данные о клиентах из CRM, 1С, сайта и других источников в единый профиль. Эти сведения используют продажи, клиентский сервис, маркетинг и аналитика. 
• Товары и номенклатура. Поддерживает единые названия, характеристики, категории, бренды, артикулы, единицы измерения и другие атрибуты товаров. Актуально для компаний с большим ассортиментом, несколькими складами или разными учетными системами. 
• Поставщики. Хранит согласованные сведения о поставщиках: реквизиты, договоры, условия поставок, историю закупок и результаты оценки поставщиков. 
• Финансовые справочники. Управляет статьями затрат, статьями ДДС, центрами финансовой ответственности, проектами и бюджетами, которые используют в управленческом учете, BI и консолидации отчетности. 
• Филиалы и объекты инфраструктуры. Хранит информацию о филиалах, складах, торговых точках, регионах и адресах доставки для логистики и географической аналитики. 
• Сотрудники и оргструктура. Объединяет данные о сотрудниках, должностях, подразделениях и ролях, которые используют для HR-систем, ERP, BI, документооборота и управления доступом.

Модели реализации системы 

Модель решения определяет, где компания хранит эталонные записи и какие системы участвуют в их изменении. Если нужно только объединить информацию, подойдет одна схема работы, если требуется централизованно управлять мастер-данными — другая.

Как Денвик Аналитика помогает работать с мастер-данными в 1С и BI-контуре 

MDM отвечает за правила работы с мастер-данными: какие записи считать эталонными, как объединять дубли, кто согласует изменения и какие данные передавать в другие системы. Но чтобы эти правила работали в аналитике и учетном контуре, информацию нужно корректно передавать между системами. 

Денвик Аналитика помогает закрыть эту часть:

• Экстрактор 1С передает данные из 1С во внешний аналитический контур: справочники, документы, регистры и другие данные, которые нужны для DWH, витрин и BI. 
• DVT помогает сопоставить данные из разных источников, привести справочники к единому виду, настроить правила преобразования и подготовить витрины для аналитики. 
• Инжектор 1С помогает вернуть согласованные данные обратно в 1С: обновить карточки контрагентов, номенклатуру, реквизиты или другие справочники. 

Так компания может не только увидеть расхождения в BI, но и выстроить управляемый обмен между 1С, аналитическим контуром и другими системами.

Когда компании нужна MDM-система 

MDM актуальна, когда сотрудники работают с разными версиями одних и тех же записей, а компании приходится вручную сверять справочники. 

Основные признаки:

• Несколько баз 1С или ERP. Одни и те же клиенты, товары или контрагенты хранятся в разных версиях. 
• Несколько источников. Клиенты, товары и справочники одновременно ведутся в CRM, 1С, Excel и других рабочих системах, а затем используются в DWH и BI. 
• Разные цифры в отчетах. Отчетность расходится из-за несогласованных справочников и мастер-данных. 
• Дубли объектов. Один клиент, товар или контрагент существует в нескольких карточках. 
• Миграция или интеграция систем. Перед переходом на новую архитектуру мастер-данные нужно очистить и привести к единому виду. 
• Нет единых правил работы с информацией. Записи создают и изменяют по-разному, поэтому ошибки и дубли появляются снова.

Как внедряют MDM-систему 

Решение внедряют под конкретные задачи: управление клиентами, товарами, контрагентами или другими мастер-данными. Подход зависит от действующих систем компании, качества записей и требований к управлению информацией. 

Аудит источников и качества информации 

Сначала проверяют, где хранятся мастер-данные, какие системы их создают, сколько дублей, какие поля заполнены некорректно и какой источник считается основным для каждого атрибута. 

Выбор первого домена 

Не стоит сразу переносить в MDM все категории мастер-данных. Начинают с объекта, который сильнее влияет на бизнес-процессы: контрагенты — для финансов и закупок, клиенты — для продаж и сервиса, номенклатура — для склада и производства. 

Настройка структуры и правил качества 

Определяют состав карточек, обязательные поля, форматы значений, правила проверки, критерии поиска дублей и приоритет источников. Например, фиксируют, какая система хранит актуальные реквизиты контрагента, если они отличаются в нескольких базах. 

Подключение источников и настройка обменов 

Решение подключают к системам, из которых поступают мастер-данные. Настраивают загрузку, преобразование и передачу записей между контурами, чтобы изменения не оставались только внутри одной платформы. 

Очистка и формирование эталонных записей 

Перед запуском удаляют или объединяют дубли, исправляют ошибки и сопоставляют записи. После формируют первые эталонные карточки объектов. 

Настройка ролей, согласований и Data Governance 

Определяют владельцев данных и правила работы с ними: кто создает записи, кто проверяет изменения, кто утверждает новые значения. Так компания поддерживает единые правила работы со справочниками и эталонными записями. 

Запуск и масштабирование 

После запуска контролируют качество мастер-данных, корректируют правила, подключают новые источники и добавляют другие домены. Решение развивают постепенно — от одной приоритетной задачи к единому контуру управления. 

Что подготовить перед внедрением MDM или BI 

Денвик Аналитика не внедряет MDM-системы как отдельный класс решений. Но качество мастер-данных напрямую влияет на BI, DWH, интеграции с 1С и обмен между системами. 

Перед проектом нужно проверить: 

• Какие мастер-данные создают больше всего проблем: контрагенты, товары, клиенты, склады, статьи затрат. 
• Где эти данные сейчас хранятся: в 1С, CRM, Excel, DWH или других системах. 
• Есть ли дубли, разные идентификаторы и противоречивые реквизиты. 
• Какие поля обязательны для отчетности, интеграций и управленческой аналитики. 
• Какой источник считается основным для каждого атрибута. 
• Нужно ли возвращать исправленные данные обратно в 1С или другую учетную систему. 
  
  

Типичные ошибки при внедрении MDM 

Рассмотрим основные ошибки, которые возникают при подготовке и организации внедрения:

Как MDM помогает управленческой аналитике и BI 

Решение помогает подготовить мастер-данные для DWH и BI, чтобы аналитические модели использовали общие справочники и связи между объектами. 

Как MDM снижает ручную сверку отчетов 

Единые мастер-данные позволяют не сопоставлять вручную клиентов, товары, филиалы и статьи затрат перед подготовкой отчетов. Аналитики получают согласованные справочники сразу из корпоративных систем. 

Как MDM помогает строить витрины данных 

DWH и витрины данных используют ключи, классификаторы и связи между объектами. MDM поддерживает единые идентификаторы и правила для мастер-данных, поэтому показатели рассчитываются по одинаковым принципам. 

Почему перед внедрением BI важно проверить мастер-данные 

BI показывает ошибки, которые уже есть в источниках. Перед созданием дашбордов важно проверить справочники: выявить дубли, незаполненные поля, разные правила классификации и определить, какие значения считать корректными. 

Как связаны MDM, ETL, DWH и BI 

ETL получает и преобразует информацию из источников, MDM контролирует данные и формирует эталонные записи, DWH хранит подготовленную информацию, а BI использует ее для анализа и отчетов.