Что такое Data Governance простыми словами
Data Governance, или корпоративное управление данными, — это правила, по которым организация работает с корпоративной информацией. Они определяют, кто отвечает за данные, какие требования к ним предъявляются и кто может ими пользоваться.
Например, в 1С клиент записан как «ООО Ромашка», в CRM — как «Ромашка», а в BI обе записи попали в отчет. В итоге один контрагент может учитываться дважды, а показатели продаж — различаться. Управление данными помогает заранее определить ответственного за справочник контрагентов, обязательные поля, основной источник и порядок исправления расхождений.
На русский Data Governance чаще переводят как «управление данными» или «корпоративное управление данными». Второй вариант точнее: он включает правила, ответственность и контроль.
Data Governance не стоит путать с Data Management — практической работой с информацией: ее хранением, обработкой и контролем качества. Например, бизнес устанавливает правило: ИНН контрагента должен быть обязательным и уникальным.
Управление данными задает это требование, а дальше его реализуют на практике: настраивают проверку, находят карточки без ИНН, устраняют дубли и передают корректные данные в хранилище для использования в отчетности.
Зачем компании Data Governance
Data Governance помогает сократить расхождения в показателях, ручные сверки и ошибки при работе с информацией.
-
Единое понимание показателей. В бизнес-глоссарии закрепляют единые определения выручки, маржи, заказа и активного клиента, источники и правила расчета. Так разные отделы получают согласованные показатели.
-
Качество и доверие к данным. Устанавливают критерии качества данных, допустимые отклонения и порядок работы с инцидентами. Например, ИНН контрагента должен быть заполнен и не повторяться. При нарушении требования понятно, кто отвечает за исправление.
-
Безопасность и доступ. Для каждого вида информации определяют, кому и зачем нужен доступ и когда его необходимо пересмотреть. Бизнес принимает решение, а IT реализует его в системах.
-
Согласованность между системами. Один контрагент может называться по-разному в 1С, CRM и отчетности. Правила помогают определить основной источник и порядок устранения расхождений.
-
Данные для отчетности и аналитики. Согласованные термины, понятные источники и проверенное качество данных снижают риск ошибок в отчетах и аналитике.
Data Governance и Data Management: в чем разница
Data Governance устанавливает правила, полномочия и ответственность за данные. Data Management охватывает практики и процессы, с помощью которых организация получает, хранит, изменяет, защищает и использует сведения. Data Governance входит в состав Data Management как отдельная дисциплина.
Различия между направлениями — в задачах, составе работ и распределении ответственности:
| Критерий | Data Governance | Data Management |
|---|---|---|
| Главный вопрос | Кто принимает решения, какие правила действуют и кто отвечает за их соблюдение | Как хранить, передавать, проверять и использовать информацию |
| Что входит | Роли и полномочия, политики, принципы, стандарты, требования к качеству и доступу информации, органы принятия решений | Архитектура и моделирование, хранение, интеграция, качество, управление мастер-данными (MDM), метаданные, безопасность и аналитика |
| Жизненный цикл данных | Определяет правила работы с данными на каждом этапе | Специалисты собирают, хранят, изменяют, передают, архивируют и удаляют сведения в соответствии с установленными процессами |
| Участники | Бизнес-владельцы, владелец данных, ответственный за ведение данных, комитет по данным | Архитекторы, инженеры, аналитики, администраторы |
Основные принципы Data Governance
Принципы корпоративного управления данными закрепляют, кто принимает решения, какие требования действуют и как организация контролирует их соблюдение.
- Ответственность и владение данными. Домен данных — это область данных, за которую можно назначить владельца: например, «Контрагенты», «Клиенты», «Номенклатура» или «Финансовая отчетность». Для критичного домена, набора информации или показателя назначают владельца данных (Data Owner). Он утверждает определения, требования к качеству и приоритеты исправлений в своей зоне ответственности.
- Прозрачность принятия решений. Для каждого термина и правила фиксируют владельца, основание решения и порядок пересмотра. Сотрудник понимает, кто утвердил требование и куда обратиться в спорной ситуации.
- Единообразие терминов и стандартов. Организация закрепляет общие определения, форматы и правила для всех подразделений и систем, которые используют одни и те же сведения. Это сокращает ручные сверки и споры о расчетах.
- Качество и пригодность данных (Data Quality). Требования к качеству зависят от задачи. Для регуляторной отчетности важны точность и полнота, для оперативного контроля — актуальность. Организация заранее определяет критерии качества и способы их проверки.
- Прослеживаемость (Data Lineage). Показывает, откуда поступила информация, какие системы ее передали и какие преобразования она прошла до отчета. По этой цепочке находят источник ошибки и проверяют расчет.
- Безопасность и контролируемая доступность. Организация классифицирует информацию, устанавливает правила выдачи прав и регулярно пересматривает разрешения. Доступ получают сотрудники и системы, которым он необходим для конкретной задачи.
- Измеримость и постоянное улучшение. Бизнес отслеживает показатели Data Governance — соблюдение политик, количество инцидентов, сроки их устранения и повторяемость ошибок. Эти метрики показывают, где правила дают сбой и что нужно изменить.
Из чего состоит система Data Governance
Основы Data Governance — роли, политики, процессы и контроль, связывающие требования к данным с ежедневной работой компании.
Люди и роли в управлении данными
Владелец данных принимает решения по своей области данных, а ответственный за ведение данных (Data Steward) следит за соблюдением правил в ежедневной работе. Руководитель-спонсор поддерживает изменения на уровне руководства.
Крупные компании дополнительно формируют комитет по управлению данными и офис управления данными для межфункциональных решений и методологической поддержки. Офис разрабатывает шаблоны, общие требования и рабочие правила, а комитет согласует спорные вопросы между подразделениями.
Политики и стандарты
Политика управления данными фиксирует обязательные требования организации. Стандарты уточняют их для отдельных операций: какие поля обязательны, как классифицировать информацию, какие требования предъявлять к качеству и когда пересматривать права доступа.
Операционные процессы
Операционные процессы задают порядок работы с конкретными правилами. Сотрудники согласуют термины, регистрируют и разбирают ошибки, выдают и пересматривают доступ, меняют справочники и структуры по установленному порядку. Так требования становятся частью повседневной работы.
Технологические инструменты
Каталог корпоративной информации (Data Catalog) показывает, где находятся нужные сведения и кто за них отвечает. Инструменты контроля качества (Data Quality) проверяют данные по заданным критериям, системы управления мастер-данными (MDM) поддерживают единые справочники, а системы управления метаданными (Metadata Management) хранят сведения об источниках, структуре и использовании данных.
Инструмент может проверить заполнение поля, но не решает, должно ли это поле быть обязательным и кто отвечает за его качество.
Метрики и контроль
Владелец данных и ответственный за ведение данных проверяют соблюдение правил по конкретным показателям: доле заполненных критичных полей, числу нарушений, сроку обработки инцидентов и количеству повторных ошибок. Если показатель ухудшается, владелец пересматривает правило или процесс.
Связь элементов Data Governance выглядит так:
Люди → политики → процессы → технологии → контроль → улучшение
К примеру, владелец данных утверждает правило для справочника → процесс задает проверку при изменении записи → инструмент выполняет ее автоматически → контроль показывает число нарушений → владелец меняет правило или процесс, если они не дают нужного результата.
Политика управления данными
Политика управления данными - документ, который устанавливает общие правила работы с корпоративной информацией. В нем фиксируют, какие сведения регулирует политика, какие требования к ним действуют, кто принимает решения и кто отвечает за соблюдение правил.
Чем политика отличается от стратегии, стандарта и регламента
- Стратегия — определяет цели и направление развития работы с данными.
- Стандарт — задает конкретные требования для отдельной области: например, к качеству, доступу или описанию информации.
- Регламент или процедура — описывает порядок действий в определенной ситуации.
Что входит в политику управления данными
В документ включают правила, которые должны действовать во всех отделах и системах, где используются соответствующие сведения. Конкретный состав зависит от того, как устроена работа организации, какие системы она использует и какие требования устанавливает законодательство.
Примерная структура документа:
| Раздел | Что содержит | Ответственный | Пересмотр |
|---|---|---|---|
| Цель и область действия | Задачи политики, какие сведения, системы и подразделения она охватывает | Офис управления данными / директор по данным | Ежегодно и при изменениях |
| Термины и принципы | Общие определения и правила работы | Комитет по данным | При изменении правил |
| Роли и классификация | Полномочия владельца данных и ответственного за ведение данных, IT; категории критичности и конфиденциальности | Комитет по данным / ИБ | Ежегодно |
| Качество и доступ | Требования к качеству, доступности, защите и выдаче прав | Владелец данных / ИБ | По графику и при изменениях требований |
| Метаданные и жизненный цикл | Что описывать об источниках и как работать с данными от создания до удаления | Ответственный за ведение данных | При изменении источников и процессов |
| Контроль и пересмотр | Как проверять соблюдение правил и менять саму политику | Офис управления данными / Комитет по данным | По графику и при существенных изменениях |
Политику утверждает руководство компании или уполномоченный орган (профильный комитет). Причем IT не отвечает за правила целиком: владелец данных принимает решения в своей области, офис управления данными контролирует общие показатели соблюдения политики, ИБ координирует доступ, а IT настраивает системы согласно утвержденным требованиям.
Пересматривают политику по графику, а также при изменении законодательства, архитектуры, источников или состава критичных данных. При обновлении документа проверяют связанные стандарты и процедуры.
Роли и ответственность в Data Governance
Роли не обязательно означают отдельные должности: в небольшой компании один специалист может совмещать несколько функций. Главное — заранее определить, кто принимает решение, кто ведет ежедневную работу и кто отвечает за техническую реализацию.
- Директор по данным задает направление развития. Офис управления данными поддерживает методологию, шаблоны и рабочие процессы.
- Комитет по управлению данными рассматривает межфункциональные вопросы, утверждает политики и разрешает споры.
- Владелец данных представляет бизнес и принимает решения по закрепленным доменам: утверждает термины, требования к качеству, правила доступа и приоритеты исправлений.
- Ответственный за ведение данных сопровождает бизнес-термины и метаданные, контролирует качество, регистрирует инциденты и координирует их устранение.
- Технический специалист по данным и владелец информационной системы отвечают за хранение, резервное копирование, доступ и выполнение системных требований.
- Архитектор данных и специалисты по интеграциям согласуют модели, источники и потоки между системами.
- Информационная безопасность и юридический отдел участвуют в классификации информации, согласовании доступа, оценке рисков и соблюдении обязательных требований.
Чтобы закрепить ответственность за конкретной задачей, используют RACI — матрицу, которая показывает, кто отвечает за результат, кто выполняет работу, кого привлекают за экспертным мнением и информируют.
Ниже — пример RACI для утверждения нового бизнес-термина (в разных компаниях распределение ролей может отличаться).
| Роль RACI | Кто участвует | Что делает |
|---|---|---|
| Ответственный | Владелец данных | Принимает итоговое решение |
| Исполнитель | Ответственный за ведение данных | Готовит термин и собирает замечания |
| Консультант | Архитектор, аналитик | Дает экспертную оценку |
| Информируемый | Комитет по управлению данными | Получает информацию о результате |
Основные процессы Data Governance
Процессы связывают утвержденные правила с ежедневными действиями сотрудников и систем. Через них компания управляет терминами, качеством, доступом, изменениями и критичными элементами информации.
Управление бизнес-терминами
Новый термин получает определение, владельца, статус согласования и связь с техническими полями и отчетами. Бизнес-глоссарий хранит эти сведения, помогая подразделениям использовать единые понятия.
Управление качеством данных
При обнаружении ошибки специалист регистрирует инцидент, определяет его влияние и назначает ответственного, который устраняет первопричину. После исправления проверяют результат. Качество данных оценивают по заранее заданным критериям на каждом этапе этого процесса.
Управление метаданными
Для значимых наборов данных описывают значение, формат, источник, владельца, ограничения и способы использования. Каталог помогает найти информацию и понять ее структуру. Управление метаданными связывает техническое описание с бизнес-контекстом.
Прослеживаемость данных
Показывает, откуда поступает информация, через какие системы и преобразования она проходит и в каком отчете используется.
Например, в решениях Денвик Аналитика путь данных может выглядеть так:
1С или Битрикс24 → выгрузка → ETL-преобразования → DWH → BI
Важно: Экстрактор 1С, Коннектор Битрикс24 и DVT участвуют в передаче и обработке информации, но не заменяют инструмент прослеживаемости данных, который показывает связи между источниками, преобразованиями и отчетами.
Управление доступом
Сотрудник запрашивает права, владелец информации согласует доступ, техническая команда назначает разрешения, а система фиксирует действие в журнале. По графику проверяют, нужен ли каждый выданный доступ.
Управление изменениями
Перед изменением структуры справочника, источника или формулы показателя оценивают влияние на интеграции, хранилище и отчеты. Например, изменение поля в 1С может нарушить загрузку в DWH или изменить расчет метрики в BI.
Управление критичными элементами данных
Критичные элементы данных, или Critical Data Elements, — это поля и показатели, ошибки в которых могут повлиять на финансовый результат, отчетность, клиентов или ключевые операции. Их выделяют по уровню бизнес-риска и контролируют строже: задают более жесткие требования к качеству, проверкам и срокам исправления ошибок.
Что такое Data Governance Framework
Если управление данными внедряют не в одном подразделении, а на уровне всей организации, можно опираться на готовые методологии. Они не обязательны для старта, но помогают выстроить систему последовательно и проверить, какие области не учтены.
- Data Governance Framework — модель, которая описывает роли, правила, процессы, метрики и инструменты управления данными.
- DAMA-DMBOK — справочник по управлению данными: показывает, какие области и практики входят в Data Management.
- DCAM — модель оценки зрелости: помогает определить, насколько эти области развиты в компании и где есть пробелы.
Главное различие: DAMA-DMBOK показывает состав и содержание практик, DCAM оценивает уровень их развития, а Data Governance Framework связывает роли, правила и процессы в единую модель управления.
При выборе Framework учитывают бизнес-задачи, масштаб организации, требования законодательства и текущую зрелость, чтобы не внедрять лишние практики и процессы.
Как связаны управление данными, качество данных, MDM и каталог данных
Когда в отчете появляется дубль контрагента или пропадает ИНН, проблему нельзя решить только в BI. Нужно понять, где возникла ошибка: в источнике, справочнике, правилах заполнения или передаче данных.
| Область | За что отвечает | Пример |
|---|---|---|
| Управление качеством данных | Проверяет полноту, точность, актуальность и согласованность данных | Находит записи без ИНН и дубли контрагентов |
| Управление мастер-данными | Поддерживает единые справочники и формирует эталонные записи | Объединяет дубли одного контрагента в одну запись |
| Управление метаданными | Описывает значение, формат, источник, владельца и связи данных | Показывает, что означает поле ИНН, откуда оно поступает и где используется |
| Каталог данных | Помогает находить данные и сведения о них | Показывает, где находится справочник контрагентов и кто за него отвечает |
| Путь информации от источника до отчета | Показывает происхождение данных и их преобразования | Показывает путь ИНН из 1С через интеграционные процессы в DWH и BI |
Эти области связаны с одним объектом, но решают разные задачи: управление данными задает требования и назначает ответственных, а контроль качества, управление мастер-данными и метаданными, каталог и отслеживание пути данных помогают применять и контролировать эти требования на разных этапах работы.
Как внедрить Data Governance в компании
Внедрение лучше начать с одной области данных — например, с контрагентов или номенклатуры. Так проще проверить правила на реальном процессе, измерить эффект и не масштабировать изменения сразу на всю организацию.
- Зафиксировать бизнес-проблему. Выбрать конкретный риск: расхождения в отчетах, дубли, неясный источник показателя или лишние права доступа. Зафиксировать его в измеримых показателях.
- Проверить текущее устройство работы. Определить роли, документы, правила, процессы, источники и системы, а также найти места, где возникают ошибки.
- Выбрать домен для пилота. Подойдут «Клиент», «Контрагент», «Номенклатура» или «Финансовая отчетность». Лучше выбрать домен, где проблема существенна для бизнеса и где можно быстро проверить изменения на ограниченном наборе процессов и систем.
- Назначить владельца и ответственного за ведение данных. Владелец принимает решения по домену, а ответственный за ведение данных ведет ежедневную работу с терминами, качеством информации и инцидентами.
- Выбрать критичные элементы и термины. Определить ключевые поля и показатели, связанные с проблемой пилота, и зафиксировать их бизнес-определения.
- Установить базовые правила. Задать требования к качеству информации, порядок обработки ошибок, правила доступа и изменения терминов и показателей.
- Описать источники и потоки данных. Зафиксировать источники, преобразования и системы, где используют результат. Пример потока с использованием решений Денвик Аналитика: 1С → Экстрактор 1С → DVT → DWH → BI. Данные из нескольких баз 1С получают через Экстрактор 1С, объединяют и преобразуют в DVT, а затем передают в DWH или витрину данных для BI.
- Измерить результат пилота. Сравнить время обработки инцидентов, количество ручных сверок, долю заполненных критичных полей, долю описанных критичных элементов и число повторных ошибок.
- Масштабировать практику. При подтвержденном результате подключить следующие домены, расширить каталог корпоративной информации и автоматизировать проверки.
Как оценить зрелость Data Governance
Зрелость Data Governance показывает, насколько устойчиво организация соблюдает правила: роли закреплены, процессы работают, требования зафиксированы, а результат регулярно контролируют.
Наличие IT-инструментов само по себе о зрелости не говорит.
- Что оценивать. Стратегию, роли и ответственность, политики и стандарты, качество, метаданные, доступ, архитектуру и интеграции, метрики и культуру работы с информацией.
- Как провести первичную самооценку. Оценить каждую область по шкале от 1 до 5: от отсутствия практики до стабильной работы с регулярным улучшением.
- Когда использовать модель оценки зрелости DCAM. Если бизнесу нужно проанализировать текущее состояние управления данными, найти пробелы и определить приоритеты развития.
- Как расставить приоритеты. Сначала оценить влияние слабых областей на бизнес-цели. К примеру, при расхождениях в отчетности приоритетом станут единые определения показателей и качество их источников. Формализацию менее значимых процессов можно отложить.
KPI и метрики Data Governance
Метрики Data Governance показывают два результата: насколько четко закреплены правила и ответственность и какой эффект это дает бизнесу. Первые показатели отражают работу программы, вторые — изменения в операционных результатах.
- Ответственность. Доля критичных доменов, терминов и наборов данных, за которыми закреплены ответственные.
- Описание и прослеживаемость. Доля согласованных терминов, описанных критичных элементов и потоков с путем от источника до результата.
- Инциденты. Количество открытых и повторных проблем, среднее время устранения и доля инцидентов, закрытых в установленный срок.
- Соблюдение правил. Доля пересмотренных прав доступа, число нарушений стандартов и результаты автоматических проверок.
- Бизнес-эффект. Время подготовки отчетов, количество ручных сверок, конфликтов при расчете показателей и повторных ошибок.
Состав метрик и KPI зависит от задачи программы. Если отчеты расходятся, в центре внимания — единообразие расчетов, время поиска причины ошибки и объем ручных сверок. Процент улучшения заранее не задают: сначала измеряют исходную ситуацию, затем смотрят, как изменились показатели после внедрения правил.
Типичные ошибки при внедрении Data Governance
Ошибки в управлении данными приводят к повторным сверкам, спорным показателям и лишней ручной работе, если у правил нет владельца или они не встроены в процессы.
| Ошибка | Что происходит | Как избежать |
|---|---|---|
| Ответственность передают только IT | Правила не учитывают бизнес-смысл показателей и приоритеты подразделений | Бизнес определяет правила, IT реализует их в системах |
| Начинают с покупки платформы | Инструмент не решает проблему без владельцев данных, критериев качества и рабочих процессов | Сначала определить правила и ответственность, затем подобрать ПО под конкретные задачи |
| Охватывают все данные сразу | Проект растягивается, а бизнес долго не получает измеримый результат | Начать с одной критичной области данных и заранее определить цель пилота |
| Назначают ответственных без полномочий | Ответственный не может утвердить термин, доступ или приоритет исправления | Закрепить полномочия и зоны ответственности |
| Исправляют ошибки только в отчете | Причина остается в системе-источнике, поэтому ошибка снова появляется | Исправлять первопричину в источнике или в утвержденной точке обработки данных |
Пример Data Governance для домена «Контрагент»
В нескольких базах 1С и CRM один контрагент записан по-разному, часть карточек не содержит ИНН, а отчеты показывают разные суммы продаж. Это приводит к ручным сверкам и затрудняет контроль показателей.
Чтобы исправить ситуацию, сначала закрепляют ответственность за домен. Владельца данных назначают из финансового или коммерческого блока, а ответственного за ведение данных — из специалистов по НСИ (нормативно-справочной информации).
Для домена определяют критичные элементы: ИНН, КПП, наименование, юридический статус и идентификатор эталонной записи. Для ИНН задают обязательность, допустимый формат, уникальность и правила обработки исключений. Карточки проверяют по этим требованиям перед использованием в отчетности.
Пример потока данных:
1С → Экстрактор 1С → DVT → DWH → BI Битрикс24 → Коннектор Битрикс24 → DVT → DWH → BI
Экстрактор 1С и Коннектор Битрикс24 передают записи, а DVT сопоставляет и преобразует их. Если BI показывает расхождение, ответственный за ведение данных регистрирует инцидент и находит причину, а владелец данных утверждает способ исправления. После изменения результат проверяют повторно. Если исправление нужно вернуть в 1С, Инжектор 1С выполняет обратную загрузку по заданным правилам с проверкой и журналированием операции.
Для пилота измеряют долю заполненных обязательных полей, количество дублей, время устранения инцидентов и число ручных сверок. Конкретные результаты зависят от исходного состояния домена и требуют фактических замеров.
Как технологический контур Денвик Аналитика поддерживает Data Governance
Денвик Аналитика помогает реализовать техническую часть Data Governance: связать 1С, CRM, DWH и BI и перенести утвержденные правила в работу систем. Бизнес определяет владельцев областей данных, требования к полноте, точности и актуальности информации, правила расчета показателей и порядок исправления ошибок. На основе этих правил технический контур проверяет записи, преобразует их и передает между источниками.
- Экстрактор 1С — автоматически выгружает данные из 1С в аналитические системы.
- Коннектор Битрикс24 — передает сведения из CRM в DVT для дальнейшего сопоставления и преобразования.
- DVT — сопоставляет источники, преобразует и объединяет информацию по заданным правилам.
- DWH и BI — DWH хранит подготовленные сведения, а BI использует их для отчетности и анализа.
- Инжектор 1С — загружает обратно подготовленные данные из DWH или внешних систем в 1С по заданным правилам.
- Журналы и статусы — фиксируют ход загрузок, ошибки и результат выполнения операций.
Такой контур позволяет технически выполнить конкретное правило: проверить обязательное поле, сопоставить записи, применить преобразование или вернуть исправление в источник. Он не определяет бизнес-смысл информации, не назначает ответственных и не заменяет каталог данных.
Решения Денвик Аналитика стоит рассмотреть, если правила и роли Data Governance уже определены или находятся в разработке, а организации требуется связать 1С, CRM, DWH и BI и выполнять между ними согласованные проверки, преобразования и обмен.