Каталог данных: от идеи до внедрения

Каждая компания хранит какие-то данные, но часто при этом ни у кого нет полной картины, где и какие. Нередки случаи, когда команды даже не в курсе, какие метрики собирают соседи.

А еще, сведения о хранимых данных могут потребоваться и для выполнения compliance-требований, обеспечения безопасности их хранения, и т. д.

В связи с этим как никогда важным становится внедрение лучших практик по работе с данными – DataGovernance. Наиболее популярное их описание – DAMA-DMBOK2, где содержится 11 разделов, которым стоит уделить внимание.

Я в докладе планирую остановиться на одном из них – Метаданных, и рассказать, как можно внедрить у себя в компании Каталог данных, заполнить его, реализовать систему обновления, и некоторых технических решениях, которые для этого применимы.

В результате такого внедрения появится актуальная информация о том, где какие датасеты хранятся, возможности поиска по ним, когда надо рассчитать какую-то метрику, а также понимание, где, что и с какими усилиями защищать.