How to create a DataOps process for Data Quality and Data Testing

Laut einem Bericht von IDC wird die globale Datenwelt voraussichtlich von 33 Zettabytes im Jahr 2018 auf 175 Zettabytes im Jahr 2025 anwachsen. Das heißt, dass Unternehmen inzwischen Zugang zu enormen Daten haben, die mehrere Abteilungen und Quellen umfassen.

Dennoch stehen Unternehmen laut einer Umfrage von Gartner zum Thema Datenmanagement noch immer vor zwei großen Herausforderungen: Daten zu finden, die einen Mehrwert bieten, und die Datenverwaltung und -sicherheit zu unterstützen.

Und hier kommt ein Datenkatalog ins Spiel.

Was ist ein Datenkatalog genau und warum ist er wichtig?

Ein Datenkatalog ist ein organisiertes Verzeichnis von Datenbeständen, das Datenanwendern hilft, schnell die am besten geeigneten Daten für Geschäftszwecke zu finden. Mithilfe von Metadaten erstellt er einen informierten Datensatz aller Daten in einem Unternehmen.

In den meisten Fällen wird der Datenkatalog mit Tools bereitgestellt, die es den Nutzern ermöglichen, ihre Daten zu verwalten:

• Den Datenkatalog zu durchsuchen
• Die Nutzung von Daten in Bezug auf Vorschriften und Richtlinien zu verwalten
• Die Ermittlung relevanter und verwandter Daten, die nicht gesucht werden mussten, zu automatisieren

Um das gesamte Konzept des Datenkatalogs und seine Bedeutung zu verstehen, müssen wir zunächst die Metadaten verstehen. Bei Metadaten handelt es sich um Daten von Daten. Oder, einfach ausgedrückt, ein Satz von Daten, der Informationen über andere Daten enthält.

Mithilfe von Metadaten können Datenbenutzer schnell Informationen über Datenbestände finden. In einem Datenkatalog kommen Metadaten in drei Formen vor.

• Geschäftliche Metadaten. Beschreibt den geschäftlichen Wert, den ein Datensatz für ein Unternehmen hat. Sie können auch den/die Zweck(e) dieser bestimmten Daten und die damit verbundenen gesetzlichen Vorschriften beschreiben.
• Technische Metadaten. Sie beschreiben die Form, in der die Daten präsentiert werden. Sie können in Tabellenform, Diagrammen, Säulen oder Registern dargestellt werden. Technische Metadaten informieren die Datennutzer darüber, ob die Daten in einem geeigneten Format vorliegen, mit dem sie arbeiten können, oder ob sie sie ändern müssen.
• Prozess-Metadaten. Diese Art von Metadaten gibt die Umstände der Datenerstellung an und gibt an, wer auf die Daten zugegriffen, sie geändert, aktualisiert oder verwendet hat.

Die Datenkatalogsoftware, die Sie auswählen, sollte alle oben genannten Metadatenfunktionen unterstützen.

Welche Probleme lassen sich mit einem Datenkatalog lösen?

Ein Datenkatalog ist vor allem eine Lösung für das Problem der Datensilos. Mit einem Datenkatalog lässt sich dieses Problem lösen, indem die Herkunft und der Kontext der Daten in einem einzigen, leicht zugänglichen Portal zusammengefasst werden.

Dies bedeutet, dass ein Unternehmen besser in der Lage ist, die Datennutzung zu verwalten, die Datenintegrität aufrechtzuerhalten und die Zusammenarbeit der Beteiligten zu fördern.

Ein Datenkatalog ermöglicht es Unternehmen, die Daten zu überprüfen, um sicherzustellen, dass sie aus einer seriösen Quelle stammen, regelmäßig aktualisiert werden, um ihre Genauigkeit zu gewährleisten, und dass sie je nach Verwendung und Wert für das Unternehmen in den richtigen Kontext eingeordnet werden.

Warum benötigen Unternehmen einen Datenkatalog?

Mit anderen Worten: Welche Bedeutung hat ein Datenkatalog für ein Unternehmen und seine Endbenutzer?

1. Hilft Unternehmen, ihre Informationen zu nutzen, zu managen und zu verbessern

Unternehmen benötigen einen Datenkatalog, da er ihnen hilft, den Wert der ihnen zur Verfügung stehenden Informationen zu verwalten und zu verbessern. Mit einem Datenkatalog können Unternehmen die Art der Daten, auf die sie Zugriff haben, die Lücken, die geschlossen werden müssen, und den Nutzen, den sie aus diesen Informationen ziehen, verstehen. Der Überblick über diese Aspekte hilft Unternehmen, ihre Datenstrategie zu optimieren.

2. Finden und kategorisieren Daten im Maßstab

Mit einem Datenkatalog können die Nutzer Daten leicht finden und sie nach Anwendungsfall kategorisieren. Auf diese Weise wird die Effizienz erhöht, die Genauigkeit der Daten gefördert und die Entscheidungsfindung verbessert.

3. Fördern die digitale Transformation wie maschinelles Lernen (ML) und künstliche Intelligenz (KI)

Gartner zufolge werden bis 2022 mehr als 60 % der traditionellen IT-geführten Datenkatalogprojekte, die keine ML zur Unterstützung der Dateninventarisierung einsetzen, nicht fristgerecht durchgeführt werden. Das zeigt, wie wichtig Technologien wie ML und KI für das Datenmanagement von Unternehmen sein werden.

Verfügt ein Unternehmen über einen Datenkatalog, kann es die Nutzung dieser transformativen Technologien besser annehmen. Das liegt daran, dass die Daten leicht zugänglich sind, in großer Menge vorliegen und im Kontext stehen, so dass sie manipuliert und optimiert werden können.

4. Verbessern die Abläufe in allen Abteilungen eines Unternehmens

Für erfolgreiche Unternehmen sind Daten seit langem eine Geheimwaffe. Ein Dateninventar macht es einfacher, Geschäftsabläufe zu optimieren und sich einen Wettbewerbsvorteil zu verschaffen. Bei einem Datenkatalog sind die Daten nicht in einer wenig hilfreichen Hierarchie, die nur Abteilungen zugänglich ist, untergebracht. Vielmehr kann jede Abteilung auf die Daten zugreifen, die ihr bei der Durchführung von Operationen und datengestützten Entscheidungen helfen.

Verbessern die Datensichtbarkeit und die Durchsetzung von Datenrichtlinien

Mit der Einführung von GDPR und dem California Consumer Privacy Act (CCPA) müssen Unternehmen einen zusätzlichen Schritt unternehmen, um sicherzustellen, dass diese Vorschriften eingehalten und durchgesetzt werden. Ein Datenkatalog erleichtert diese Arbeit, indem er Informationen über die Richtlinien für jeden Datensatz bereitstellt und die Einhaltung der Datenverwendung überwacht.

Warum ist ein Datenkatalog für Data Governance wichtig?

Ein Datenkatalog bringt Effizienz in die Data Governance, lautet die einfachste aller Erklärungen. Ein Datenkatalog hilft einem Unternehmen zu verstehen, welche Daten in welchem Umfang verwaltet werden müssen.

Letztlich wird ein Datenkatalog zu einem standardisierten, strategischen und vertrauenswürdigen Tool, das Data Governance ermöglicht. Hier erfahren Sie, wie ein Datenkatalog zu Data Governance beiträgt:

Die Automatisierung fördert eine bessere, aber kontrollierte Zusammenarbeit zwischen allen Beteiligten und erleichtert die Nachverfolgung von Lieferungen, Änderungen und der Datennutzung.

Der Einsatz von maschinellem Lernen in Datenkatalogen verbessert die Datennutzung, die Verwaltung und vor allem die Governance.

Datenkataloge für die Nutzung innerhalb eines Unternehmens

Ein Datenkatalog hat in der Regel einen Schneeballeffekt für alle relevanten Personen in einer Organisation. Betrachten wir zunächst einmal, wie ein Datenkatalog das Spiel für Chief Data Officers, Data Stewards und Data Stewards verändert.

1. Chief Data Officers

Chief Data Officers sind für die Entwicklung der Unternehmensdatenstrategie eines Unternehmens verantwortlich. Sie haben das Ziel, Daten zu verwalten und den Zugriff darauf zu erleichtern. Doch diese beiden Ziele sind auch ihre größte Herausforderung. Wenn ein Datenkatalog ins Spiel kommt, können Chief Data Officers:

Den Wert und die Zuverlässigkeit von Daten in allen Phasen der Erstellung, des Zugriffs und der Änderung definieren.

Ein schnelleres Erlernen von Datenkenntnissen innerhalb einer Organisation ermöglichen.

Den Kontext von Datensätzen für Datenexplorer und -nutzer verbessern.

Die Einhaltung von Vorschriften in Bezug auf Datennutzung, -zugriff und -erstellung fördern.

2. Dateneigner

Die Dateneigner verfügen in der Regel über technisches und operatives Wissen über Daten und sind daher der erste Ansprechpartner für die meisten Datenanfragen. Die größte Herausforderung für sie ist die Menge der Datenanfragen, die sie bearbeiten müssen, sowie die Einhaltung der Vorschriften und Regeln für die Nutzung der Daten. Mit einem Datenkatalog können Dateneigner besser:

Datenwissen (Kontext und Vorschriften) in einer einzigen Plattform bündeln.

Die Datendokumentation erweitern und beschleunigen.

Die Kommunikation mit Datenexplorern verbessern.

Den Wert von Daten qualifizieren und sicherstellen, dass sie aufrechterhalten werden.

3. Data Scientists & Datenanalysten

Diese Mitarbeiter sind für die Entwicklung von Analyse- und sogar Vorhersagemodellen verantwortlich, die die Daten für die Durchschnittsperson in einem Unternehmen verständlich machen. Sie bauen Data Warehouses, analytische Modelle sowie ML und KI auf und nutzen sie, um dieses Ziel zu erreichen.

Die größte Herausforderung für Data Scientists und Datenanalysten ist die Kommunikation mit nicht-technischen Interessengruppen und die Zeit, die für die Datenaufbereitung benötigt wird. Die Einführung eines Datenkatalogs ermöglicht es ihnen,:

• Daten einfach und schnell zu finden, um beim Erstellen von Modellen Zeit zu sparen.
• Auf die Historie der Daten zuzugreifen, um Relevanz, Genauigkeit und Datenschutz im Laufe der Zeit zu bestimmen.
• Den geschäftlichen und beruflichen Kontext von Daten zu verstehen, um die Kommunikation mit nichttechnischen Interessengruppen zu verbessern.
• Mit anderen Datenanwendern zur besseren Verwaltung zu kooperieren und Daten zu inventarisieren.

Wie wird ein Datenkatalog in der Data-Lineage genutzt?

Die Datenherkunft stellt den Weg dar, den die Daten von der Quelle bis zu ihrem aktuellen Speicherort nehmen, und zeigt alle Änderungen, die auf diesem Weg vorgenommen wurden. Die Unternehmen müssen die Data-Lineage verstehen, denn nur so können sie sicherstellen, dass ihre Daten aus seriösen Quellen stammen und mit vorschriftsmäßigen Methoden erworben wurden.

Der Datenkatalog unterstützt diese Notwendigkeit, indem er dabei hilft:

• Der Vertrauenswürdigkeit von Daten auf der Grundlage ihrer Quellen zu bewerten.
• Fehlerquellen aufzuspüren.
• Sicherzustellen, dass Datenflüsse nicht verfälscht werden können.
• Wege zur Überprüfung von Datenvorschriften und -richtlinien bereitzustellen.

Ein Datenkatalog reicht jedoch nicht aus, um Relevanz, Verlässlichkeit und Genauigkeit der Daten zu fördern. Um die drei Punkte weiter zu unterstützen, benötigen Unternehmen die Hilfe von Software zur Sicherung und Validierung der Data Quality.

Die Data Quality-Software Lösung BiG EVAL unterstützt Unternehmen bei der Qualitätssicherung von Unternehmensdaten durch kontinuierliche Qualitätsprüfungen. BiG EVAL wertet dazu Datenquellen aus, wendet umfassende Prüfalgorithmen an, überprüft die Sicherheitsimplementierung und sendet bei mangelhafter Data Quality Warnungen an die zuständigen Personen.

BiG EVAL ist außerdem in der Lage, innerhalb seiner Qualitätssicherungsalgorithmen einen Datenkatalog zu nutzen. Dadurch ist es in der Lage, die gesamte Datenumgebung zu entdecken und die entsprechenden Validierungsprüfungen vollautomatisch durchzuführen, sofern dies sinnvoll ist.

BiG EVAL hilft Ihnen, die Qualität Ihrer Unternehmensdaten durch Validierung und Testautomatisierung zu sichern.

Vereinbaren Sie noch heute eine persönliche Demo, um zu sehen, wie BiG EVAL die Daten Ihres Unternehmens verbessern kann.