Datenvalidierung: Was, Wie, Warum?

Untersuchungen zeigen, dass viele Unternehmen ihre Entscheidungen auf überholte, unbestätigte Daten stützen, was sich negativ auf ihre Nachhaltigkeit ausgewirkt hat. Ein Problem, das weiter zunehmen wird, da das Vertrauen der Welt in die Analytik wächst. Mithilfe von Datenvalidierungstests können Unternehmen die Genauigkeit und Gültigkeit ihrer Datenbanken überprüfen und bessere Entscheidungen treffen. In diesem Artikel erfahren Sie alles, was Sie zu diesem Thema wissen müssen.

Hilfreiche Definitionen

Testen der Datenintegrität: Die Datenintegrität befasst sich mit der Qualität der Daten in einer Datenbank und der Ebene, auf der die Benutzer die Datenqualität, Zuverlässigkeit und Integrität prüfen. Das Testen der Datenintegrität gewährleistet, dass alle Daten in der Datenbank korrekt sind und wie erwartet funktionieren.

Testen der Datenmigration: ein Prozess, der Migrationen von Altsystemen zu neuen Systemen überprüft. Dabei wird sichergestellt, dass der Prozess nur eine begrenzte Ausfallzeit erfordert, dass die Daten ihre Integrität behalten und dass sie nicht verloren gehen.

Trainingssätze und Testsätze: Trainingsätze werden verwendet, um Datenmodelle zu erstellen, und Testsätze werden verwendet, um die erstellten Modelle zu validieren. Die Datenpunkte, die im Trainingsset verwendet werden, werden nicht in das Test-/Validierungsset aufgenommen.

Was ist Datenüberprüfung?

Datenvalidierung oder Datenvalidierungstests, wie sie in der Informatik verwendet werden, bezeichnen die Aktivitäten/Vorgänge, die unternommen werden, um Daten zu optimieren, damit sie ein hohes Maß an Qualität erreichen. D.h., dass sie sowohl nützlich als auch genau sind. Dabei handelt es sich um eine automatisierte Prüfung, mit der sichergestellt wird, dass die Dateneingabe vernünftig und akzeptabel ist. Der Prozess der Datenvalidierung stützt sich auf Routinen (auch als "Validierungsregeln" oder "Validierungsbeschränkungen" bezeichnet). Die Regeln können durch die automatisierten Fähigkeiten eines Datenwörterbuchs oder durch die Integration einer expliziten Programmvalidierungslogik ausgeführt werden.

Die Bedeutung der Datenvalidierung

Die Validierung der Klarheit, Genauigkeit und Einzelheiten Ihrer Daten ist unerlässlich, um Projektunregelmäßigkeiten zu vermeiden. Wenn Sie Ihre Daten nicht überprüfen, werden Sie Ihre Entscheidungen wahrscheinlich auf einen unvollkommenen Datensatz gründen, der die Situation nicht vollständig widerspiegelt.

Zudem kann die Datenvalidierung durch Anwendungen wie das kontinuierliche Testen von Daten auch wohlgeformte, aber falsche Daten identifizieren und eliminieren.

Hinweis: Vergessen Sie nicht, dass die Überprüfung Ihrer Dateneingaben und -werte zwar unerlässlich ist, dass Sie aber auch Ihre Datenmodelle unbedingt validieren müssen. Ist Ihr Modell nicht richtig aufgebaut oder strukturiert, werden Sie bei dem Versuch, Ihre Datendateien in verschiedenen Anwendungen und Software zu verwenden, auf Probleme stoßen.

Wie Datenvalidierungstests funktionieren

Die Prüfung der Datenvalidierung umfasst vier wesentliche Schritte

1 Planung

Dies ist der wichtigste Teil des Prozesses. Er umfasst die Ausarbeitung einer geeigneten Strategie für den Datenvalidierungsprozess. Es geht um die allgemeine Möglichkeit, dass es in den Quelldaten Unstimmigkeiten gibt, und um die Maßnahmen, die erforderlich sind, um die festgestellten Probleme zu lösen.

2 Validierung der Datenabfolge

In diesem Schritt wird sichergestellt, dass alle relevanten Daten von der Quelle bis zum Ziel vorhanden sind. Hierbei werden die Anzahl der Datensätze, die Datengröße und der Vergleich von Quelle und Ziel auf der Grundlage des Datenfelds bestimmt.

Diese Phase kann auch den Einsatz von maschinellem Lernen beinhalten, um die Datenbank durch den Vergleich von Test- und Trainingsdatensätzen zu validieren. Durch den Vergleich von Test- und Trainingsdaten werden die Auswirkungen von Unregelmäßigkeiten in den Daten begrenzt und die Eigenschaften des Datenmodells leichter nachvollziehbar.

Training Vs. Testdaten

Ein Trainingssatz wird zum Aufbau eines Datenbankmodells verwendet, ein Testsatz zur Validierung des erstellten Modells. Einfach ausgedrückt: Die Trainingsdaten passen sich dem Modell an, und die Testdaten werden verwendet, um es zu prüfen.

3 Validierung der Datenformatierung

Das Ziel ist es, sicherzustellen, dass die Daten im Zielsystem lesbar sind.

Die Endbenutzer der Daten sollten die Daten klar verstehen, damit sie bestimmen können, ob sie den Erwartungen entsprechen oder nicht.

4 Stichprobe

Vor dem Testen großer Datensätze ist es wichtig, Stichproben zu nehmen. Durch das Testen kleiner Datenmengen können Sie sicherstellen, dass diese den Anforderungen entsprechen. Zudem wird dadurch die Fehlerquote begrenzt und die Genauigkeit und Qualität der Daten erhöht. Testen umfasst eine Vielzahl von Methoden und Tools.

Nutzen Sie zum Beispiel das weltweit größte Data Validation Resource Center und wählen Sie den besten Anwendungsfall aus.

Vorteile der Datenvalidierung

Mit Hilfe von Datenvalidierungstests können Einzelpersonen sicherstellen, dass die Daten, die aus verschiedenen Quellen gesammelt wurden (unabhängig davon, ob es sich um strukturierte oder unstrukturierte Daten handelt), die Anforderungen erfüllen. Dieser Nutzen mag auf den ersten Blick offensichtlich erscheinen, aber er ermöglicht mehrere praktische Anwendungen, die erhebliche Vorteile mit sich bringen.

Verbesserte Effizienz

Manuelle Datenverarbeitung (Papierwege) verlangsamt die Verwaltungsabläufe und erhöht die Wahrscheinlichkeit menschlicher Fehler. Beispielsweise kann die Bearbeitung von Papierbelegen und der Abgleich von Überweisungsdetails die Buchhaltung stundenlang aufhalten. Vor diesem Hintergrund können Datenvalidierungstests den Abstimmungsprozess verkürzen und die Wahrscheinlichkeit von Betrugsfällen verringern. Da die Abläufe automatisiert sind, ist auch das Risiko von Fehlern begrenzt.

Dank der durch Datenvalidierungstests erzielten Verbesserungen können die Finanzabteilungen schneller arbeiten und sind weniger anfällig für Fehler.

Die anhaltende Fragmentierung der IT-Datenindustrie, die aus der Consumerization von Computerressourcen, fortschrittlichen Leistungsanalysen und der Verbreitung von Serviceangeboten Dritter resultiert, hat es Unternehmen erschwert, Daten umfassend zu erfassen, zu integrieren und so zu verarbeiten, dass sie aussagekräftige, genaue Analysen für die Entscheidungsfindung liefern.

Es ist nicht überraschend, dass mit der zunehmenden Komplexität der IT-Systeme auch die Ungenauigkeit der Unternehmensdaten zunimmt.

Untersuchungen zeigen, dass mehr als 90 % der Unternehmen vermuten, dass ihre Interessenten- und Kundendaten ungenau sind, und Untersuchungen zeigen, dass fast 50 % aller Geschäftsinitiativen ihren beabsichtigten Nutzen nicht erreichen.

Es spielt keine Rolle, wie schnell, wie umfangreich oder wie vielfältig die Datentypen sind. Wenn bei den gesammelten Daten wichtige Merkmale fehlen, sie falsch ausgerichtet oder unzuverlässig sind, wird die Effektivität der Arbeitsabläufe eingeschränkt. Außerdem können sie nicht für Entscheidungsfindungsmodelle verwendet werden.

Bessere Entscheidungsfindung

Oftmals richten Unternehmen ihren Fokus auf die Datenanalyse, ohne die Komplexität der Verwaltung des Datenerfassungsprozesses zu berücksichtigen. Entscheidungen von Führungskräften sind jedoch nur so gut wie die Daten, auf denen sie beruhen, und die Daten selbst sind nur so zuverlässig wie ihr Genauigkeitsgrad.

Datenvalidierung bietet die Möglichkeit, die Genauigkeit der Quellen von Datensätzen mathematisch zu bewerten und bei der Datenkonsolidierung Scoring-Modelle anzuwenden, so dass die Inhalte des erhaltenen endgültigen Datensatzes von höchster Genauigkeit sind.

Dank der Datenvalidierungstests können Unternehmen eine umfassende kontextbezogene Historie ihrer Daten in der gesamten Umgebung erhalten, die Zeit bewerten, die zur Lösung und Behebung aktueller Probleme benötigt wird, und zukünftige Herausforderungen vorhersagen.

Bei Kundendatenbanken sehen sich Unternehmen oft mit Datensätzen konfrontiert, die veraltete, unvollständige und unbestätigte Daten enthalten, weil die Informationen aus manuellen Quellen und mit unzureichenden elektronischen Hilfsmitteln erfasst wurden. Mit den geeigneten Tools zur Datenvalidierung können Unternehmen einen Echtzeiteinblick in ihre Daten erhalten und diese nutzen, um präzise Geschäftsentscheidungen zu treffen.

Systemübergreifendes Vertrauen

Die Entwickler stehen unter großem Druck, ständig Ergebnisse zu liefern. Tests zur Datenvalidierung können System- und Komponententests durchführen, die sicherstellen, dass das Endergebnis wie gewünscht ausfällt. Wiederholbare und zuverlässige Tests gehören zum Standardprotokoll und können durch automatisierte Tests effizient durchgeführt werden. Statt einzelne Abschnitte zu testen und gelegentlich punktuelle Korrekturen vorzunehmen, können Sie bei jeder Veröffentlichung wiederholbare Tests des gesamten Systems und der Komponenten durchführen, um sicherzustellen, dass alles so funktioniert, wie es soll.

Es ist von entscheidender Bedeutung, dass Sie Vertrauen in die von Ihnen bereitgestellten Daten haben. Ob Sie die Datentests mit einem internen Team durchführen (oder sie auslagern), die Qualität Ihrer Daten wirkt sich direkt auf die Qualität der Endbenutzererfahrung aus.

Beliebte Arten der Datenüberprüfung

Stichproben

Die derzeit bekannteste Form der Datenvalidierung ist die Stichprobenprüfung (auch bekannt als "stare and compare"). Obwohl dies eine schnelle und relativ effektive Validierungsmethode ist, birgt sie das Risiko, dass große Datensätze nicht gründlich getestet werden.

Anzuwendende Geschäftsregeln.

Testfälle erstellen

Jedes Mapping hat normalerweise einen eigenen Testfall. Testfälle haben zwei SQL-Abfragen (oder SQL für Hadoop). Eine Abfrage bezieht Daten aus den Quellen (Datenbanken, Flat Files, Webservices, XML und andere) und die zweite Abfrage extrahiert Daten aus dem Ziel (Big Data-Speicher oder Data Warehouses).

Tests ausführen und Ergebnisse exportieren

SQL-Editoren (wie Squirrel, Toad oder andere) werden für die Implementierung der Tests verwendet und die Testergebnisse der beiden Abfragen werden in zwei Excel-Tabellen gespeichert.

Vergleichen

An diesem Punkt müssen Sie alle Ergebnissätze in der Originalkalkulationstabelle mit der Zielkalkulationstabelle nach Augenmaß vergleichen. Sie müssen viel blättern, um zehn- oder sogar hunderttausende von Zeilen zu vergleichen.

Nachteile der Stichproben

Ein effektiver Vergleich von Millionen von Datensätzen ist nicht möglich. Daher werden weniger als 1 % der Daten analysiert, wodurch die Wahrscheinlichkeit von Fehlern sehr hoch ist.

Minus-Abfragen

Die Minus-Query-Data-Testmethode ist die zweitbeliebteste Methode zum Testen des ETL-Prozesses (Extrahieren, Transformieren, Laden) und gewährleistet, dass die ETL-Mapping-Spezifikationen wie gewünscht implementiert wurden.

Was ist eine Minus-Abfrage?

Eine Minus-Abfrage nutzt den Minus-Operator in SQL, um die Differenz zwischen zwei Datensätzen zu ermitteln.

Der SQL-Minusoperator liefert alle Zeilen mit der ersten Select-Anweisung, die nicht von der zweiten Select-Anweisung erzeugt werden. Jeder Select-Befehl definiert einen Datensatz. Der Minus-Operator nimmt alle Datensätze aus dem ersten Datensatz und entfernt dann aus den Ergebnissen alle Datensätze aus dem zweiten Datensatz.

Hinweis: Der Minus-Operator wird nicht in allen SQL-Datenbanken unterstützt. Er kann in Datenbanken wie Oracle verwendet werden. Für Datenbanken, die PostgreSQL, SQL Server und SQLite enthalten, muss jedoch der except-Operator verwendet werden, um eine Abfrage durchzuführen.

Syntax des Minus-Operators

Die Syntax für einen Minus-Operator in SQL lautet wie folgt;

SELECT variable1, variable2, ...Variable_n from tables. [where conditions]

MINUS

SELECT variable1, variable2, ... Variable_n from tables [where conditions];

Parameter oder Argumente

Variable1, variable2, variable_n sind die Berechnungen oder Spalten, die abgerufen werden sollen.

Die Tabellen sind die Tabellen, aus denen die Datensätze abgerufen werden sollen.

Mindestens eine Tabelle muss in der from-Klausel aufgeführt sein.

Wo-Bedingungen sind nicht erforderlich. Dies sind Bedingungen, die erfüllt sein müssen, bevor die Datensätze ausgewählt werden.

Hinweis: Die Anzahl der Ausdrücke in der ersten und zweiten select-Anweisung muss gleich sein.

Die entsprechenden Ausdrücke müssen in den Select-Anweisungen einen ähnlichen Datentyp haben. Zum Beispiel muss Ausdruck1 in beiden Select-Anweisungen denselben Datentyp haben.

So testen Sie mit Minus-Abfragen

Die Art und Weise, wie Sie Tests mit Minus-Abfragen durchführen, ist die Durchführung von Ziel-Minus-Quelle- und Quelle-Minus-Ziel-Abfragen für alle Daten, um sicherzustellen, dass der Datenextraktionsprozess keine Duplikate liefert und dass alle irrelevanten Spalten entfernt werden, bevor die Daten zur Validierung geladen werden.

Nachteile von Minus-Abfragen

Minus-Abfragen haben mehrere Nachteile. Weil sie keine Daten zurückgeben, wenn die Vergleichsmengen gleich sind, kann dies

die historische Analyse oder Überprüfung von Daten aus früheren Tests behindern

die Compliance-Anforderungen für Unternehmen beeinträchtigen, die Analyseergebnisse für Audits dokumentieren müssen

mögliche falsch-positive Ergebnisse liefern.

technischen Bedenken auslösen

Minus-Abfragen werden entweder in der Quell- oder in der Zieldatenbank durchgeführt, wodurch erhebliche Datenbankressourcen (Speicher, CPU und Lese-/Schreibvorgänge auf der Festplatte) verbraucht werden können.

Bei einer typischen Minusabfrage-Implementierung müssen Minusabfragen zweimal ausgeführt werden (Ziel-zu-Quelle und Quelle-zu-Ziel), was den Ressourcenverbrauch und die Ausführungszeit verdoppelt.

Informationen über die Seite verlieren, auf der die zusätzlichen Zeilen gefunden wurden, wenn direktionale Minus-Abfragen durch eine Vereinigung kombiniert werden (Vereinigungen reduzieren die Anzahl der Abfrageausführungen um die Hälfte).

Bei doppelten Zeilen die Ergebnismengen möglicherweise nicht genau darstellen (die Minus-Abfrage gibt möglicherweise nur 1 Zeile zurück, selbst wenn es doppelte Zeilen gibt).

Validierung der Produktion

Dieser Validierungsansatz, der auch als Produktionsabgleich oder Tabellenabgleich bezeichnet wird, gleicht die Daten des Produktionssystems mit den Quelldaten ab. Diese Methode verhindert fehlgeschlagene Ladevorgänge, fehlerhafte Logik und operative Prozesse, die nicht in das System geladen werden.

Testen von Metadaten

Bei diesem Test werden Datentypen, Längen, Beschränkungen und Indizes von Metadaten der ETL-Anwendung geprüft, d.h. Abgleichsummen, Laststatistiken und Data Quality-Metriken.

Leistungsprüfung

Auf diese Weise wird sichergestellt, dass die Daten innerhalb des erwarteten Zeitraums in das Data Warehouse geladen werden und dass die Reaktion des Test-Servers auf mehrere Benutzer und Transaktionen hinsichtlich Skalierbarkeit und Leistung zufriedenstellend ist.

Testen der Datenintegration

Dieser Test gewährleistet, dass alle Daten aus allen Quellen auf die richtige Weise in das Ziel-Data-Warehouse geladen wurden. Außerdem werden die Schwellenwerte überprüft.

So implementieren Sie die Datenüberprüfung

Um die Datenvalidierung für Ihre Projekte zu implementieren, benötigen Sie drei Arten von Tests, die so früh wie möglich in Ihrer Architektur eingesetzt werden sollten. Der Staging-Bereich ist der beste Ort, um damit zu beginnen.

Das Mapping der Datenbankspalten und -felder ist mit den Mappings am Frontend kompatibel

Länge und Namenskonventionen der Datenbankfelder und -spalten stimmen mit den Anforderungen überein.

Die Datenbankfelder ermöglichen den Benutzern die Eingabe der gewünschten Eingaben, wie in den Geschäftsanforderungsdokumenten angegeben.

Testen von Schlüsseln und Indizes

Wichtige Tests für Indizes und Schlüssel:

Prüfen Sie, ob die erforderlichen Fremd- und Primärschlüsselbegrenzungen für die gewünschten Tabellen erstellt worden sind.

Überprüfen Sie, ob die Fremdschlüsselreferenzen gültig sind.

Vergewissern Sie sich, dass der Datentyp des Primärschlüssels und der entsprechenden Fremdschlüssel in den beiden Tabellen ähnlich ist.

Testen gespeicherter Verfahren

Sie müssen überprüfen, ob die Entwicklungsteams folgende Anforderungen erfüllt haben

Freistellung und Fehlerbehandlung

Standardkonventionen für die Codierung

Datenbankserver-Validierung

Auch die Konfiguration des Datenbankservers muss den angegebenen Geschäftsanforderungen entsprechen.

Sie sollten außerdem:

die Berechtigung der erforderlichen Benutzer prüfen, um sicherzustellen, dass sie nur die erforderlichen Anwendungen ausführen.

Prüfen, ob der Datenbankserver in der Lage ist, die maximal zulässige Anzahl von Benutzeranfragen zu verarbeiten.

Funktionale Datenbanktests

Funktionale Datenbanktests dienen dazu, die funktionalen Möglichkeiten einer Datenbank aus der Sicht der Endbenutzer zu überprüfen.

Hauptziel der funktionalen Datenbanktests ist es, sicherzustellen, dass die von den Endbenutzern durchgeführten Operationen und Transaktionen wie erwartet funktionieren.

Überprüfung der Datenkonsistenz und -integrität

Die folgenden Kontrollen sind unerlässlich

Sind die Daten logisch aufgebaut?

Sind die Daten korrekt (entsprechend den Geschäftsanforderungen)?

Gibt es unnötige Daten in der getesteten Anwendung?

Sind die Daten gemäß den Anforderungen gespeichert worden?

Werden Transaktionen erfolgreich zurückgesetzt, wenn Transaktionen von den Endbenutzern nicht erfolgreich ausgeführt werden?

Entsprechen die auftretenden Transaktionen den erforderlichen Entwurfsverfahren, wie sie in den Geschäftsanforderungen des Systems festgelegt sind?

Nicht-funktionale Tests

Nicht-funktionale Tests (im Zusammenhang mit Datenbankvalidierungstests) werden in verschiedene Kategorien eingeteilt. Hierzu gehören Stresstests, Leistungstests, Benutzerfreundlichkeitstests und Sicherheitstests. Die meisten dieser Tests verringern zwar nicht direkt das Risiko von Datenfehlern, aber sie zeigen Möglichkeiten zur Korrektur und Behebung auf, die die Wahrscheinlichkeit von Fehlern verringern.

Häufige Fehler vermeiden

Die Nichtübermittlung von Änderungen ist einer der häufigsten Fehler bei der Datenvalidierung. Die daraus resultierenden Probleme mit dem Quellschema, wie z.B. Änderungen des Dateinamens von Dateien oder Tabellen, das Entfernen von Datenfeldern oder Änderungen der Datentypen, haben verschiedene Gründe, aber alle können zu Fehlern führen. Die Überwachung der Quelldaten des Schemas auf Änderungen kann helfen, solche Probleme zu erkennen.

Die Nichtpflege der Quellsystemdaten ist ein weiteres Problem: Datenbereinigung und -bereinigung sind wichtig. Es empfiehlt sich, einen Bereinigungsmechanismus nicht als Teil eines Datenintegrationsprozesses zu nutzen, sondern ihn zunächst in den Quelldaten zu korrigieren. Automatisierbare Testfälle für alle Bereinigungskorrekturen sind auf lange Sicht hilfreich, da manuelle Korrekturen menschliche Fehler hinzufügen können.

Zusammenfassung

Die Datenvalidierung ist ein wichtiger Bestandteil jeder Datenverarbeitungsaufgabe. Sind Ihre Daten nicht von Anfang an korrekt, werden es auch Ihre Ergebnisse nicht sein. Ob Sie nun Informationen vor Ort sammeln, Daten analysieren oder eine Präsentation für Interessengruppen vorbereiten, das ist einer der wichtigsten Gründe, warum Sie Daten vor ihrer Verwendung validieren müssen.

Auch wenn dies oft vernachlässigt wird, ist die Datenvalidierung ein wesentlicher Bestandteil eines jeden Daten-Workflows. Das liegt daran, dass die Datenvalidierung als eine undankbare, aber anspruchsvolle Aufgabe angesehen wird. Dieser Eindruck ist jedoch falsch, denn nur so können Sie bei jedem Projekt, das Datenverarbeitung erfordert, erfolgreiche Ergebnisse garantieren. Zwar können Sie einen Datenvalidierungsprozess von Grund auf neu erstellen, doch heutzutage können Sie mit Data Quality-Automatisierungsplattformen, die Datenvalidierungsprotokolle enthalten und automatisieren, Datenvalidierung effizient umsetzen und schnell Ergebnisse liefern.

Mithilfe dieser Tools können Sie die Überprüfung mühelos in Ihren Arbeitsablauf integrieren und so die mühsamen Aufgaben vermeiden, die damit oft verbunden sind.

Informieren Sie sich im weltweit größten Data Validation Resource Center