Das Data Warehouse Testkonzept

Das Testen eines Data Warehouse Systems beginnt bei der Erstellung eines gewissenhaften Testkonzepts. Was Ihr Testkonzept alles umfassen sollte, welche Testmethoden und Testwerkzeuge Ihnen zur Verfügung stehen, zeigen wir Ihnen nachfolgend.

Erstellen Sie ein sinnvolles Testkonzept

Um Ihr Data Warehouse System zu testen, gibt es kein universelles Rezept. Denn jedes System und jedes Projekt ist individuell und muss auch dementsprechend individuell getestet werden. Mal sind es technische Gegebenheiten und mal ist es einfach das Budget, welches die Schranken weist.

Auf jeden Fall sollten Sie aber von Anfang an ein gewissenhaftes Testkonzept erstellen, und sich dabei der folgenden Methoden bedienen:

Unit Tests

Während der Entwicklung werden einzelne Stücke des Codes auf dessen korrekte Funktionsweise getestet ohne deren Abhängigkeiten zu berücksichtigen. So können z.B. einzelne Daten-Transformations-Tasks oder sogar MDX-Formeln geprüft werden.

Integrationstests

Arbeiten die einzelnen Komponenten des System sauber zusammen? Dies kann nur geprüft werden, indem diese in einer Testumgebung bereitgestellt und übergreifend überprüft werden.

Daten Plausibilisierung

Dieser Prozess prüft ob die Daten präzise und glaubhaft sind. Durch das mit einbeziehen der Fachanwender erhöhen Sie den Wert dieser Testmethode.

Akzeptanz Tests

Diese Art des Testens verfolgt zwei Ziele in Bezug auf den Anwender. Zum Einen stellt er sicher, dass die dem Anwender zur Verfügung gestellten Daten den Erwartungen entsprechen. Zum anderen wird damit sichergestellt, dass die dem Anwender bereitgestellten Werkzeuge die Erwartungen erfüllen.

Regressionstests

Eine Funktion immer und immer wieder zu testen erhöht die Sicherheit, dass sich während der Entwicklung keine Fehler einschleichen, die Auswirkungen auf einen bereits getesteten Teil des Systems haben. Kurze Release-Zyklen in agilen Projekten einzuhalten ist ohne Regressionstests gar nicht möglich.

Zudem können Regressionstests im produktiven Betrieb des Systems sehr nützlich sein, um regelmässig die Qualität der Daten zu überwachen, und dadurch ein Frühwarnsystem für auftretende Probleme zu besitzen.

So testet der Lebensversicherer Swiss Life

So testet der Foto Experte Ifolor

Performancetests

Dieser Testprozess ist ein wichtiger Aspekt in Bezug auf die Benutzer-Akzeptanz, und kann deshalb nicht einfach ignoriert werden. Führt bspw. das Laden von neuen Daten zu einer Verlangsamung des Systems? Führt das parallele Abfrage von Daten zu einer Verlangsamung des Systems?

Spezifische Tests für Ihre Daten

Anzahl Datensätze vergleichen

Vergleichen Sie die Anzahl Datensätze in den Quellsystemen mit denen im Data Warehouse um eine erste Übersicht zu erhalten.

Business Keys überprüfen

Welche Datensätze fehlen oder zu viel resp. dupliziert sind, erfahren Sie nur, wenn Sie Business Keys überprüfen.

Quelldaten validieren

Lassen Sie es nicht zu, dass fehlerhafte Daten in ihr Data Warehouse geladen werden, indem Sie bereits beim Staging prüfen, ob die angelieferten Daten fehlerfrei sind.

Gültigkeitsbereiche prüfen

Würden Sie einen Kundendatensatz in Ihr Data Warehouse laden, der ein Geburtsdatum um 1850 hat? Validieren Sie Informationen, die Einschränkungen unterliegen frühzeitig.

Zeitachsen Tests

Prüfen Sie unbedingt, ob Ihre Implementation von historisierten Daten in Slowly Changing Dimensions (SCD 2) korrekt ist. Gibt es Lücken? Gibt es Überschneidungen oder Datumsverdreher?

Verteilungstests

Klassifizierbare Daten sollten auf deren Verteilung überprüft werden. Wurden ungefähr 40% Ihrer Verkäufe auf der Produktgruppe A getätigt und auf Produktgruppe B hingegen nur 10%?

Aggregate und Kennzahlen prüfen

Business Logik im Data Warehouse oder in Analyse-Systemen wie OLAP Cubes können Sie mathematisch prüfen und ggf. mit Werten aus Ihren Quellsystemen vergleichen.

Daten plausibilisieren

Wenn Sie Ihre Fachanwender beim Testen involvieren, profitieren Sie von deren Wissen. Prüfen Sie bspw. ob die Umsätze vom November und Dezember im glaubwürdigen Rahmen voneinander abweichen.

Performance testen

Definieren Sie Referenz-Abfragen oder zeichnen Sie reale Abfragen Ihrer Anwender auf, um deren Performance laufend zu überwachen.

Jetzt ansehen!

Sören Schubert spricht über das Testkonzept von Ifolor AG

Use Case DWH und ETL testen

BiG EVAL nimmt Ihnen das manuelle Testen von ETL-Prozessen und Data Warehouse Komponenten ab. Dies geschieht durch gezieltes Überprüfen und Vergleichen von Daten aus Quellsystemen, dem Data Warehouse, der Staging Area und allen weiteren Komponenten. Genau so, wie Sie es manuell machen würden – aber eben automatisiert.

Thomas BoltData Warehouse Testkonzept