Daten aufbereiten und auswerten
Aggregatfunktionen und Reports
Um aus gespeicherten Rohdaten aussagekräftige Reports zu erstellen, verwendet man in SQL Aggregatfunktionen, die viele Zeilen zu einem einzigen Kennwert zusammenfassen:
| Funktion | Berechnet |
|---|---|
COUNT(*) | Anzahl Zeilen |
SUM(spalte) | Summe der Werte |
AVG(spalte) | Durchschnitt der Werte |
MIN(spalte) / MAX(spalte) | Kleinster / grösster Wert |
In Kombination mit GROUP BY lassen sich Kennzahlen je Gruppe berechnen (z. B. Summe des Umsatzes je Filiale). Die Klausel HAVING filtert anschliessend auf Ebene der Gruppen (z. B. nur Filialen mit mehr als 2 Bestellungen) — im Unterschied zu WHERE, das bereits vor der Gruppierung auf einzelne Zeilen filtert.
Explorative Datenanalyse
Bevor Daten weiterverwendet werden, prüft man sie explorativ auf Auffälligkeiten:
- Fehlende Werte (NULL-Werte) — muss geklärt werden, ob sie durch einen Standardwert ersetzt, geschätzt oder die Zeile ausgeschlossen wird.
- Ausreisser (Outlier): Werte, die stark vom übrigen Datenbestand abweichen. Ein Ausreisser darf nicht automatisch gelöscht werden — zuerst muss die Ursache geklärt werden (Messfehler? Erfassungsfehler? oder ein echter, seltener Fall?), erst danach wird über den weiteren Umgang entschieden.
- Stichprobenprüfung: Eine Teilmenge der aufbereiteten Daten wird manuell gegen die Quelle geprüft, um die Validität der gesamten Aufbereitung stichprobenweise zu bestätigen.
Darstellungsformen
Je nach Datentyp und Fragestellung eignen sich unterschiedliche Darstellungsformen (z. B. Zeitreihen als Liniendiagramm, Anteile als Kreis- oder Balkendiagramm). Bei stark unterschiedlichen Grössenordnungen wird teilweise eine logarithmische Skala verwendet, um auch kleinere Werte noch sichtbar und vergleichbar darzustellen.
Anonymisierung bei der Datenbereitstellung
Werden aufbereitete Daten weitergegeben (z. B. für Testfälle oder externe Auswertungen), müssen Personendaten in der Regel anonymisiert werden: Die Daten werden so verändert, dass ein Rückschluss auf die betroffene Person nicht mehr oder nur mit unverhältnismässigem Aufwand möglich ist. Das unterscheidet sich von der Pseudonymisierung, bei der ein Personenbezug mit zusätzlichem (getrennt aufbewahrtem) Zusatzwissen weiterhin herstellbar bleibt.
SQL-Auswertungen im Detail
- WHERE und Aggregate: WHERE wird vor der Berechnung der Aggregate ausgewertet und legt fest, welche Zeilen in sie eingehen. Eine Bedingung wie
WHERE preis = MAX(preis)ist deshalb nicht erlaubt; Bedingungen auf Aggregatwerte gehören in HAVING, oder man nutzt eine Unterabfrage, die das Maximum unabhängig berechnet. - GROUP BY liefert eine Ergebniszeile pro Gruppe (8 Messwerte aus 3 Städten ergeben 3 Zeilen). HAVING filtert die fertigen Gruppen: Bei Gruppen mit 2, 5, 1 und 4 Zeilen bleiben mit
HAVING COUNT(*) > 3zwei Gruppen übrig. - Beispielwerte:
AVGder Werte 40, 50, 90 ist $180/3 = 60$;SUMvon 120, 80, 150 ist 350. - Joins: Ein innerer Join lässt Zeilen ohne passenden Partner weg (7 Bestellungen, 2 ohne Kunde: 5 Zeilen). Der LEFT OUTER JOIN behält jede Zeile der linken Tabelle mindestens einmal und füllt fehlende Werte der rechten mit NULL (alle 7 Zeilen).
- View (Sicht): Eine benannte, gespeicherte Abfrage, die sich wie eine Tabelle verwenden lässt. Sie verbirgt Details der Tabellenstruktur hinter einer stabilen Schnittstelle.
Statistische Grundbegriffe und Skalenniveaus
- Median: Mittlerer Wert der aufsteigend sortierten Reihe; bei gerader Anzahl der Durchschnitt der beiden mittleren Werte (4, 7, 9, 12, 15, 22 ergibt $(9+12)/2 = 10.5$). Der Median ist gegenüber Ausreissern robuster als der Mittelwert.
- Skalenniveaus: Nominalskala (nur Gleichheit oder Ungleichheit, zum Beispiel Blutgruppe), Ordinalskala (zusätzlich Rangordnung, über die Abstände ist nichts ausgesagt, zum Beispiel Schulnoten), Intervallskala (Abstände sinnvoll berechenbar), Verhältnisskala (zusätzlich absoluter Nullpunkt).
- Darstellung: Eine Entwicklung über die Zeit (Supportmeldungen über zwölf Monate) zeigt man als Liniendiagramm mit der Zeit auf der waagrechten Achse; Details zu Diagrammtypen siehe Visualisierung und Reporting.
Datenbereinigung
- Vor dem Bereinigen werden die originären, fehlerhaften Daten gesichert und nach der Bereinigung nicht einfach gelöscht, sonst ist der Prozess nicht nachvollziehbar und nicht revisionssicher. Alternativ steht der korrigierte Wert in einer zusätzlichen Spalte.
- Standardisierung: Normierung bildet vorhandene Werte auf eine normierte Werteliste ab (Hr., Herr, HERR werden zu «Herr»). Strukturierung bringt Daten in ein einheitliches Format oder zerlegt zusammengesetzte Daten in Bestandteile (Name in Anrede, Titel, Vorname, Nachname; braucht meist Parser).
- Bereinigungsmethoden: Ersetzen durch Daten aus einem anderen System, Default-Werte, Entfernen, Ableiten korrekter Werte aus anderen Daten (Anrede aus dem Geschlecht), Duplikate entfernen, Zusammenfassungen auftrennen.
Duplikate und Datenfusion
- Duplikate: Identische Duplikate lassen sich einfach löschen. Nichtidentische Duplikate (ein bis mehrere Werte unterscheiden sich) müssen mit Heuristiken erkannt und vor dem Löschen konsolidiert werden. Datensatzpaare werden in Duplikate, Nicht-Duplikate und potentielle Duplikate eingeteilt; potentielle Duplikate werden manuell geprüft. Phonetische Algorithmen (zum Beispiel Soundex) ordnen Wörtern nach dem Sprachklang einen Code zu, um Schreibvarianten zu finden. Weil nicht jeder Datensatz mit jedem verglichen werden kann, vergleicht das Sorted-Neighborhood-Verfahren nur potenziell ähnliche Datensätze.
- Datenfusion: Zusammenführen und Vervollständigen lückenhafter Daten; neben der Duplikaterkennung ein wesentlicher Schritt.
Fehlende Werte und Qualität
- Fehlende Werte: Die Complete-case-Analyse streicht alle Datensätze mit fehlenden Werten (einfach, aber Informationsverlust und mögliche Verzerrung der Stichprobe). Die Imputation ersetzt fehlende Werte durch plausible, geschätzte Werte. Ersetzt man sie durch den Mittelwert, wird die Standardabweichung systematisch unterschätzt, weil die ersetzten Werte konstant sind.
- Qualitätsanforderungen: Einheitliche Daten haben gleiche Einheiten (Währung, Gewicht, Länge), valide Daten denselben Datentyp, vollständige Daten keine Lücken, integre Daten sind vor Manipulation geschützt.
- Validität: Massnahmen gegen Datenfehler gehören in die Analyse selbst, nicht erst nach der Veröffentlichung. Gezielte Stichproben (auch grösster und kleinster Wert und Datensätze mit fehlenden Angaben) verfolgen Ergebniswerte bis zur Quelle zurück.
Migration und ETL
- Migration: Migrierte Daten werden auf Vollständigkeit und Integrität geprüft; Unregelmässigkeiten werden behoben oder in einem Vorgehen zur Behebung beschrieben (84'000 Datensätze, 83'412 im Ziel: 588 fehlen). Dublettenprüfung erfolgt vor dem Laden; 8 Prozent von 1'250 sind 100 Duplikate, es verbleiben 1'150.
- ETL: Extrahieren (Rohdaten aus den Quellen lesen), Transformieren (Formate, Einheiten, Schlüssel vereinheitlichen, Fehler bereinigen), Laden (in das Zielsystem). Wird zuerst geladen und im Ziel umgeformt, spricht man von ELT.
Data Warehouse, Data Lake, Big Data, KI
- Data Warehouse: Zentrale, für Analysen optimierte Datenbank, die Daten aus mehreren Quellen zusammenführt; Basis für Kennzahlen, OLAP-Analysen und Data-Mining. Nach Inmon themenorientiert, integriert, zeitorientiert (time-variant) und beständig (nonvolatile: Daten werden dauerhaft gespeichert). Data-Marts sind anwendungsspezifische Auszüge daraus.
- Data Lake: Hält vollständige Rohdaten vor, die nicht bereits nach Vorgaben verarbeitet oder ausgewählt wurden.
- 4V-Modell: Volume (Menge), Variety (Vielfalt der Formate und Quellen), Velocity (Geschwindigkeit), Veracity (Zuverlässigkeit). Beim Sichten wird auch deklariert, aus welchen Quellen die Daten stammen.
- Machine Learning: Am Anfang stehen die Definition des Problems und des Ziels, danach Trainingsdaten (beschafft und aufbereitet), Modellwahl, Training, Bewertung und Nutzungsphase. Beim souveränen Einsatz werden die Ergebnisse objektiv geprüft, weder blind übernommen noch nur bei Bestätigung der Erwartung akzeptiert.
Dateiformate und Zeichenkodierung
- CSV: Textdatei, Datensätze durch Zeilenumbruch, Felder durch ein Trennzeichen (Komma, im deutschsprachigen Raum oft Semikolon, auch Tabulator). Flaches Format ohne Verschachtelung. Es gibt keinen allgemeinen Standard (grundlegend beschrieben in RFC 4180), und anders als XML sieht CSV keinen Vermerk des Zeichensatzes vor: Die Kodierung muss vorab zwischen den Beteiligten festgelegt werden, sonst erscheinen falsche Umlaute. TSV verwendet das Tabulatorzeichen, das in Nutzdaten in der Regel nicht vorkommt.
- JSON: Textbasiertes Austauschformat, das Objekte (Schlüssel-Wert-Paare) und Arrays beliebig tief verschachteln kann; verbreitet bei Webschnittstellen.
- UTF-8 ist die am weitesten verbreitete Kodierung für Unicode (De-facto-Standard im Internet). Die ersten 128 Zeichen (7-Bit-ASCII) belegen 1 Byte; Zeichen wie ä oder é belegen 2 Byte (allgemein 2 bis 4 Byte für Zeichen ab 128). UTF-8 ist bei hohem ASCII-Anteil (Quelltext) deutlich kompakter als UTF-16, bei asiatischen Schriften dagegen platzintensiver. Werden UTF-8-Daten mit einer westeuropäischen Einzelbyte-Kodierung gelesen, entstehen aus Umlauten zwei sichtbare Zeichen («Ã¼» statt «ü») und nur Zeichen ausserhalb von ASCII sind betroffen; der Import wird mit der richtigen Quellkodierung wiederholt.
Zahlensysteme und Datenmengen
- Das Binärsystem (Dualsystem) hat die Basis 2 und die Ziffern 0 und 1. $n$ Bit ergeben $2^n$ Werte: 7 Bit (ASCII) 128 Zeichen, 8 Bit (ein Byte, auch ein IPv4-Oktett) 256 Werte von 0 bis 255, 24 Bit Farbtiefe $2^{24}$ = 16'777'216 Farben (je 8 Bit für Rot, Grün, Blau).
- Binär zu dezimal: Summe der Wertigkeiten der gesetzten Bits (10011010 = 128 + 16 + 8 + 2 = 154). Hexadezimal: A bis F stehen für 10 bis 15, 2F = $2 \cdot 16 + 15 = 47$, BA = $11 \cdot 16 + 10 = 186$.
- Binäre Einheiten: 1 KiB = 1024 Byte (2 KiB = 2048 Byte).
- Verlustfreie Kompression (ZIP, PNG) stellt das Original vollständig wieder her; verlustbehaftete (JPEG) verwirft gezielt Informationen, das Original ist nicht bitgenau rekonstruierbar.
Anonymisierung genauer
Das Entfernen von Namen und Personalnummern allein macht einen Bestand nicht anonym: Über die Kombination der verbliebenen Merkmale (Geburtsdatum, Postleitzahl, Funktion) lassen sich Personen oft wieder zuordnen. Anonymisierung heisst auch, die übrigen Merkmale zu vergröbern (Geburtsjahrgang statt Geburtsdatum, Region statt Postleitzahl) und sehr kleine Gruppen zusammenzufassen. Eine Vertragsklausel ersetzt das nicht; eine korrekt anonymisierte Auswertung darf weitergegeben werden.
Häufige Fehler
WHEREundHAVINGverwechseln —HAVINGfiltert Gruppenergebnisse nach der Aggregation,WHEREfiltert einzelne Zeilen davor.- Ausreisser reflexartig entfernen, ohne die Ursache zu prüfen.
- Anonymisierung und Pseudonymisierung gleichsetzen — nur die Anonymisierung macht den Personenbezug (praktisch) endgültig unmöglich.