Qualitätssicherung — Testen und Fehlerbehebung
Testarten
Um die Qualität einer Applikation vor der Freigabe sicherzustellen, kommen verschiedene Testarten zum Einsatz:
- Unit-Test: Prüft die kleinste testbare Einheit (z. B. eine einzelne Funktion) isoliert, ohne Datenbank, Netzwerk oder andere Komponenten einzubeziehen.
- Integrationstest: Prüft das Zusammenspiel mehrerer Komponenten (z. B. Applikation und Datenbank, oder mehrere Microservices untereinander).
- Benutzerakzeptanztest (User Acceptance Test): Prüft aus Anwendersicht, ob die Applikation die vereinbarten Anforderungen erfüllt.
- Last-/Performancetest: Prüft das Verhalten der Applikation unter hoher Auslastung.
- Security-Test: Prüft gezielt auf Sicherheitslücken (z. B. SQL-Injection, XSS).
- Regressionstest: Prüft nach einer Codeänderung, ob zuvor korrekt funktionierende Funktionalität weiterhin fehlerfrei arbeitet.
Testfälle und Testabdeckung
Ein Testfall (Testcase) beschreibt konkrete Eingaben, die Durchführung und das erwartete Ergebnis eines Tests — oft inklusive Grenzfällen (z. B. leere Eingabe, Maximalwert) und Fehlersituationen. Testfälle sollen wiederholbar sein, damit sie automatisiert oder manuell erneut durchgeführt werden können.
Die Testabdeckung (Code Coverage) misst, welcher Anteil des Codes durch die vorhandenen Tests mindestens einmal ausgeführt wird:
$$\text{Testabdeckung in %} = \frac{\text{ausgeführte Codezeilen}}{\text{Gesamtzahl Codezeilen}} \times 100$$
Wichtig: Eine hohe Code Coverage zeigt nur, wie viel Code durchlaufen wird — sie garantiert nicht, dass die Tests auch inhaltlich korrekte, aussagekräftige Prüfungen enthalten (100 % Coverage bei schwachen Assertions kann trotzdem Fehler übersehen).
Debugging und Code-Reviews
Debugging bezeichnet das systematische Auffinden und Beheben von Fehlern (Bugs), häufig unterstützt durch Tools mit Haltepunkten (Breakpoints), bei denen die Programmausführung angehalten und der Zustand der Variablen inspiziert werden kann. Ein Code-Review ist die systematische Durchsicht von Code durch andere Teammitglieder vor der Integration — sie deckt Fehler, Unklarheiten und Verstösse gegen Coderichtlinien frühzeitig auf, bevor der Code produktiv genutzt wird.
Ablauf der Qualitätsprüfung
Aus einem Testkonzept (Testumfeld, Testarten, Testmittel) werden Testfälle abgeleitet, durchgeführt und protokolliert. Bei nicht erfolgreichen Testfällen werden Korrekturmassnahmen an Test oder Implementierung vorgenommen, gefolgt von einem erneuten Testlauf (Retesting).
Testkonzept, Rollen und Testumfeld (HERMES)
- Testkonzept: Beschreibt Testziele, Teststrategie, Testobjekte, Testarten, Testinfrastruktur, Testfälle und Testplan. Es ist Grundlage für Testorganisation und -infrastruktur und wird bei neuen Erkenntnissen laufend nachgeführt (Änderungen an Anforderungen, Architektur oder Risiken wirken auf Testziele, Testfälle und Planung). Jeder Testfall hat eine detaillierte Beschreibung und ein definiertes, dokumentiertes erwartetes Ergebnis; nur damit lässt sich entscheiden, ob er bestanden ist.
Testumfeld und Testsystem
- Testumfeld und Testsystem: Das Testumfeld wird so beschrieben, dass eine aussenstehende Person es reproduzieren kann: System, Akteure, Daten sowie Benutzer und ihre Berechtigungen. Das Testsystem wird gemäss Testkonzept bereitgestellt (je nach Testmethode können mehrere nötig sein) und muss dem Produktionssystem so weit gleichen, dass realistische Tests möglich sind. Getestet wird nicht auf dem Produktivsystem: Fehlerfälle würden echte Buchungen und Kundendaten verändern, und echte Personendaten dürfen nicht ohne Notwendigkeit in Tests verwendet werden (anonymisierte oder erzeugte Datensätze).
- Testprotokoll: Hält fest, welche Testfälle mit welchem Stand der Applikation, in welcher Umgebung und mit welchem Ergebnis ausgeführt wurden, auch bei fehlerfreiem Lauf (Nachweis gegenüber dem Auftraggeber). Der Tester stuft Ergebnisse nach den im Testkonzept definierten Mängelklassen ein (Schwere eines Fehlers und Umgang damit, etwa Test fortsetzen oder abbrechen).
- Rollen: Der Testverantwortliche konzipiert, plant und koordiniert das Testen, stellt sicher, dass das Testkonzept erarbeitet wird, und überführt das Testen in den Betrieb. Der Tester arbeitet an den Testfallbeschreibungen mit, führt die Tests durch und beurteilt und protokolliert die Ergebnisse.
- Prüfen und Testen: Die Aufgabe Qualitätssicherung führen umfasst das Prüfen (inhaltliche und formale Überprüfung von Ergebnissen und Einhaltung vereinbarter Prozesse); das Testen (erfüllt das laufende System die Systemanforderungen?) ist Gegenstand des eigenen Moduls Testen mit Testkonzept, Testsystem, Testdaten und Testprotokoll. Die Prüfverfahren für Ergebnisse (Vernehmlassung, Review, Audit) stehen im Prüfplan des Projektmanagementplans, der jedem Ergebnis sein Prüfverfahren zuordnet.
Modultests und testgetriebene Entwicklung
- Modultest (Unit-Test): Prüft einzelne, abgrenzbare Teile (Klassen, Module, Unterprogramme) meist isoliert auf Lauffähigkeit und Korrektheit der fachlichen Teilergebnisse. Üblicher Aufbau: Ausgangszustand herstellen, die zu testende Operation ausführen, das Ist-Ergebnis mit dem aus der Spezifikation abgeleiteten Sollwert vergleichen (in Test-Frameworks mit assert-Methoden). Modultests zählen zu den White-Box-Tests, weil beim Definieren der Testfälle der Quellcode bekannt ist (Blackbox: nur gegen die Spezifikation ohne Kenntnis des Quellcodes). Nach dem Design-by-Contract-Prinzip prüfen sie möglichst die externen Auswirkungen (Rückgabewerte, Ausgaben, Zustandsänderungen), nicht die Interna einer Methode. Bei geringer Kritikalität eines Moduls (Fehler bereiten Benutzern nur geringe Unannehmlichkeiten) kann auf Modultests verzichtet werden.
- Stub, Driver und Mock: Ein Stub ersetzt ein aufzurufendes Modul (der Prüfling ist das aufrufende Modul), ein Driver simuliert den Aufruf des zu testenden Unterprogramms (ersetzt die aufrufende Umgebung). Mock-Objekte vertreten benötigte Komponenten wie ein Datenbanksystem und verhalten sich so, wie der Tester es vorgibt.
- Grenzwerte: Für eine Funktion mit Bereich 1 bis 100 werden die Grenzwerte und ihre direkten Nachbarn getestet (0, 1, 100, 101), weil Off-by-one-Fehler häufig sind.
Grenzen und testgetriebene Entwicklung
- Grenzen von Tests: Bestandene Tests beweisen keine Fehlerfreiheit; sie finden nur Fehler, für die sie geeignet sind. Schreibt dieselbe Person Modul und Modultest, können Denkfehler im Test wiederkehren (im Extreme Programming hilft «Test Ping-Pong»: Entwickler schreiben Test und Code abwechselnd). Refactoring bringt wie jede Änderung neue Fehlerrisiken und erfordert wiederholtes Testen.
- Testgetriebene Entwicklung (TDD, Kent Beck): Tests entstehen vor den zu testenden Komponenten. Red: Ein Test für neues Verhalten wird geschrieben und muss zunächst fehlschlagen. Green: Der Code wird mit möglichst wenig Aufwand angepasst, bis alle Tests bestehen. Refactoring: Wiederholungen werden entfernt und der Code verständlicher gemacht, ohne neues Verhalten einzuführen (nach jeder Änderung laufen die Tests). Die Tests bleiben bestehen, um künftige Änderungen zu prüfen.
- ATDD (akzeptanztestgetriebene Entwicklung): Kommunikationswerkzeug zwischen Kunden, Entwicklern und Testern, damit Anforderungen gut beschrieben sind; die Tests müssen auch für Nicht-Entwickler lesbar sein. Automatisierung ist nicht zwingend, aber fürs Regressionstesten hilfreich.
- Testaufwand: 120 Testfälle zu je 4 Sekunden ergeben 480 s = 8 Minuten; ein Testlauf nach jeder Änderung muss kurz genug bleiben, sonst wird er übersprungen. Browser mal Betriebssysteme: 3 mal 4 = 12 Kombinationen. Testabdeckung: 460 von 500 Zeilen ergeben 92 %, 180 von 240 ergeben 75 %.
Häufige Fehler
- Unit-Test und Integrationstest verwechseln.
- Hohe Code Coverage mit hoher Codequalität gleichsetzen.
- Grenzwerte (kleinste/grösste zulässige Eingabe) bei der Testfallerstellung vergessen.
- Nach einer Fehlerbehebung auf ein Retesting verzichten.