Applikationen überwachen und Probleme im Betrieb beheben
Damit eine Applikation im laufenden Betrieb stabil bleibt, muss sie systematisch überwacht (Monitoring) werden. Dazu wird zunächst festgelegt, welche Metriken aufgezeichnet werden sollen, zum Beispiel:
- Verfügbarkeit/Uptime: Anteil der Zeit, in der ein Dienst tatsächlich erreichbar ist (häufig als Prozentsatz pro Monat vereinbart, z. B. 99.9 %).
- Fehlerrate (Error Rate): Anteil fehlgeschlagener Anfragen oder Transaktionen an allen Anfragen.
- Antwortzeit/Latenz: Zeit, die ein System benötigt, um auf eine Anfrage zu reagieren.
- Durchsatz: Anzahl der pro Zeiteinheit verarbeiteten Anfragen.
Log-Tiefe
Parallel dazu wird die Log-Tiefe konfiguriert. Log-Einträge werden üblichen Log-Leveln zugeordnet:
- DEBUG: sehr detaillierte technische Informationen, meist nur während der Entwicklung oder gezielten Fehlersuche aktiviert – dauerhaft in der Produktion führt DEBUG zu grossem Log-Volumen und kann sensible Details preisgeben.
- INFO: informative Meldungen über den normalen Ablauf (z. B. «Benutzer X hat sich angemeldet»).
- WARN: ungewöhnliche, aber noch unkritische Zustände, die den Ablauf nicht verhindern.
- ERROR: Fehler, die eine Funktion nicht wie vorgesehen abschliessen lassen und ein Eingreifen erfordern.
Regelmässiges Monitoring
Das Monitoring wird regelmässig durchgeführt; bei Auffälligkeiten oder gemeldeten Störungen folgt eine strukturierte Fehleranalyse: Der Fehler wird reproduziert, um die Ursache einzugrenzen, analytisch und hartnäckig bis zur Klärung verfolgt. Eingehende Störungsmeldungen werden zudem nach Dringlichkeit und Auswirkung eingestuft (Incident-Triage/Priorisierung) – ein vollständiger Ausfall für alle Nutzer wird beispielsweise höher priorisiert als ein kleiner kosmetischer Fehler auf einer selten genutzten Seite.
Aktualität und Sicherheitseinstellungen
Zusätzlich wird die Aktualität und die Sicherheitseinstellungen von Applikationen und Schnittstellen laufend überprüft, unter anderem anhand der Herstellerinformationen zu eingesetzten Frameworks und Diensten (Software Life Cycle: Updates/Patches einspielen, Sicherheitszertifikate erneuern, Konfigurationen anpassen). Das gewählte Vorgehen zur Problembehebung wird je nach Auswirkung im Team oder mit dem Stakeholder besprochen, vorausschauend umgesetzt und nachvollziehbar dokumentiert, damit Testfälle bei Bedarf ergänzt werden können.
Monitoring und Logs: Beispiele
- Log-Level in der Praxis: ERROR für eine Exception, die eine Transaktion scheitern lässt; WARN für eine ungewöhnliche, aber folgenlose Auffälligkeit (der erste Versuch an einen externen Dienst scheitert, der automatische Wiederholungsversuch gelingt); INFO für den normalen Ablauf («Benutzer X hat sich erfolgreich angemeldet»); DEBUG nur gezielt und befristet zur Fehlersuche (Produktion üblicherweise mit INFO oder höher).
- Rechenbeispiele: Fehlerrate $75 / 25000 = 0.003$, also 0.3 %. Mittlere Antwortzeit aus 120, 180, 150, 210 und 140 ms: $800/5 = 160$ ms. Log-Retention: 500 MB pro Tag über 30 Tage ergeben 15'000 MB, also 15 GB. Zulässige Ausfallzeit bei 99.9 % im Monat mit 43'200 Minuten: $43200 \cdot 0.001 = 43.2$ Minuten (die Verfügbarkeit wird laufend mit der gemessenen Uptime verglichen).
Proaktives Monitoring und Health-Check
- Proaktives Monitoring: Metriken werden regelmässig und automatisiert geprüft, damit Probleme erkannt werden, bevor Nutzer sie bemerken; erst nach einer Kundenbeschwerde zu reagieren ist unzureichend. Bei Fehlerraten über einem Schwellwert wird ein Alarm ausgelöst.
- Health-Check: Ein regelmässig abgefragter Endpunkt je Applikationsinstanz stellt automatisiert fest, ob die Instanz noch erreichbar und funktionsfähig ist; ausgefallene Instanzen lassen sich früh erkennen und zum Beispiel automatisch ersetzen.
- Sicherheitsrelevante Metriken: Fehlerhafte Logins, Berechtigungsänderungen und Zugriffe auf kritische Daten der Applikation; sie werden definiert, über Monitoring oder Logs erfasst, regelmässig geprüft und dokumentiert, bei Auffälligkeiten folgen Massnahmen.
Fehlerbehebung und Triage
- Nach einer Problembehebung: Fehlerreproduktion und systematische Eingrenzung, danach werden die umgesetzten Massnahmen dokumentiert und die Testfälle um einen Fall für diesen Fehler erweitert, um ähnliche Vorfälle künftig zu verhindern.
- Triage: Meldungen werden nach Auswirkung und Dringlichkeit eingestuft (Totalausfall für alle Kunden vor einer falschen Beschriftung auf einer selten genutzten Seite); weder alle gleich behandeln noch bis zum nächsten Wartungstermin liegen lassen.
Kubernetes-Probes und virtuelle Netze
- Kubernetes-Probes: Die regelmässigen Diagnosen eines Containers führt der kubelet auf dem Knoten aus: TCP-Socket- und HTTP-Get-Prüfungen direkt, die Exec-Prüfung mithilfe der Container-Runtime (Beispiel: 23 Container mit je einer TCP-, einer HTTP-Get- und einer Exec-Probe; der kubelet führt $23 \cdot 2 = 46$ Prüfungen direkt aus). Siehe auch Ausführungsplattform.
- Virtuelle Netze: Verkehr zwischen zwei Gästen im internen virtuellen Netz des Hypervisors verlässt den Host nie und bleibt für Überwachungswerkzeuge an physischen Switches und Routern unsichtbar, solange der Hypervisor ihn nicht selbst überwacht (eine Lösung ist, den Verkehr über das physische Netz zu führen, was langsamer ist).
ITIL im Überblick
- ITIL (Information Technology Infrastructure Library) ist ein Best-Practice-Leitfaden und De-facto-Standard im IT-Service-Management. Es ist keine Projektmanagementmethode (empfohlen wird dafür PRINCE2 von AXELOS), sondern ein durch eine Dokumentensammlung unterstützter Ansatz, Prozesse als zyklische Verbesserungsketten zu betrachten. Die Konzepte lassen sich im IT-Governance-Framework COBIT abbilden.
Zertifizierung
- Zertifizierung: Mitarbeiter eines Unternehmens können ITIL-zertifiziert werden (Schulungen durch akkreditierte Trainingsorganisationen); ein Unternehmen oder sein Managementsystem kann nicht «ITIL-compliant» zertifiziert werden. ISO/IEC 20000 (aus dem britischen Standard BS 15000 entwickelt) adressiert dagegen das Managementsystem von Firmen, die sich danach auditieren und zertifizieren lassen können. Die ITIL-v2-Publikationen Service Support und Service Delivery enthalten 10 Prozesse; ISO/IEC 20000 fügt 4 hinzu und fasst zwei zu einem zusammen: $10 + 4 - 1 = 13$ Management-Prozesse.
- ITIL v3: Das Kernbuch Kontinuierliche Serviceverbesserung behandelt Leistungsparameter und Messgrössen, die Überwachung von Zielvereinbarungen, das Erkennen von Schwachpunkten und die Umsetzung von Verbesserungen (neben Servicestrategie, Service Transition und Servicebetrieb).
Service Value System
- ITIL 4: Das Service Value System (SVS) ist das erste Schlüsselelement mit fünf Kernkomponenten, das zweite das Modell der vier Dimensionen: Organisationen und Menschen, Informationen und Technologie, Partner und Lieferanten, Wertströme und Prozesse (sie führen die 4 Ps von ITIL v3 fort: Personen, Produkte, Partner, Prozesse; Finanzen gehören nicht dazu). Die Prozesse aus ITIL v3 gingen in Empfehlungsrichtlinien über, die Practices: 14 allgemeine Management Practices, 17 Service Management Practices und 3 technische Management Practices, zusammen 34. Funktionen wie das IT-Betriebsmanagement sind nicht mehr als eigenständige Funktionen definiert. Ein Wertstrom ist die Serie von Schritten, die einen Wert als Produkt oder Service schaffen; für jedes Produkt und jeden Service muss einer definiert sein.
Grundprinzipien und Wertschöpfungskette
- Grundprinzipien (drei der sieben ITIL-4-Prinzipien): Werteorientierung (immer direkt oder indirekt Wertzuwachs erzeugen), Dort beginnen, wo man steht (gute vorhandene Fähigkeiten behalten, nur dort verbessern, wo es notwendig ist) und Optimieren und Automatisieren (manuelle Arbeit ist fehleranfällig, menschliche Interaktion nur dort, wo sie sinnvoll und notwendig ist).
- Wertschöpfungskette (sechs Aktivitäten: Planen, Verbessern, Engagement, Entwerfen und Überführen, Erhalten/Erstellen, Liefern und Unterstützen; hier drei davon): Die Aktivität Erhalten/Erstellen stellt sicher, dass alle Servicebestandteile gemäss der vereinbarten Spezifikation verfügbar sind, Engagement schafft eine transparente Sicht auf alle Anforderungen, Verbesserung sichert die fortlaufende Verbesserung von Produkten, Services und Practices über alle Wertschöpfungsaktivitäten und das Vier-Dimensionen-Modell.
Häufige Fehler
- DEBUG-Logging dauerhaft in der Produktion aktiv lassen, statt es nur gezielt zur Fehlersuche einzuschalten.
- Alle Störungsmeldungen gleich priorisieren, statt nach Auswirkung (alle Nutzer betroffen vs. Einzelfall) und Dringlichkeit zu triagieren.
- Monitoring nur reaktiv nach einer Kundenmeldung betreiben, statt Metriken regelmässig und proaktiv zu prüfen.