Observability ist alternativlos

Executive Summary

Observability ist alternativlos – auf diese feste Überzeugung wollen wir in diesem Whitepaper mit Branchenanalysen und -daten fundiert eingehen. So auch darauf, welche wichtige Wechselbeziehung zwischen Observability und digitaler Transformation besteht. Zwei Entwicklungen befeuern dies zusätzlich: Zum einen werden Workloads mehr und mehr in Multicloud- und hybride Umgebungen verlagert, zum anderen halten Open-Source- und cloudnative Technologien wie Container, Microservices und Serverless zunehmend Einzug im Stack vieler Unternehmen.

Ihre Infrastruktur setzt sich dabei aus einer Vielzahl unterschiedlicher Technologie-Komponenten zusammen. Dies nimmt nicht nur Einfluss auf Service-Level Metrics, sondern bringt auch neue Risiken, Sicherheitsfragen und Compliance-Bedenken mit sich. Mit Monitoring und Observability lassen sie sich adressieren. Monitoring-Lösungen decken den Wirkungskreis dieser Problemstellungen allerdings nur fragmentiert ab, lassen signifikante Datenbereiche außen vor. Erfreulicherweise steigt mit zunehmender Nutzung von Cloud-Technologien, cloudnativen und Open-Source-Lösungen auch die Bereitschaft in Unternehmen, ein Observability-Framework zu implementieren. Preis- und Abrechnungsmodelle stehen einer wirklich erfolgreichen Umsetzung jedoch nur allzu oft im Wege.

In diesem Whitepaper schenken wir daher gerade auch diesem Faktor eigene Aufmerksamkeit, um unseren Leser:innen die Auswahl der für sie optimalen Lösung unter Berücksichtigung aller Parameter zu ermöglichen. Die Zielvorgabe: End-to-End-Observability für den gesamten Stack.

Observability: Definition

Mit Observability können Unternehmen die Performance ihrer Systeme quantifizieren sowie Fehler und Probleme basierend auf externen Outputs identifizieren. Zusammengefasst werden diese externen Outputs unter dem Begriff Telemetriedaten. Wichtige Beispiele sind etwa Metrics, Events, Logs und Traces (MELT). Bei Observability geht es im Kern darum, Systeme zu instrumentieren und konkret umsetzbare Daten dazu zu gewinnen, wann und warum bestimmte Fehler auftreten.

Durch ein erfolgreiches Observability-Framework entsteht so eine zusammenhängende Echtzeit-Ansicht aller Daten aus unterschiedlichen Quellen. Idealerweise bündelt diese Ansicht alle Informationen zentral. Von dieser ausgehend lassen sich Probleme rascher identifizieren und adressieren – auch präventiv – sowie zudem operative Effizienzen einsteuern und Software auf höchstem Niveau für optimale UX entwickeln.

Observability setzt sich aus vier essenziellen Komponen- ten zusammen:

• Offene Instrumentierung. Mit ihr werden Telemetrie-daten aus unterschiedlichsten Datenquellen wie Services, Hosts, Anwendungen und Containern erfasst.
• Datenkardinalität und -korrelation sowie Topologie-Kontext. Sie machen das große Ganze klarer analysierbar, so etwa auch Status und Verfügbarkeit höchst verteilter Systeme.
• Programmierbarkeit. Auf ihrem Fundament lassen sich Custom-Anwendungen mit Ausrichtung auf die spezifischen Geschäftsziele von Unternehmen entwickeln.
• AIOps (Artificial Intelligence for IT Operations). Diese Features machen Problemstellungen proaktiv erfassbar und sorgen in der Folge für schnellere Incident Response und verlässlichere Service-Verfügbarkeit. Quantitativ helfen sie somit entscheidend, zwei damit zusammenhängende KPIs kontinuierlich zu verbessern: MTTU (Mean Time to Understanding) sowie MTTR (Mean Time to Resolution).

Software-Engineering und -Entwicklung sowie Site Reliability Engineering (SRE), Operations und andere Teams über diese hinaus können mit Observability Abläufe in komplexen digitalen Systemen prüfen und analysieren. Aus den dabei gewonnen Daten gestalten sie Custom- Insights. Die Kernnutzer:innen von Observability-Tools finden sich in Operations-Teams in den Bereichen Security, Entwicklung und Infrastruktur: SecOps, DevOps und InfraOps.1 Observability hilft ihnen dabei, Probleme rascher zu isolieren, ihre Incident Response präziser anzusetzen und Geschäftsziele proaktiv an Daten auszurichten.

Wie aus dem Observability Forecast 2022 hervorgeht, waren ITOps-Mitarbeiter:innen am häufigsten mit Observability betraut, gefolgt von Teams für Network Operations und DevOps. Ihre Kolleg:innen in der Anwendungsentwicklung und im SRE zeichneten zumeist für die Implementierung von Observability verantwortlich. Weniger hingegen waren sie für ihre weitergehende Nutzung oder Administration zuständig, die eher von SecOps und DevSecOps übernommen wird.²

Monitoring und Observability: Technologien, die neue Wege ebnen

Als Konzept stammt Observability aus den Leitprinzipien der Kontrolltheorie.³ Geprägt wurde der Begriff zunächst 1960 durch den ungarisch-amerikanischen Ingenieur Rudolf E. Kálmán,⁴ und hielt ab ca. 2018 mit fortlaufender Weiterentwicklung von Monitoring-Frameworks vermehrt Einzug in der Engineering-Community.”⁵

Als Teilbereich der Observability unterstützt Monitoring Unternehmen dabei, Probleme basierend auf Erfahrungswerten zu identifizieren. Diese werden durch eine Kombination aus bestimmten Bedingungen erfasst („bekannte Unbekannte“). Basierend hierauf können Unternehmen im Rahmen einer Monitoring- Methodik reagieren. Bis zu einer gewissen Anzahl an Problemstellungen mit eingeschränkter Komplexität ist Monitoring dafür auch ausreichend.

Mit Observability hingegen lassen sich auch Incidents und ihre Ursache adressieren, wenn für diese noch keine Präzedenzfälle vorliegen. Enorm nützlich ist dies insbesondere in komplexen Umgebungen, in denen Problemausmaß und System- und Serviceabhängigkeiten signifikant sein können. Der wichtigste Unterschied: Observability erfordert keinebestehenden Erfahrungswerte mit der vorliegen- den Problemkonstellation. Sie operiert somit auch effizient auf der Basis „unbekannter Unbekannter“. Im großen Stil kommt sie dabei auch zur Optimierung von Umgebungen zum Einsatz: So lassen sich Observability-Daten und -Features nutzen, um Infra- strukturkosten durch Ressourcenoptimierungen zu senken oder die Kunden-UX mithilfe von Software- Optimierungen zu stärken.⁶

Mit Monitoring allein wird häufig Daten-Sampling notwendig, zwangsläufig entstehen Datensilos. Eine Observability-Plattform hingegen ermöglicht
die Instrumentierung des gesamten Tech-Stacks und die nahtlose Korrelation von Telemetriedaten in einer zentralen Ansicht. Sind dabei schließlich alle Faktoren abbildbar, die sich auf die Kunden-UX auswirken könnten, ist die Rede von Full-Stack Observability⁷  bzw. End-to- End-Observability.

Eine datenfundierte Methodik für End-to-End- Observability vermittelt Engineering- und Dev-Teams eine holistische Visualisierung aller Telemetriedaten. Sie müssen also kein Daten-Sampling mehr betreiben oder die Ergebnisse mehrerer Datensilos zusammen- flicken, sondern erhalten direkt vollständigen Einblick in ihren Stack. So können sie sich mit Observability endlich auf Coding-Themen konzentrieren, die sie intellektuell fordern und mit denen sie strategisch etwas bewegen.

Zu wichtigen Feature-Bereichen vieler Observability-Tools gehören Application Performance Monitoring (APM), Infrastruktur-Monitoring, Log-Management, Network Performance Monitoring, Digital Experience Monitoring (bestehend aus Synthetics-Monitoring und Real-User Monitoring/RUM, Browser-Monitoring und Mobile Monitoring), Serverless-Monitoring, Performance- Monitoring für ML-Modelle und Security Monitoring.

Observability erfreut sich insbesondere auch deshalb enormer Beliebtheit, da Stacks und Umgebungen immer komplexer geworden sind. Mögliche Fehler haben sowohl in ihrer Anzahl als auch in ihren Varianten und möglichen Kombinationen exponentiell zugenommen. Alle zu erwartenden Probleme und Bedingungskonstellationen lassen sich also in keinster Form mehr prognostizieren. Folglich ist es also unabdingbar, alle Systeme unterbrechungsfrei per Observability zu überwachen. Wichtig sind dabei auch Diagnose-Möglichkeiten wie Anomalie-Erkennung, eine Abfrage-Engine und Dashboards. Infrastrukturen und ihre Komponenten werden auch zukünftig weiter an Komplexität gewinnen, Deployments in immer schnellerer Abfolge ausgeführt werden. Monitoring allein kann vor diesem Hintergrund keine Ausfälle mehr prognostizieren, erfassen und bei ihrer Behebung helfen.

Digitale Transformation und Cloud-Migration

Gartner definiert digitale Transformation wie folgt: „Digitale Transformation beschreibt ein breitgefächertes Anwendungsfeld – von der IT-Modernisierung (z. B. mit Cloud Computing) bis hin zur digitalen Optimierung und der Entstehung neuer digitaler Geschäftsmodelle. In Behörden und Regierungsinstitutionen geht es zumeist um eher weniger ambitionierte Vorhaben, in deren Rahmen etwa Services online verfügbar gemacht oder Legacy-Systeme modernisiert werden – mehr Digitalisierung denn digitale geschäftliche Transformation.“⁸

Workloads mehr und mehr in der Cloud

Im Zuge digitaler Transformation werden Workloads zunehmend in die Cloud verlagert.⁹ Die Pandemie hat diesen Trend und die Migration zur Cloud zusätzlich beschleunigt.

In einer 2019 von New Relic und Vanson Bourne in Auftrag gegebenen Studie sahen nahezu 75 % der Befragten eine Public-Cloud-Migration als wichtigen Kernfaktor der digitalen Transformation. Für 50 % aller Befragten waren jedoch Management- und Monitoring-Aufwand im Zuge ihrer digitalen Transformation zu einer Herausforderung geworden; ganze 56 % gaben zu Protokoll, ihre Daten unmöglich konsequent analysieren zu können.¹⁰

In einer 2020 von Longitude Research durchgeführten Umfrage zeigte sich zudem, dass 66 % aller führenden Software-Anbieter ihre eigenen Technologien und Systeme in der Cloud ausführen.¹¹

Ein ähnliches Bild auch in einer Umfrage von Flexera aus dem Jahr 2022: Die Teilnehmer:innen hatten bereits die Hälfte ihrer Workloads in die Cloud migriert. Für 2023 wurde ein weiterer Anstieg erwartet, bei dem sich dann die Mehrheit aller Workloads in der Public Cloud befinden würde. Die drei führenden Public-Cloud-Systeme sind Microsoft Azure, Amazon Web Services (AWS) und Google Cloud Platform. Cloud-Technologien sind also zunehmend im Mainstream angekommen. Schon jetzt werden in Unternehmen bis zu 63 % aller Workloads über sie ausgeführt – gegenüber Maximalwerten von 59 % 2021 und 53 % 2020. Zu den wichtigsten Initiativen gehören dabei die Optimierung bestehender Cloud-Implementierungen und die Migration weiterer Workloads.¹²

Mehr Multicloud und Hybrid Cloud = Mehr Observability

Im State of DevOps Report aus dem Jahr 2021 von Google Cloud gaben 56 % aller Befragten an, ein Public-Cloud- System zu nutzen – 5 % mehr als noch 2019. Eine Private- Cloud-Lösung hatten nach eigenen Angaben 29 % im Einsatz. Mit 21 % bzw. 34 % fanden auch Multicloud- und hybride Umgebungen finden immer mehr Zuspruch. Nur 21 % hatten noch keine Cloud-Lösung implementiert.¹³

Alle Teilnehmer:innen der zuvor erwähnten Umfrage von Flexera aus dem Jahr 2022 nutzen zumindest eine Public oder Private Cloud. 89 % aller Unternehmen haben Multicloud-Architekturen implementiert, deren Struktur und Management komplexer ist. Die meisten Befragten kombinieren sowohl Public als auch Private Clouds zu einem hybriden System.¹⁴

Im Observability Forecast 2022 wurden die Teilnehmer:innen zu Technologiestrategien und -trends befragt, die Observability in ihrem Unternehmen besonders wichtig machen. 42 % verwiesen hier auf ihre Migration zu einer Multicloud-Backend-Umgebung.¹⁵

Mehr Cloud, mehr Kosten

Doch auch in punkto Kosten schlägt sich eine umfassendere Cloud-Nutzung nieder: 2021 bezifferte Gartner die Ausgaben für Cloud-Technologien auf ca. 20 % der insgesamt 842 Milliarden US-Dollar Budgetaufwendungen für Infrastruktur – etwa 168 Milliarden US-Dollar also. Bei Public-Cloud-Services, so prognostizierten die Analysten, würden sich die Endbenutzer-Ausgaben bis 2021 auf 23 % erhöhen.¹⁶ 

IIm Geschäftsjahr 2021 verzeichnete Google Cloud Platform einen Umsatz von rund 19 Milliarden US-Dollar – ein Zuwachs um 47 % gegenüber dem Vorjahr,¹⁷ Bei Microsoft Azure konnten ca. 34 Milliarden US-Dollar erwirtschaftet werden (49 % mehr als 2020),¹⁸ a bei AWS 62 Milliarden US-Dollar (37 % mehr als im Vorjahr).¹⁹ Diese drei Public-Cloud-Anbieter allein erzielten 2021 somit einen kumulierten Jahresumsatz von 135 Milliarden US-Dollar bei einem Wachstum von im Schnitt 42 %.²⁰ IIm dritten Quartal 2022 hatten sie bereits einen kumulierten Jahresumsatz von 160 Milliarden US-Dollar erzielt und ein Wachstum von durchschnittlich 32 % im Jahresvergleich vorzuweisen (36 % im ersten Quartal).²¹

Die Umfrage von Flexera aus dem Jahr 2022 zeigt zudem, dass Public-Cloud-Ausgaben in IT-Budgets nun eine signifikante Rolle zukommt. So haben kleine und mittlere Unternehmen ihre Cloud-Ausgaben 2020 um 38 % erhöht. 53 % in dieser Marktkategorie gaben 2021 jeweils mehr als 1,2 Millionen US-Dollar für ihre Cloud-Infrastruktur aus.²²

Digitale Transformation erfordert mehr Observability

Observability ist wichtige Stütze für Cloud-Migrationen, Customer-Journey-Analysen, im DevOps und vielem mehr. Mit ihr erhalten Unternehmen eine Echtzeit-Perspektive in Performance, Abläufe und Health-Status ihrer Systeme. Möglich werden dadurch nahtlose Analysen zum Status quo ihrer digitalen Transformation im Vergleich mit ihren Zielen. Auch nach Abschluss der Transformation bleibt Observability enorm wertvoll, macht operative, Business- und IT-Zusammenhänge klarer erkennbar und hilft bei der Optimierung von Metrics im Kontext digitaler UX. Observability lenkt den Scheinwerfer auf Dinge, die sonst häufig im Verborgenen bleiben würden, ist so Stütze für Projektziele und Enabler für Innovation und kann neben Cloud-Optimierungen auch neue Umsatzmöglichkeiten erschließbar machen.

Schlüsselelement für digitale Transformation und Cloud-Migration

Für Tech-Anwender:innen erschließt sich der Mehrwert von Observability meist klar, wie auch der Observability Forecast 2021 zeigt: 42 % aller Teilnehmer:innen erachteten Observability als bedeutsam für digitale Transformation. 37 % sind der Meinung, mit ihr einen Beitrag zur Optimierung von Cloud-Nutzung und -Kosten leisten zu können, 35 % schreiben ihr eine wichtige Rolle bei der Minimierung von Risiken im Rahmen der Cloud- Migration von Legacy-Anwendungen zu.²³ Aus dem Observability Forecast 2022 geht hervor, dass 31 % der Unternehmen Observability zur digitalen Transformation sowie zur Optimierung von Cloud-Ressourcen und -Ausgaben nutzen. Mit 26 % sieht mehr als ein Viertel niedrige Hosting-Kosten für Cloud-Systeme als Kernvorteil von Observability-Deployments.²⁴

Eine Studie zu Observability von Enterprise Technology Research (ETR) aus dem Jahr 2021 liefert folgende Erkenntnis: „Im Zuge weiterer digitaler Transformation werden zusätzliche Workloads in die Cloud verlagert. Die Erfassung von Daten für Observability-Zwecke erfolgt dabei viel häufiger über cloudnative Anbieter wie Datadog und New Relic als über etablierte, nicht cloudnative Alternativen.“²⁵

Cloudnative Technologien sind im Mainstream angekommen

Speziell auch angesichts fortschreitender Migration auf Multicloud- und hybride Umgebungen finden sich in Unternehmen immer komplexere Infrastruktur- Konstellationen. Metrics werden dabei aus On-Prem- Komponenten sowie Private- und Public-Cloud-Services generiert, so etwa auch aus Serverless und Managed Kubernetes (K8s) Services. Im Rahmen moderner Systeme kommen zunehmend Open-Source- und cloudnative Microservices zum Einsatz, die über Container und Kubernetes-Cluster ausgeführt werden.

Das cloudnative Zeitalter hat begonnen

Tech-Stacks zur Kundeninteraktion sind nun primär cloudnativ.²⁶ Im nun angebrochenen cloudnativen Zeitalter werden Anwendungen speziell für die Cloud und zur umfassenden Nutzung von Cloud-Vorteilen wie etwa ihrer besonderen Elastizität und Resilienz entwickelt.²⁷ In seiner Umfrage aus dem Jahr 2020 ermittelte Longitude Research, dass 96 % der führenden Software-Unternehmen in ihrer Entwicklung auf eine cloudnative Methodik setzen.²⁸

Eine vergleichende Studie der Jahre 2019 und 2020 für die Online-Schulungsplattform O'Reilly zeigte, dass die Nutzung von Content in der Cloud im Jahresvergleich um 41 % zugenommen hatte, von Microservices um 10 %, von Containern um 99 %, von Kubernetes um 47 % und von Observability um 128%.²⁹ 

Aus einer Umfrage aus dem Jahr 2021 von 351 Research geht hervor, dass 63 % aller Befragten mindestens die Hälfte ihrer DevOps-Anwendungen mit cloudnativen Technologien und entsprechender Methodik entwickelt. 65 % setzen dabei inzwischen auf Container-Technologien, 53 % auf Kubernetes, 55 % auf Serverless-Lösungen.³⁰

Kubernetes: Ein Triumphzug, der noch lange nicht zu Ende ist 

Im Observability Forecast 2021 gaben 88 % der Teilnehmer:innen an, Kubernetes als Technologie in Betracht zu ziehen, 25 % befanden sich schon in einer tiefergehenden Analyse, weitere 25 % prüften schon die genauere Lösungs- und Einsatzmöglichkeiten, 29 % hatten bereits bestimmte Entwicklungsschritte damit vollzogen, 10 % schon Kubernetes-basierte Lösungen in der Produktion.³¹

Eine Umfrage aus dem Jahr 2021 der Cloud Native Computing Foundation (CNCF) zeigt, dass Kubernetes nun auf globaler Ebene im Mainstream angekommen ist: 5,6 Millionen Entwickler:innen nutzen die Technologie – 67 % mehr als 2020 und insgesamt 31 % aller Backend-Entwickler:innen. Allgemein befindet sich Kubernetes in den meisten Unternehmen (96 %) entweder bereits im Einsatz oder wird gerade evaluiert. Die Benutzerdaten der New Relic Observability-Plattform weisen einen Kubernetes-Zuwachs um 37 % im Jahresvergleich aus und bestätigen diese Ergebnisse somit.³²

In der jährlichen Developer Survey ermittelte Stack Overflow 2022, dass 23 % aller Entwickler:innen Kubernetes nutzen. Die Technologie erwies sich hier auch als die zweitbeliebteste (75 %) und zweitbegehrteste (24 %).³³

In seiner jährlichen DevSecOps Survey zeigte GitLab 2022 auf, dass 33 % aller Teams Kubernetes nutzen, 25 % seine Einführung noch im gleichen Jahr planen und 29 % eine Implementierung in den nächsten zwei bis drei Jahren beabsichtigen.³⁴

Ein ähnliches Ergebnis zeigte sich auch in der Umfrage von Flexera aus dem Jahr 2022: 42 % der Teilnehmer:innen hatten Kubernetes bereits im Einsatz, 25 % planten dies für die nahe Zukunft.³⁵

Im Report „State of Enterprise Open Source“ von Red Hat gaben 70 % aller befragten IT-Leader an, dass ihre Unter- nehmen Kubernetes nutzen.³⁶

Container, Microservices und Serverless weiter auf dem Vormarsch

Entwickler:innen und auch Unternehmen verfolgen zur Containerisierung immer präziser definierte Ansätze und nutzen Microservices und Serverless immer umfassender. Die Popularität von Kubernetes steht dabei auch im kausalen Zusammenhang zur zunehmend reiferen Nutzungsmethodik von Containern in Unternehmen. „Diese Entwicklung erfordert auch eine Anpassung der Unternehmenskultur im Hinblick auf Technologietrends und -innovationen, was neue Herausforderungen und Diskrepanzen entstehen lässt. Das Deployment von Microservices und Stateful-Anwendungen erfolgt nun vermehrt über Kubernetes und containerbasierte Plattformen. Dies erfordert auch mehr operative Transparenz sowie Tools zur Absicherung gegen potenziell schädliche Anwendungen und Verhaltensweisen sowie zur Korrektur.”³⁷

Bei der Umfrage der CNCF aus dem Jahr 2021 gab das Gros der Teilnehmer:innen (93 %) zu Protokoll, Container in der Produktion zu nutzen. Auch hier bestätigen die Benutzerdaten der New Relic Observability-Plattform diese Ergebnisse, lassen bei der Container-Nutzung einen Zuwachs um 49 % erkennen. 39 % hatten zudem Serverless-Technologien im Einsatz.³⁸

Red Hat ermittelte 2022 in seinem Report „State of Enterprise Open Source“, dass 68 % aller IT-Leader Containerisierung in ihren Unternehmen nutzen. Nahezu ein Drittel wollte dies innerhalb von 12 Monaten weiter ausbauen.³⁹

Die DevSecOps Survey von GitLab aus dem Jahr 2022 zeigte zudem weiter, dass 36 % Microservices im Einsatz hatten; weitere 28 % planten eine Einführung noch im gleichen Jahr, 29 % beabsichtigten eine Implementierung in den nächsten zwei bis drei Jahren.⁴⁰

„Die Wirkgrößen hinter der beeindruckenden Entwicklung rund um Kubernetes – Containerisierung, Anwendungsmodernisierung, cloudnative Entwicklung und Hybrid-Cloud-Infrastrukturen – werden diese Erfolgsgeschichte auch noch weiter schreiben.“⁴¹

Monitoring und Optimierung von Anwendungen in containerisierten Umgebungen wie Kubernetes unterliegen jedoch ihrem ganz eigenen Spannungsfeld. So zeigt ein Bericht von 451 Research aus dem Jahr 2021: „Mehr Container, mehr Kubernetes und mehr Serverless bedeuten automatisch auch neue Herausforderungen für Unternehmen, die auf cloudnative Technologien und DevOps setzen möchten.“⁴²

Cloudnative Technologien treiben Observability-Implementierung voran

Auf die Frage nach Technologiestrategien und -trends, die Observability in ihrem Unternehmen besonders wichtig machen, nannten die Teilnehmer:innen des Observability Forecast 2022 native Frontend-Anwendungs- Architekturen (47 %), Open-Source-Technologien wie OpenTelemetry (39 %), Serverless Computing (36 %) sowie containerisierte Anwendungen und Workloads (36 %). All diesen Trends gemein ist vor allem, dass für sie zentralisierte Observability enorm bedeutsam ist.

Mit 29 % gab gut ein Viertel der Befragten an, Observability zur Verwaltung containerisierter und Serverless-Umgebungen zu nutzen, bei 25 % war sie zur Schaffung von mehr Transparenz für die Migration von Monolith- auf Microservices-Strukturen im Einsatz.

Weiter planten 88 % eine Kubernetes-Einführung bis zum Jahr 2025, bei 91 % sollte bis dahin Serverless-Monitoring Einzug halten.⁴³

Tragsäule Observability

Angesichts der zunehmenden Komplexität verteilter Anwendungen sowie von Multicloud- und hybriden Umgebungen wird die Bedeutung von Observability- Segmenten umso klarer: APM, Infrastruktur-Monitoring und Log-Management bringen Transparenz ins Dunkel, verbessern die Incident Response und vermitteln Kontext- Klarheit zu Anwendungen und Infrastruktur. Im Rahmen von Anwendungsmodernisierung und dem Erfordernis von mehr Visibility für immer breiter gefächerte und immer stärker verteilte IT-Umgebungen ist Observability nun unabdingbar. Datengestützte Incident und Threat Response ist ohne sie schlicht nicht realistisch.⁴⁴

Observability kann Probleme in punkto Komplexität eliminieren, die Cloud-Migrationen und weiteren Entwicklungen bisweilen im Wege stehen. Schnelle Migrationen sorgen mitunter auch für ein erhöhtes Risiko und machen Observability dadurch umso essenzieller.⁴⁵

Observability als Stützpfeiler für Governance, Risiko- und Compliance-Management

Als Teilbereich der Observability ist auch Security Monitoring von größter Wichtigkeit. Aus einem Developer Report von Stripe aus dem Jahr 2018 geht hervor, dass Sicherheits- und Datenlücken nach Ansicht von 66 % aller C-Levels ein Risiko für den geschäftlichen Erfolg ihrer Unternehmen darstellen. 62 % schreiben verstärkter Regulierung ein vergleichbares Risikopotenzial zu.⁴⁶

2020, so zeigt ein Bericht zur allgemeinen Bedrohungs- landschaft von Tenable, waren 22 Milliarden Datensätze mit personenbezogenen und Geschäftsdaten unbefugtem Zugriff ausgesetzt.⁴⁷ Laut einer Studie aus dem Jahr 2022 von Gartner Peer Insights und Radiant Logic sahen sich 84 % aller Unternehmen in der Vergangenheit mit einer Datenpanne im Zusammenhang mit Identitätsdaten konfrontiert.⁴⁸  Im ebenfalls aus dem Jahr 2022 stammenden Bericht „State of Ransomware“ von Gigamon gaben 95 % aller Befragten an, im vergangenen Jahr Oper von Ransomware-Angriffen geworden zu sein. In den Augen von 59 % hat sich die Ransomware-Bedro- hungslage 2022 sogar noch intensiviert. Weiter zeigte die Studie, dass für 89 % umfassende Observability eine wichtige Komponente von Cloud-Sicherheit darstellt.⁴⁹

Laut der DevSecOps Survey 2022 von GitLab kam es bei 57 % aller Security-Teams entweder bereits zu einem Shift Left in der Software-Entwicklung oder der Schritt war bis Jahresfrist geplant. Etwa zwei Drittel aller Security-Fachkräfte haben danach einen konkreten Plan für Microservices (65 %) bzw. Container (64 %), bei 53 % der Teams bestehen bereits Konzepte zur Absicherung von cloudnativen und Serverless-Implementierungen. Mit der erweiterten Abdeckung für Security-Scans kann der Zugang zu Daten jedoch nicht mithalten. Hinzu kommt, dass fast 25 %der Befragten die Hälfte oder sogar drei Viertel ihrer Zeit für Audit- und Compliance-Themen aufzuwenden hatten.⁵⁰

Moderne Anwendungen werden für gewöhnlich in der Cloud ausgeführt, dies auch mit Abhängigkeit von hunderten Komponenten. Im Ergebnis präsentieren sich hier zusätzliche Monitoring-Herausforderungen und Security-Risiken. Cloud-Plattformen, cloudnative Anwendungsarchitekturen und Cybersecurity- Bedrohungen werden immer allgegenwärtiger. Es überrascht somit wenig, dass Governance, Risiken und Compliance-Fragen die Tech-Strategien und -Trends, die im Observability Forecast 2022 mit 49 % als häufigste Observability-Katalysatoren genannt wurden.⁵¹

Regelmäßiger Ausfälle: Traurige Realität

Laut Observability Forecast 2022 ereignen sich Systemausfälle mit auffälliger Regelmäßigkeit (bei bis zu 72 % der Befragten mindestens einmal pro Woche).
52 % verzeichneten sogar mindestens einmal wöchentlich Ausfälle mit signifikanten geschäftlichen Auswirkungen. Über die Hälfte der Befragten (53 %) benötigte mehr als 30 Minuten und 22 % mehr als eine Stunde, um sie zu identifizieren. 60 % konnten sie nicht vor Ablauf von 30 Minuten beheben, 29 % erst nach über einer Stunde.

Dabei fällt auf, dass diese Ausfälle nach wie vor häufig anhand manueller Anstrengungen und Incident-Tickets entdeckt werden: 33 % machen Software- und Systemunterbrechungen noch immer über manuelle Checks und Tests oder über Tickets und Beschwerden ausfindig.⁵²

Bessere Service-Level Metrics mit Observability

Doch es gibt hier auch Positives zu vermelden: Eine Studie von Longitude Research aus dem Jahr 2020 zeigt, dass Observability-Lösungen bei 83 % der Teilnehmer:innen dazu beitrugen, Ausfälle auf unter fünf pro Monat zu reduzieren. 75 % waren mit ihrer Hilfe in der Lage, sie in weniger als 30 Minuten zu beheben.⁵³

Die Analysten von GigaOm stellen hierzu fest: „Observability-Tools können die Stabilität von Systemen um das bis zu 100-Fache steigern, da Probleme mit ihnen automatisch erfasst, analysiert und adressiert werden – dies gänzlich ohne Humanintervention. Da das System zudem in der Lage ist, von seinen bestehenden Treffern zu lernen, verbessert sich seine Stabilität im Laufe der Zeit weiter. Ausgereifte Observability-Lösungen und optimierte IT-Prozesse können so die Behebungsdauer um 50 bis 90 % reduzieren.“⁵⁴ Diese Einschätzung bestätigt sich auch in der Implementierung: Entwickler:innen und Engineers, die auf Observability setzen, mussten im Schnitt über 50 % weniger an Zeit zur Fehlerbehebung aufwenden als ihre Kolleg:innen ohne Observability-Unterstützung (23 % bzw. 46 %).⁵⁵

Die im Observability Forecast 2022 analysierten Daten weisen auf eine enge Korrelation zwischen Full-Stack Observability und weniger Ausfällen, schnellerer Fehleridentifikation und -behebung hin. In anderen Worten: Full-Stack Observability verbessert Service-Level Metrics. Neun Feature-Bereiche nehmen, so lassen die Daten weiter erkennen, einen positiven Einfluss hierauf: AIOps, Distributed Tracing, Security Monitoring, Custom- Dashboards, Synthetics-Monitoring, APM, Datenbank- Monitoring, Alerts und Infrastruktur-Monitoring. Insgesamt verkürzen sie die Fehleridentifikation und -behebung auf weniger als 30 Sekunden. Statistische Signifikanz liegt für AIOps innerhalb von 10 % aller Signifikanzniveaus vor.⁵⁶ 

Bemerkenswert sind hierbei auch die Studienergebnisse der Analysten von IDC. Diese zeigen, dass New Relic Kund:innen ihre Ausfälle um 49 % reduzieren konnten, dies bei einer um 83 % verkürzten Zeitdauer bis zur Identifikation und einer um 27 % beschleunigten Behebung von Problemen.⁵⁷ Eine Forrester Studie zum Total Economic Impact der New Relic Observability- Plattform attestierte ihre eine um 30 % verkürzte Lösungsdauer.⁵⁸

Observability nun Priorität auf C-Level

Eine 2020 von Longitude Research durchgeführte Studie zeigte, dass 94 % aller Software-Leader Observability als Schlüsselkomponente in der Software-Entwicklung sehen.⁵⁹

Aus dem State of DevOps Report 2021 von Google Cloud ist ersichtlich, dass sich mit der richtigen Monitoring- und Observability-Methodik auch Mehrwert für Continuous- Delivery-Frameworks generieren lässt. Teams mit entsprechenden Best Practices benötigen demnach weniger Zeit zur Fehlerbehebung, die sie dann wiederum in die Entwicklung neuer Features investieren können.⁶⁰

Der Observability Forecast 2021 belegt, dass Observability ein geschäftskritischer Faktor ist: Bei 90 % aller Befragten nimmt Observability eine strategisch wichtige Rolle für ihr Unternehmen ein, für 94 % sogar spezifisch im Hinblick auf ihre Rolle. Weiter schafft Observability einen klaren geschäftlichen Mehrwert: 91 % aller IT- Entscheidungsträger messen Observability an jedem Punkt des Software-Lebenszyklus eine kritische Bedeutung bei, insbesondere in der Planung und im operativen Bereich. 83 % sahen eine Observability- Plattform zudem auch als effektiv für Kubernetes- Monitoring.⁶¹

Dem Observability Forecast 2022 zufolge erleben fast drei Viertel der Befragten C-Levels im Unternehmen als Fürsprecher von Observability, und mehr als drei Viertel (78 %) erkennen in Observability einen wichtigen Enabler für zentrale Geschäftsziele.

Ungefähr ein Viertel der C-Levels sieht die folgenden Punkte als wichtigste Ergebnisse von Observability:

1. Bessere Umsatzsicherung durch klareres Verständnis von Kundenverhalten (30 %)
2. Mitigierung von Serviceausfällen und Geschäftsrisiken (28 %)
3. Effizientere teamübergreifende Zusammenarbeit bei Entscheidungen rund um den gemeinsamen Software-Stack (28 %)
4. Weniger Aufwand für Entwickler:innen rund um Incident Response, mehr Zeit für proaktive Value-Generierung (25 %)
5. Erarbeitung umsatzgenerierender Use Cases (21 %)

Weiter geht aus dem Report hervor, dass Observability einen klaren geschäftlichen Mehrwert schafft. Ein Drittel der Befragten sieht dabei folgende Vorteile:

1. Bessere Uptime und Stabilität (36 %)
2. Mehr operative Effizienz (35 %)
3. Besseres Kundenerlebnis (33 %)
4. Beschleunigte Innovation (30 %)
5. Unternehmens-/Umsatzwachstum (26 %)

Doch in welcher Hinsicht ist Observability für Entwickler:innen am hilfreichsten? 30 % befanden hierbei Produktivität und teamübergreifende Zusammenarbeit sowie mehr Klarheit bei komplexen, verteilten Tech-Stacks als äußerst nützlich. Rund 3 von 10 sahen allgemeine Vorteile in ihrer täglichen Arbeit, so etwa auch in punkto Work-Life-Balance, im Hinblick auf ihre Fachkenntnisse und ihren persönlichen Marktwert als Fachkraft. Rund ein Viertel sieht sich bei der Validierung von Annahmen, Klärung von Meinungsfragen und Adressierung von Lücken im Kenntnisstand besonders unterstützt.⁶²

In der DevSecOps Survey aus dem Jahr 2022 von GitLab zeigte sich zudem, dass nahezu 60 % aller Befragten ihren Code nun rascher in die Produktion überführen können. Die Mehrheit schrieb diese Entwicklung hin zu kürzeren Release Cycles Observability zu.⁶³

Monitoring: Eine fragmentierte Lösungslandschaft

Allerdings sind Daten, Team und Tools stark fragmentiert. Immer wieder sorgen neue Tools für Begeisterung, während sich ehemalige Favoriten sich nur noch schwindender Beliebtheit erfreuen. Die Folge sind Parallellösungen und Fragmentierung.

In einer Studie aus dem Jahr 2021 ermittelte 451 Research, dass 96 % aller Unternehmen Tools für Monitoring und Incident Response nach Möglichkeit vom selben Anbieter erwerben möchten – eine Steigerung von 83 % gegenüber 2020.⁶⁴ 

Eine Umfrage aus dem Jahr 2022 von ETR machte die Konsolidierung von Anbietern gleicher Lösungen im Unternehmen als gängigsten Ansatz zur Reduzierung von IT-Kosten aus.⁶⁵  Dem gegenüber steht jedoch, dass in der DevSecOps Survey 2022 von GitLab 49 % der Operations-Fachkräfte zwei bis fünf im Einsatz befindliche Tools zu Protokoll gaben. Ein Drittel bezifferte diese sogar auf sechs bis zehn. Mit 35 % empfand es zudem mehr als ein Drittel als problematisch, mit diesen fragmentierten Stacks konsistente Monitoring-Ergebnisse zu generieren. Das konstante Hin- und Herwechseln zwischen Tools sahen sie als belastend. Wenig überraschend also, dass 69 % angesichts dieser Herausforderungen mit Monitoring, Verzögerungen in der Entwicklung und unzufriedenen Entwickler:innen beabsichtigen, ihre Tools zu konsolidieren.⁶⁶

Die meisten der im Rahmen des Observability Forecast 2022 Befragten (94 %) hatten zwei oder mehr Tools im Einsatz, im Falle von 84 % waren es vier oder mehr. Dies obwohl nahezu 47 % laut eigener Aussage eigentlich eine konsolidierte Observability- Plattform bevorzugen würden. Nur 21 % erhielten ihre Ausfallinformationen über eine zentrale Observability- Plattform.

Weiter berichteten gerade einmal 7 %, auf komplett einheitliche Telemetriedaten an einem Ort zugreifen zu können. Lediglich 13 % beschrieben die Visualisierungs- Features und Dashboards für die Telemetriedaten ihres Unternehmens als in einer zentralen Lösung abbildbar.

Observability geht also zumeist mit mehreren Tools und somit einer fragmentierten Lösungslandschaft einher, was einiges an Komplexität mit sich bringt. Etwa ein Viertel aller Umfrageteilnehmer sah in den vielen verschiedenen Monitoring-Tools, den uninstrumentierten Systemen und dem wenig einheitlichen Tech-Stack die größten Herausforderungen auf dem Weg zu Full-Stack Observability.⁶⁷ Mehr ist auch hier wie so oft einfach nicht automatisch auch besser.

Daten- und Lösungssilos sind in einer hybriden IT-Welt schlichtweg nicht mehr zeitgemäß.68 Für konsolidierte, zentrale Observability-Plattformen sind daher Preis- und Abrechnungsmodelle umso relevanter.

Zu viele Daten noch ohne Monitoring

Es ist viel im Gange: Workloads werden von On-Prem- Servern auf virtuelle Maschinen in der Cloud migriert und von diesen auf in Kubernetes und Container umgewandelt. Aus Monolith-Strukturen werden Microservices, die auf Serverless-Implementierungen treffen. All dies mit einer klaren Konsequenz: Die Menge der Telemetriedaten wächst rasant. Dies schlägt sich auch in der DevSecOps Survey 2022 von GitLab nieder, in der sich Metrics als wichtigste Monitoring-Kategorie erwiesen, gefolgt von Logs.⁶⁹ Angesichts hoher Kosten in der Datenerfassung müssen sich Unternehmen jedoch nicht selten auf Daten-Sampling beschränken.

In einem Bericht aus dem Jahr 2021 von 451 Research finden sich APM, Infrastruktur-Monitoring und Log- Management mit einem kumulierten Marktanteil von 67 % als wichtigste Observability-Bereiche. APM und Infrastruktur-Monitoring stellten dabei mit jeweils 26 % des Gesamtumsatzes die umfassendsten Lösungskategorien am Observability-Markt. Cisco AppDynamics, Dynatrace und New Relic gehörten zu den 10 umsatzstärksten Anbietern am Markt für Anwendungs- und Infrastruktur-Monitoring.

Getragen vom explosiven E-Commerce-Wachstum im Zuge der Pandemie wurde speziell auch Real-User Monitoring, das Frontend-Systeme und DCX ausleuchten kann. Als nützlich aber nicht essenziell galt bei den Befragten Synthetics-Monitoring. Zugenommen hat auch das Interesse an Event-Korrelation, da mehr und mehr Anbieter auf Observability setzen und durch Datenkonsolidierung mehr Kontext zur Fehlerursachenanalyse bieten. 92 % erwarteten zudem, dass AIOps-Tools es ihnen ermöglichen würden, mehr Workloads mit weniger Mitarbeiter:innen zu verwalten. AIOps und MLOps haben im Observability-Tooling zudem zusätzlichen Mehrwert für Unternehmen generiert, deren operatives Geschäft unter Kenntnis- und Mitarbeitermängeln zu leiden hatte.⁷⁰

In den Unternehmen der meisten Befragten des Observability Forecast 2022 war mindestens eines von 17 unterschiedlichen Observability-Toolsets implementiert. Diese rangierten von 57 % (Netzwerk-Monitoring) bis 34 % (Kubernetes-Monitoring). Lediglich 3 % gaben an, dass ihre Unternehmen alle 17 Observability-Bereiche implementiert hatten, bei 61 % waren es zwischen vier und neun.

So war bei nahezu der Hälfte (45 %) APM im Einsatz, bei 51 % Infrastruktur-Monitoring, bei 50 % Log-Management. Etwas mehr als die Hälfte berichtete, Features für Umgebungs-Monitoring wie etwa für Datenbanken, Infrastruktur, Netzwerke, Security sowie Log-Management zu nutzen. RUM-Features wie Browser- und Mobile Monitoring sowie Features für Service-Monitoring wie APM waren bei jeweils ca. 40 % im Einsatz. Monitoring-Features für noch neue Technologien wie AIOps, Kubernetes, die Performance von ML-Modellen und Serverless waren erst bei rund 30 % der Befragten und somit noch am wenigsten implementiert.⁷¹

Im State of Logs Report 2022 von New Relic war beim Data Logging eine Steigerung um 35 % im Jahresvergleich zu verzeichnen. Eine weitere Erkenntnis: 56 % aller New Relic Kund:innen nutzen Logs mit Infrastruktur-Monitoring. Ca. 14 % tun dies mit APM – eine Steigerung von 68 % im Jahresvergleich, Tendenz steigend.⁷²

Datengestützte Observability-Insights kamen bei diversen Befragten des Observability Forecast 2022 in allen Dev- Phasen zum Einsatz, doch nur ungefähr ein Drittel setzte in jeder Phase auf Full-Stack Observability.

Lediglich 5 % verfügten (nach der Definition des Reports) über ein umfassendes Framework für End-to-End- Observability, nur 27 % hatten (nach der Definition des Reports) Full-Stack Observability erreicht. Mit 3 % gab eine noch kleinere Gruppe an, sich Full-Stack Observability zum Ziel gesetzt oder bereits als Status quo erreicht zu haben.⁷³

Weiter berichteten lediglich 30 % der Teilnehmer:innen der DevSecOps Survey 2022 von GitLab, dass Observability/ Monitoring Teil ihrer DevOps-Implementierung sei.⁷⁴  In der Stack Overflow Developer Survey 2022 waren es nur 37 % der teilnehmenden Entwickler:innen, die in ihren Unternehmen Observability-Tools nutzen konnten.⁷⁵

Und so zeigt sich: Bei den meisten Unternehmen ist nicht der gesamte Tech-Stack im Monitoring. Doch dieser Status quo ändert sich.

Prognosen und Erwartungen

In den kommenden Jahren ist von verstärkten Aufstockungen in Cloud-, cloudnative, Open-Source- und Observability-Budgets auszugehen.

Cloud-Nutzung und -Budgets

Gartner erwartet für die Umsätze bei Cloud- Anwendungsservices zwischen 2020 und 2022 einen Zuwachs von rund 34 % um insgesamt 36 Milliarden US- Dollar.⁷⁶ Auf Endbenutzerseite rechnen die Analysten mit einer Ausgabenzunahme um 20,7 % – eine Zahl, die die Wachstumsprognose von 18,8 % für 2022 übersteigt – auf 591,8 Milliarden US-Dollar 2023 (490,3 Milliarden US-Dollar für 2022).⁷⁷

Laut einer Umfrage aus dem Jahr 2021 von Barclays rechnen 94 % der CIOs mit steigenden Ausgaben für Public-Cloud-Lösungen 2022 und 37 % mit mehr Investitionen in Private-Cloud-Technologien. 41 % aller Workloads, so die weiteren Erwartungen, werden über die Public Cloud ausgeführt (im Vergleich mit 33 % 2021). Auf diese Technologien werden laut den Prognosen 26 % der gesamten IT-Ausgaben entfallen (gegenüber 22 % im Jahr 2021).⁷⁸ In einer Umfrage von Barclays aus dem Jahr 2022 Barclays gingen 66 % der Befragten von Zunahmen bei Ausgaben für die Public Cloud 2023 aus, 48 % von einem Zuwachs bei den Private-Cloud-Budgets. Für 2022 wird mit einer Steigerung der Public-Cloud-Workloads auf 34 % und für 2023 auf 40 % gerechnet. Die IT-Ausgaben für Public-Cloud-Lösungen werden sich laut der Studie von 22 % im Jahr 2022 auf 24 % im Folgejahr erhöhen.⁷⁹

IDC geht von einer Verschiebung bei IT-Budgets von In-House-Ressourcen hin zu Cloud-Delivery- Modellen in den Jahren 2022 und 2023 aus. Die Folge: „Unternehmensinterne IT-Ops-Teams werden kleiner. Der Fokus wird auf ihren Möglichkeiten zur End-to-End-Optimierung von Geschäftsanwendungen und -services liegen.“ Den Umsatz mit Cloud-Services beziffert IDC in seinen Verlaufsprognosen bis 2025 auf 54 % des Markts für IT Operations Analytics (ITOA) Management-Tools mit SaaS-Modell. Dies entspricht einer Steigerung um 20 % im Vergleich mit dem Jahr 2020).⁸⁰

Cloudnative Technologien und Open Source: Einsatz und Ausgaben

Cloudnative Technologien haben sich 2022 fest im Mainstream verankert, und so geht auch Forrester von einer Zunahme bei der Containerisierung auf einen Wert von 50 % aus.⁸¹ Gartner prognostiziert, dass 85 % aller Unternehmen bis zum Jahr 2025 Container in der Produktion nutzen werden (2020 lag dieser Wert noch unter 30 %) und dass sich der Anteil der Enterprise- Anwendungen mit Containerisierung bis zu diesem Zeitpunkt auf 15 % belaufen wird (2020: 5 %).⁸²

Auch Observability ist laut einem Bericht aus dem Jahr 2021 von ISG Research fest im Mainstream angekommen. Die Analysten gehen von zusätzlichem Wachstum bei diesen Tools aus, da mehr Unternehmen containerisierte Anwendungen in der Produktion einsetzen.⁸³ 

Weiter rechnet Gartner bis 2025 damit, dass 70 % aller neuen cloudnativen Anwendungen im Monitoring für bessere Interoperabilität statt anbieterspezifischen Agents Open-Source-Instrumentierung nutzen werden,⁸⁴ 70 % aller neuen cloudnativen Anwendungen, so die Erwartung, werden statt anbieterspezifischer Agents und SDKs OpenTelemetry für Observability nutzen.⁸⁵

IDC antizipiert: „Open-Source-Komponenten werden das Herzstück vieler der führenden Big-Data-Lösungen bilden und einen wichtigen technologischen Beitrag zu innovativen Analytics-Technologien für IT-Operations leisten“. Open-Source ITOA-Lösungen mit kommerziellem Backing werden für die Käuferseite womöglich präferiert werden, da sie ihnen kosteneffizient sofort Zugang zu den neuesten Technologien und Features bieten.⁸⁶

Auch aus dem Observability Forecast 2021 geht hervor, dass Open-Source-Technologien sich immer größerer Beliebtheit erfreuen: Im Jahr 2021 haben 55 % aller IT- Abteilungen für sie zwischen 5 und 10 % ihrer Budgets allokiert, 29 % sogar 10 % oder mehr. Der Markt für Observability für Kubernetes und Containers wird nach den Daten des Reports rasch wachsen. Mit 88 % evaluiert die überwältigende Mehrheit aller Befragten den Einsatz von Kubernetes und Containern, 40 % möchte sie bis 2024 in der Produktion nutzen.⁸⁷

39 % der im Observability Forecast 2022 Befragten sieht im vermehrten Einsatz von Open-Source-Technologien wie OpenTelemetry ein Erfordernis für Observability.⁸⁸

Deployment- und Budgetpläne für Observability

Für 74 % der im Observability Forecast 2021 Befragten ist Observability ein geschäftskritischer Faktor, den sie weiter ausbauen möchten.⁸⁹

Gartner rechnet bis 2024 mit einer Zunahme um 30 % bei der Implementierung von Observability-Tools.⁹⁰ In den Tech-Trends für das Jahr 2023 findet sich Observability in der Praxis direkt auf dem zweiten Platz der Top 10.⁹¹

Weiter zeigt der Observability Forecast 2022: Vor dem Hintergrund immer komplexerer IT- und Anwendungsumgebungen mit cloudbasierten Microservices werden auch Observability-Pläne und -Ziele entsprechend anspruchsvoller. Probleme sollen mit der Technologie möglichst identifiziert und behoben werden, bevor sie sich überhaupt auf Kundenerlebnis oder Anwendungssicherheit auswirken können. 88–97 % der 17 Observability-Fachbereiche werden bis 2025 laut Prognosen im Einsatz sein, was die Entwicklung einer soliden Observability-Methodik in den meisten Unternehmen bis zu diesem Zeitpunkt nahelegt.

69 % stellen zwischen 5 und 15 % ihres IT-Gesamtbudgets für Observability-Tools bereit, 14 % mehr als 15 % Lediglich 3 % allokieren mehr als 20 %, nur 16 % weniger als 5 %. Unternehmen mit einem umfassenderen Observability- Framework (nach der Definition des Reports) und die Vertreter:innen mit den meisten Toolsets im Einsatz hatten häufig die größten Observability-Budgets.

Generell werden für Observability jedoch immer mehr Investitionen bereitgestellt: 72 % der Befragten gehen von einer Sicherung oder Erhöhung ihrer Observability-Budgets im kommenden Jahr aus, 14 % aller Teilnehmer:innen sogar in erheblichem Umfang.⁹²

Eine Studie von 451 Research aus dem Jahr 2021 geht von einer Wachstumsrate von 11 % am Markt für Infrastruktur- Performance aus und prognostiziert einen Gesamtumsatz von 15,6 Milliarden US-Dollar bis 2025.⁹³

Barrieren und Hindernisse

Observability, daran besteht kein Zweifel, ist alternativlos. Was hält Unternehmen also von ihrem Einsatz ab?

In einer Studie von 451 Research aus dem Jahr 2021 nannten 42 % aller Teilnehmer:innen den Faktor Kosten als größte Herausforderung bei der Einführung von cloudnativen Lösungen wie Containern, Kubernetes und Serverless-Technologien.⁹⁴

Aus einem Bericht aus dem Jahr 2021, ebenfalls von 451 Research, geht hervor, dass Unternehmen APM-Tools als kostenintensiv wahrnehmen. Dementsprechend behalten sie ihre Nutzung kritischen Anwendungen vor und nutzen sie nicht für ihren gesamten Stack. Stark verteilte, auf Microservices basierende Anwendungen generieren mitunter zudem enorme Mengen an Telemetriedaten. Gleichzeitig sehen sich Unternehmen auch mit größeren Log-Volumina denn je konfrontiert. So stehen sie vor der Abwägung, entweder möglichst viele Logs zu speichern, um detailliertes Insights generieren zu können, oder nur bestimmte Log-Kategorien in der Retention zu priorisieren, um in Kostenhinsicht kein Problemfeld entstehen zu lassen.⁹⁵ Eine Praxis, die als Daten-Sampling bekannt ist.

Aus dem Observability Forecast 2021 geht hervor: Das größte Observability-Hindernis ist der Ressourcenmangel – 38 % der Befragten erachten Observability-Plattformen als zu kostspielig.⁹⁶

Die am schwierigsten zu meisternden Herausforderungen auf dem Weg zu Full-Stack Observability sehen 27 % laut Observability Forecast 2022 in Budgetproblemen auf ihrer Seite, 27 % in der Preismodellierung durch die Anbieter. Für 36 % ist eine budgetfreundliche Preisstruktur der wichtigste Kostenfaktor für ihre Observability-Tools und -Plattform.⁹⁷

Zusammenfassung

Angetrieben von digitaler Transformation sowie dem vermehrten Einsatz von Cloud- und cloudnativen Technologien ist Observability zu einem geschäftskritischen Faktor geworden. Auch zeigt sich jedoch deutlich, dass Preis- und Abrechnungsmodelle End-to-End-Observability im gesamten Stack nur allzu oft noch im Wege stehen.

Aus einer Studie aus dem Jahr 2021 von ETR geht hervor, dass Preis und Gesamtkosten zu den größten Schwächen der meisten Observability-Anbieter zählen.⁹⁸ Zumeist kommen dabei host- und telemetriebasierte bzw. Abonnement-Modelle zum Einsatz. Vor dem Hintergrund der Wahrnehmung auf Käuferseite stellt sich aber die berechtigte Frage, ob diese Methodik nicht eine Neubetrachtung benötigt.

Bibliographie

Aase, Jan Erik, Blair Hanley Frank, and Prakash N. October 8, 2021. Executive Summary: ISG Provider Lens™ Container Services and Solutions - U.S. 2021. N.p.: ISG Research. https://research.isg-one.com/reportaction/Quadrant-ContainerServicesSolutions-US-2021/Marketing.

Baltazar, Henry. December 10, 2021. Voice of the Enterprise: Storage, Transformation 2021 - Advisory Report. N.p.: 451 Research S&P Global Market Intelligence. https://clients.451research.com/reportaction/103256/toc.

Barclays. 2022. “AWS v. Azure v. GCP - 4QCY21.” Barclays Live. https://live.barcap.com.

Basteri, Alicia, and Daren Brabham, Ph.D. September 14, 2022. 2022 Observability Forecast. N.p.: New Relic. https://newrelic.com/observability-forecast/2022/about-this-report.

Bhat, Manjunath, Padraig Byrne, Arun Chandrasekaran, Mark Horvath, Mark O'Neill, and Gregg Siegfried. December 3, 2021. Predicts 2022: Modernizing Software Development is Key to Digital Transformation. N.p.: Gartner. https://www.gartner.com/doc/4009060.

Brewer, Buddy. 2019. “Global Research Survey Results: Leveraging Digital Transformation to Enhance the Customer Experience.” New Relic. https://newrelic.com/blog/best-practices/global-research-survey-digital-transformation.

Carey, Scott. 2021. “What is observability? Software monitoring on steroids.” InfoWorld, February 18, 2021. https://www.infoworld.com/article/3607980/what-is-observability-software-monitoring-on-steroids.html.

Casey, Kevin. 2022. “Kubernetes by the numbers, in 2022: 11 stats to see.” The Enterprisers Project. https://enterprisersproject.com/article/2022/10/kubernetes-statistics-2022.

Caveza, Scott, Satnam Narang, and Rody Quinlan. 2020. 2020 Threat Landscape Retrospective. N.p.: Tenable. https://static.tenable.com/marketing/research-reports/Research-Report-Threat_Landscape_2020.pdf.

Cite Research and New Relic. September 14, 2021. 2021 Observability Forecast. N.p.: New Relic. https://newrelic.com/resources/report/2021-observability-forecast.

Cloud Native Computing Foundation. February 10, 2022. Cloud Native Computing Foundation Annual Survey 2021 Report. N.p.: Cloud Native Computing Foundation. https://www.cncf.io/reports/cncf-annual-survey-2021.

Dai, Charlie, Jeffrey Hammond, Sam Higgins, Paul Miller, Lee Sustar, and Tracy Woo. October 27, 2021. Predictions 2022: Cloud Computing. N.p.: Forrester Research. https://www.forrester.com/report/predictions-2022-cloud-computing/res176454.

Dayan, Danel, Chiraag Deora, Jack Mattei, Jason Mendel, and Dharmesh Thakker. November 2, 2021. State of the OpenCloud 2021. N.p.: Battery Ventures. https://www.scribd.com/document/536774580/battery-ventures-opencloud-report-2021.

Elliot, Stephen, and Harsh Singh. May 2022. The Business Value of the New Relic Observability Platform. N.p.: IDC and New Relic. https://newrelic.com/resources/white-papers/idc-business-value.

Fee, Nočnica. 2020. “How to Know if You're Faking Observability.” New Relic. https://newrelic.com/blog/best-practices/how-to-know-if-you-are-faking-observability.

Flexera. 2022. 2022 State of the Cloud Report. N.p.: Flexera. https://info.flexera.com/cm-report-state-of-the-cloud.

Fong-Jones, Liz, Charity Majors, and George Miranda. October 26, 2021. Observability Engineering. N.p.: O’Reilly Media. https://www.oreilly.com/library/view/observability-engineering/9781492076438/ch01.html.

Forrester. September 2018. The Total Economic Impact™ of the New Relic Platform. N.p.: New Relic. https://newrelic.com/analyst-reports/total-economic-impacttm-new-relic-platform.

Gartner. 2020. “Gartner Forecasts Worldwide Public Cloud Revenue to Grow 6.3% in 2020.” Gartner. https://www.gartner.com/en/newsroom/press-releases/2020-07-23-gartner-forecasts-worldwide-public-cloud-revenue-to-grow-6point3-percent-in-2020.

Gartner. 2022. “Gartner Forecasts Worldwide Public Cloud End-User Spending to Reach Nearly $600 Billion in 2023.” Gartner. https://www.gartner.com/en/newsroom/press-releases/2022-10-31-gartner-forecasts-worldwide-public-cloud-end-user-spending-to-reach-nearly-600-billion-in-2023.

Gartner. n.d. “Definition of Digital Transformation - IT Glossary.” Gartner. Accessed September 26, 2022. https://www.gartner.com/en/information-technology/glossary/digital-transformation.

Gigamon. 2022. State of Ransomware for 2022 and Beyond. N.p.: Gigamon. https://www.gigamon.com/content/dam/gated/wp-gigamon-report-state-of-ransomware.pdf.

GitLab. 2022. The GitLab 2022 Global DevSecOps Survey. N.p.: GitLab. https://about.gitlab.com/developer-survey.

Grieser, Tim. October 2021. Worldwide IT Operations Analytics Software Forecast, 2021–2025. N.p.: IDC. https://www.idc.com/getdoc.jsp?containerId=US48251621.

Groombridge, David. 2022. “Gartner Top 10 Strategic Technology Trends for 2023.” Gartner. https://www.gartner.com/en/articles/gartner-top-10-strategic-technology-trends-for-2023.

Haff, Gordon. February 22, 2022. The State of Enterprise Open Source. N.p.: Red Hat. https://www.redhat.com/en/resources/state-of-enterprise-open-source-report-2022.

Harvey, Nathan, Michelle Irvine, Dustin Smith, Dave Stanke, and Daniella Villalba. September 21, 2021. Accelerate State of DevOps 2021. N.p.: Google Cloud. https://services.google.com/fh/files/misc/state-of-devops-2021.pdf.

Hurst, Aaron. 2021. “Worldwide public cloud end-user spending to grow 23% in 2021—Gartner.” InformationAge, April 21, 2021. https://www.information-age.com/worldwide-public-cloud-end-user-spending-grow-23-2021-gartner-123494827.

Katsurashima, Wataru, Daryl Plummer, and Michael Warrilow. October 12, 2021. Emerging Technologies: Kubernetes and the Battle for Cloud-Native Infrastructure. N.p.: Gartner. https://www.gartner.com/doc/4006796.

Lenschow, Raimo. October 13, 2022. “2H22 CIO Survey: Outlook Declines.” N.p.: Barclays. https://live.barcap.com/go/publications/link?contentPubID=FC2686494.

Lenschow, Raimo. 2021. “Technology: 2H21 CIO Survey: 2021 Outlook Inching Upwards; 2022 Steady.” Barclays Live. https://live.barcap.com/PRC/publication/FC_TEJ-bGFfMTY0NzI4MDYwMTk0NX4gfiB-IH4g_2619989.

Lenschow, Raimo. 2022. “Q4 Public Cloud Update; Strong Growth, Microsoft Takes Share.” Barclays Live. https://live.barcap.com.

Lenschow, Raimo. 2022. “CQ3 Public Cloud Update; Headwinds Visible.” Barclays Live. https://live.barcap.com/go/publications/link?contentPubID=FC2690083.

Linthicum, David S., and Andy Thurai. December 18, 2020. Key Criteria for Evaluating Cloud Observability. N.p.: GigaOm. https://gigaom.com/report/key-criteria-for-evaluating-observability.

Longitude Research and New Relic. June 20, 2020. Deeper Than Digital: Top-performing modern enterprises show why more perfect software is fundamental to success. N.p.: New Relic. https://newrelic.com/resources/ebooks/more-perfect-software-gated.

Loukides, Mike. January 25, 2021. Where Programming, Ops, AI, and the Cloud are Headed in 2021. N.p.: O’Reilly Media. https://www.oreilly.com/radar/where-programming-ops-ai-and-the-cloud-are-headed-in-2021.

Lyman, Jay. May 21, 2021. Voice of the Enterprise: DevOps, Workloads, & Key Projects. N.p.: S&P Global Market Intelligence. https://clients.451research.com/reportaction/102063/Toc.

New Relic. December 6, 2021. 2022 O11y Trends Report. N.p.: New Relic. https://newrelic.com/resources/report/observability-trends-report.

New Relic. 2021. Cloud Native Is the New Normal: Is Your Environment Optimized for Success? N.p.: New Relic. https://newrelic.com/resources/ebooks/cloud-native-is-new-normal.

New Relic. October 2022. 2022 State of Logs Report. N.p.: New Relic. https://newrelic.com/resources/report/2022-state-of-logs.

Ouillon, Grégory. 2022. “Observability and growth: six strong trends to boost your company's performance in 2022.” Forbes France, January 30, 2022. https://www.forbes.fr/business/observabilite-et-croissance-six-tendances-fortes-pour-booster-la-performance-de-votre-entreprise-en-2022.

Radiant Logic. 2022. “New Study Reveals Identity Sprawl Plagues Organizations.” Radiant Logic. https://www.radiantlogic.com/news/new-study-reveals-identity-sprawl-plagues-organizations-with-60-percent-reporting-over-21-disparate-identities-per-user.

Rogers, Liam. December 16, 2021. Application and Infrastructure Performance Monitoring (AIPM) Market Map™ 2021. N.p.: 451 Research. https://clients.451research.com/reportaction/103322/Toc.

Rogers, Liam. 2021. “Observability sees an uptick in funding alongside continued M&A by incumbents.” 451 Research S&P Global Market Intelligence. https://clients.451research.com/reportaction/103143/Toc.

Stack Overflow. 2022. 2022 Developer Survey. N.p.: Stack Overflow. https://survey.stackoverflow.co/2022.

Stripe. September 2018. The Developer Coefficient. N.p.: Stripe. https://stripe.com/files/reports/the-developer-coefficient.pdf.

United States Security and Exchange Commission. February 2, 2022. Alphabet, Inc. Form 10-K: Annual Report for Fiscal Year Ending December 31, 2021. N.p.: United States Security and Exchange Commission. https://www.sec.gov/ix?doc=/Archives/edgar/data/0001652044/000165204422000019/goog-20211231.htm.

United States Security and Exchange Commission. February 4, 2022. Amazon, Inc. Form 10-K: Annual Report for Fiscal Year Ending December 31, 2021. N.p.: United States Security and Exchange Commission. https://www.sec.gov/ix?doc=/Archives/edgar/data/0001018724/000101872422000005/amzn-20211231.htm.

Vellante, Dave. 2021. “Cutting through the noise of full-stack observability.” SiliconANGLE Media. https://siliconangle.com/2021/11/06/cutting-noise-full-stack-observability.

Vellante, David. 2022. “Breaking Analysis: Latest CIO Survey Shows Steady Deceleration in IT Spend.” Wikibon. https://wikibon.com/breaking-analysis-latest-cio-survey-shows-steady-deceleration-spend.