Monitoring der Nutzung von OpenAI GPT-Anwendungen in New Relic

Wenn Sie OpenAI GPT-3 und GPT-3.5 bereits im großen Maßstab verwenden oder es vorhaben, müssen Sie Metriken wie die durchschnittliche Anfragezeit, die Gesamtzahl der Anfragen und die Gesamtkosten im Auge behalten. So können Sie sicherstellen, dass OpenAI-APIs der GPT-Reihe, wie z. B. ChatGPT, einwandfrei funktionieren. Das ist besonders wichtig, wenn die Services für unternehmenskritische Funktionen wie Kundenservice und -support genutzt werden.  

Monitoring von OpenAI mit unserer Integration

New Relic hat sich der Bereitstellung von KI- und ML-Tools verschrieben, die umfassendes Monitoring bieten und sich problemlos in Ihren aktuellen Tech-Stack integrieren lassen. Unsere MLOps-Integration für OpenAI-GPT-Versionen ab GPT-3 sorgt für eine nahtlose Überwachung dieses Service. Mithilfe unserer schlanken Bibliothek können Sie die OpenAI-Vervollständigungsabfragen im Auge behalten; gleichzeitig werden im Zusammenhang mit Ihren Anfragen hilfreiche Kennzahlen zu ChatGPT in einem New Relic Dashboard aufgezeichnet.

Mit nur zwei Zeilen Code importieren Sie einfach das Modul monitor aus der Bibliothek nr_openai_monitor. Daraufhin wird automatisch ein Dashboard erstellt, in dem verschiedene Performance-Metriken zu GPT-3 und GPT-3.5 dargestellt werden, z. B. Kosten, Anfragen, durchschnittliche Reaktionszeit und durchschnittliche Tokenanzahl pro Anfrage.

Installieren Sie dazu als Erstes den OpenAI-Observability-Quickstart von New Relic Instant Observability (I/O). Weitere Informationen zur Integration von New Relic in Ihre GPT-Apps und zur Bereitstellung des Custom-Dashboard finden Sie im Data Bytes-Video oder in unserem GitHub-Repository.

Die wichtigsten Observability-Metriken für GPT-3 und GPT-3.5

Die Verwendung des leistungsstärksten OpenAI-Modells, Davinci, kostet 0,12 USD pro 1000 Token. Das kann sich sehr schnell summieren und ist bei intensiver Nutzung problematisch. Aus diesem Grund ist es ratsam, die Kosten Ihrer ChatGPT-Verwendung im Auge zu behalten. Dank der Integration von GPT-3 und GPT-3.5 können Sie im New Relic Dashboard jetzt zu jedem Zeitpunkt die aktuellen Kosten aufrufen. So behalten Sie den Überblick darüber, wie viel OpenAI Sie kostet, und können auf dieser Grundlage effizientere Use Cases entwickeln. 

Eine weitere wichtige Kennzahl ist die durchschnittliche Reaktionszeit. Anhand der Bearbeitungsdauer Ihrer ChatGPT-, Whisper API- sowie anderer GPT-Anfragen können Sie Ihre Modelle optimieren und Kund:innen mit Ihren OpenAI-Anwendungen rasch einen echten Mehrwert bieten. Das Monitoring von GPT-3 und GPT-3.5 mit New Relic verschafft Ihnen hilfreiche Einblicke in die Performance Ihrer OpenAI-Anfragen und hilft Ihnen, die Nutzung zu beurteilen, die Effizienz der ML-Modelle zu verbessern und bestmögliche Reaktionszeiten zu gewährleisten.

Weitere Metriken im New Relic Dashboard sind beispielsweise die Gesamtzahl der Anfragen, durchschnittliche Token pro Anfrage, Modellnamen und Daten-Samples. Diese Metriken geben Ihnen wertvolle Informationen zur Nutzung und Effektivität von ChatGPT und OpenAI. Zusätzlich können Sie damit Ihre GPT-Use Cases verbessern.

Unsere OpenAI-Integration ist schnell, einfach zu benutzen und verschafft Ihnen Zugang zu Echtzeit-Metriken, mit denen Sie die Auslastung optimieren, ML-Modelle verbessern, Kosten senken und die Performance Ihrer GPT-3- und GPT-3.5-Modelle steigern können.

Weitere Informationen zum Einrichten von New Relic MLOps oder zur Integration von OpenAI GPT-3- und GPT-3.5-Anwendungen in Ihre Observability-Infrastruktur finden Sie in unserer MLOps-Dokumentation oder unserem Instant Observability-Quickstart für OpenAI.