Monitorez l'utilisation de l'application OpenAI GPT dans New Relic

Si vous utilisez déjà ou si vous prévoyez d'utiliser GPT-3 et GPT-3.5 d'OpenAI à l'échelle, il est important que vous fassiez le monitoring de métriques telles que le temps moyen de requête, le nombre total de requêtes et le coût total. Tout cela peut vous aider à vérifier que les API de la série OpenAI GPT comme ChatGPT fonctionnent comme prévu surtout lorsqu'elles sont requises pour des fonctions importantes comme le service à la clientèle et l'assistance technique.

Monitoring OpenAI avec notre intégration

New Relic se concentre sur la livraison de précieux outils AI et ML qui apportent des informations de monitoring détaillées et qui s'intègrent avec votre stack technologique actuel. Notre intégration MLOps avec GPT-3, GPT-3.5 — et les versions ultérieures —  est la première en son genre et ouvre la voie pour le monitoring de ce service. Notre bibliothèque légère vous aide à monitorer les requêtes de complétion OpenAI et d'enregistrer en même temps des statistiques utiles autour de ChatGPT sur un dashboard New Relic concernant vos requêtes

Avec seulement deux lignes de code, importez le module de monitoring depuis la bibliothèque nr_openai_monitor et générez automatiquement un dashboard qui affiche toute une gamme de métriques clés sur les performances de GPT-3 et GPT-3.5 telles que le coût, les requêtes, le temps de réponse moyen et le nombre moyens de jetons par requête.

Pour démarrer, installez le quickstart d'observabilité OpenAI de New Relic Instant Observability (I/O). Regardez la vidéo Data Bytes ou consultez notre référentiel de bibliothèque pour de plus amples instructions sur la façon d'intégrer New Relic avec vos applications GPT et déployer le dashboard personnalisé.

Métriques d'observabilité clés pour GPT-3 et GPT-3.5

L'utilisation du modèle Davinci, le plus puissant d'OpenAI, revient à 0,12 USD pour 1 000 jetons. Un coût qui peut augmenter rapidement et rendre les opérations à l'échelle difficiles. Et donc, l'une des plus importantes métriques à monitorer est le coût des opérations de ChatGPT. Avec l'intégration de GPT-3 et GPT-3.5 avec New Relic, notre dashboard vous permet de suivre les coûts en temps réel, de faire remonter à la surface les implications financières de votre utilisation d'OpenAI et de déterminer les cas d'utilisation les plus efficaces. 

Une autre métrique importante est le temps de réponse moyen. La vitesse de votre ChatGPT, l'API Whisper et d'autres requêtes GPT peuvent vous aider à améliorer vos modèles et à rapidement fournir à vos clients la valeur de vos applications OpenAI. Le monitoring de GPT-3 et GPT-3.5 avec New Relic vous donnera des informations détaillées sur les performances de vos requêtes OpenAI, afin que vous puissiez comprendre votre utilisation, améliorer l'efficacité des modèles ML et vous assurer d'obtenir les meilleurs temps de réponse possible.

D'autres métriques incluses sur le dashboard New Relic sont : le nombre total de requêtes, la moyenne de jetons/requêtes, les noms des modèles et les échantillons. Ces métriques fournissent des informations précieuses sur l'utilisation et l'efficacité de ChatGPT et d'OpenAI et peuvent vous aider à améliorer les performances de vos cas d'utilisation GPT.

Globalement, notre intégration OpenAI est rapide, simple d'utilisation et vous permet d'accéder aux métriques en temps réel qui vous aideront à optimiser l'usage, à améliorer les modèles ML, à réduire les coûts et à atteindre de meilleures performances avec vos modèles GPT-3 et GPT-3.5.

Pour plus d'informations sur la façon de paramétrer New Relic MLOps ou d'intégrer les applications GPT-3 et GPT-3.5 OpenAI dans votre infrastructure d'observabilité, consultez notre documentation MLOps ou le quickstart pour OpenAI de New Relic Instant Observability.