OpenAI

Online bearbeiten

OpenAI Modelle, darunter GPT-3.5 und GPT-4, sind transformatorbasierte neuronale Netze, die anhand umfangreicher Text- und Code-Datensätze trainiert werden. OpenAI Modelle ermöglichen es Ihnen, vielseitige natürliche Sprache zu verstehen und zu generieren. Die Modelle nutzen Deep-Learning-Techniken für Kontextbewusstsein und Mustererkennung, um Aufgaben wie Textvervollständigung, Übersetzung und dialogorientierte KI zu erleichtern. Sie können auf diese Modelle über eine API zugreifen, die Entwicklern eine flexible Plattform für die Integration fortschrittlicher KI-Funktionen in verschiedene Anwendungen bietet.

Instrumentierung OpenAI Anwendung

Online bearbeiten

Um die OpenAI Anwendung zu instrumentieren, führen Sie die folgenden Schritte aus:

Stellen Sie sicher, dass Ihre Umgebung alle Voraussetzungen erfüllt. Weitere Informationen finden Sie unter Voraussetzungen.

Um Abhängigkeiten zu installieren, OpeanAI, führen Sie den folgenden Befehl aus:
```
pip3 install openai==1.58.1
```
Exportieren Sie die folgenden Anmeldedaten, um auf die in der Beispielanwendung OpenAI verwendeten Modelle zuzugreifen.
```
export OPENAI_API_KEY=<openai-api-key>
```
Um einen API-Schlüssel für den Zugriff auf die OpenAI API zu erstellen oder den vorhandenen zu verwenden, siehe OpenAI.

Führen Sie den folgenden Code aus, um eine OpenAI Beispielanwendung zu generieren:

import os, time, random
from openai import OpenAI
from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

Traceloop.init(app_name="openai_chat_service", disable_batch=True)

@workflow(name="streaming_ask")
def ask_workflow():
    models = [ "gpt-3.5-turbo", "gpt-4-turbo-preview" ]
    mod = random.choice(models)
    questions = [ "What is AIOps?", "What is GitOps?" ]
    question = random.choice(questions)
    stream = client.chat.completions.create(
        model=mod,
        messages=[{"role": "user", "content": question}],
        stream=True,
    )
    for part in stream:
        print(part.choices[0].delta.content or "", end="")

for i in range(10):
    ask_workflow()
    time.sleep(3)

Führen Sie den folgenden Befehl aus, um die Anwendung zu starten:
```
python3 ./<openai-sample-application>.py
```

Nachdem Sie die Überwachung konfiguriert haben, erfasst Instana die folgenden Traces und Metriken aus der Beispielanwendung:

Um die von LLM gesammelten Traces anzuzeigen, siehe Erstellen einer Anwendungsperspektive zum Anzeigen von Traces.

Um die von LLM erfassten Metriken anzuzeigen, siehe Metriken anzeigen.

LLM-Sicherheit hinzufügen

Online bearbeiten

Wenn personenbezogene Daten (PII) LLMs ausgesetzt werden, kann dies zu ernsthaften Sicherheits- und Datenschutzrisiken führen, wie z. B. Verstößen gegen vertragliche Verpflichtungen und einem erhöhten Risiko von Datenlecks oder Datenverstößen. Weitere Informationen finden Sie unter LLM-Sicherheit.