API-Latenz-Bewertungsmetrik

Die API-Latenzmetrik misst die Zeit (in ms), die benötigt wird, um eine Bewertungsanfrage durch Ihre Modellbereitstellung zu verarbeiten.

Metrikdetails

Die API-Latenz ist eine Durchsatz- und Latenzmetrik für Modellzustandsüberwachungsbewertungen, die die Latenz durch Nachverfolgung der Zeit berechnet, die für die Verarbeitung von Bewertungsanfragen pro Millisekunde (ms) benötigt wird.

Bereich

Die API-Latenzmetrik bewertet generative KI-Assets und maschinelle Lernmodelle.

  • Aufgaben der generativen KI :
    • Textausfassung
    • Textklassifizierung
    • Inhaltsgenerierung
    • Extrahieren von Entitäten
    • Beantwortung von Fragen
    • Augmented Generation (RAG)
  • Art des Problems beim maschinellen Lernen :
    • Binärklassifikation
    • Klassifikation in mehrere Klassen
    • Regression
  • Unterstützte Sprachen : Englisch

Evaluierungsprozess

Die durchschnittliche, maximale, mittlere und minimale API-Latenz für Bewertungsanfragen und Transaktionsdatensätze werden während der Auswertung des Modellzustandsmonitors berechnet.

Zur Berechnung der API-Latenzmetrik wird der Wert response_time aus Ihren Bewertungsanfragen verwendet, um die Zeit zu verfolgen, die Ihr Modell für die Verarbeitung von Bewertungsanfragen benötigt.

Bei Runtime-Bereitstellungen für watsonx.ai wird der Wert response_time automatisch erkannt, wenn Sie Auswertungen konfigurieren.

Bei externen und benutzerdefinierten Bereitstellungen müssen Sie den Wert response_time angeben, wenn Sie Bewertungsanfragen senden, um Durchsatz und Latenz zu berechnen, wie im folgenden Beispiel aus dem Python SDK gezeigt:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        )

Übergeordnetes Thema: Bewertungsmetriken