Metrik zur Benutzerbewertung

Die Benutzermetrik berechnet die Anzahl der Benutzer, die Bewertungsanfragen an Ihre Modellbereitstellungen senden.

Metrikdetails

"Users" ist eine Modellmetrik zur Bewertung der Gesundheit, die Ihnen dabei helfen kann, zu verstehen, wie effizient Ihr Vermögenswert Ihre Transaktionen verarbeitet.

Bereich

Die Benutzermetrik bewertet generative KI-Assets und maschinelle Lernmodelle.

Aufgaben der generativen KI :
- Textausfassung
- Textklassifizierung
- Inhaltsgenerierung
- Extrahieren von Entitäten
- Beantwortung von Fragen
- Augmented Generation (RAG)
Art des Problems beim maschinellen Lernen :
- Binärklassifikation
- Klassifikation in mehrere Klassen
- Regression
Unterstützte Sprachen : Englisch

Evaluierungsprozess

Zur Berechnung der Anzahl der Benutzer wird die E-Mail-Adresse user_id aus den Bewertungsanfragen verwendet, um die Benutzer zu identifizieren, die die Bewertungsanfragen senden, die Ihr Modell erhält.

Bei Runtime-Bereitstellungen für watsonx.ai wird der Wert user_id automatisch erkannt, wenn Sie Auswertungen konfigurieren.

Bei externen und benutzerdefinierten Bereitstellungen müssen Sie den Wert user_id angeben, wenn Sie Bewertungsanfragen senden, um die Anzahl der Benutzer zu berechnen, wie im folgenden Beispiel aus dem Python SDK dargestellt:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        )