API 지연 시간 평가 지표

범위

API 지연 시간 지표는 생성형 AI 자산과 머신러닝 모델을 평가합니다.

• 생성형 AI 과제 :
  • 텍스트 요약
  • 텍스트 분류
  • 컨텐츠 생성
  • 엔티티 추출
  • 질문 응답
  • 검색 강화 생성(RAG)
• 기계 학습 문제 유형 :
  • 2진 분류
  • 다중 클래스 분류
  • 회귀
• 지원 언어 : 영어

평가 절차

모델 상태 모니터링 평가 과정에서 스코어링 요청 및 트랜잭션 레코드에 대한 평균, 최대, 중앙값 및 최소 API 지연 시간이 계산됩니다.

API 지연 시간 지표를 계산할 때, 스코어링 response_time 요청의 값을 사용하여 모델 배포가 스코어링 요청을 처리하는 데 걸리는 시간을 추적합니다.

Watson Machine Learning 배포 환경에서는 평가 설정을 구성할 때 해당 response_time 값이 자동으로 감지됩니다.

외부 및 사용자 지정 배포 환경의 경우, Python SDK 의 다음 예시와 같이 처리량과 지연 시간을 계산하려면 점수 산출 요청을 보낼 때 값을 response_time 지정해야 합니다:

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord            
        client.data_sets.store_records(
        data_set_id=payload_data_set_id, 
        request_body=[
        PayloadRecord(
            scoring_id=<uuid>,
            request=openscale_input,
            response=openscale_output,
            response_time=<response_time>,  
            user_id=<user_id>)
                    ]
        )