모델 제공업체의 대규모 언어 모델(LLM) 모니터링

온라인에서 편집하기

Instana 모델 제공업체의 대규모 언어 모델(LLM)을 모니터링하여 트레이스, 메트릭 및 로그를 수집함으로써 성능, 효율성 및 비용에 대한 실시간 인사이트를 제공합니다. 모델 추론 지연 시간, 오류율, 리소스 사용률, 토큰 사용량 및 비용 등 주요 지표를 추적하여 병목 현상을 파악하고 AI 운영을 최적화합니다.

다음 목록은 지원되는 LLM 제공업체를 정리한 것입니다:

중요한 데이터 보호

대규모 언어 모델(LLM)을 사용할 때, 이름, 이메일 주소 또는 금융 데이터와 같은 개인 식별 정보(PII)를 처리해야 할 수 있습니다. 민감한 데이터를 보호하고 규정 준수를 유지하려면, LLM 애플리케이션에서 P II 익명화를 구현하는 방법에 대한 지침을 확인하려면 ‘PII 데이터 익명화’를 참조하십시오.

문제점 해결

SSL 문제 해결에 관한 정보.

SSL 문제

LLM 애플리케이션에서 ‘ SSL ’ 핸드셰이크 오류나 다음과 같은 오류와 같은 다른 문제가 발생하는 경우:

Handshake failed with fatal error SSL_ERROR_SSL: error:100000f7:SSL routines:OPENSSL_internal:WRONG_VERSION_NUMBER.

TLS 를 사용하지 않고 데이터를 gRPC 엔드포인트로 내보내려면 LLM 애플리케이션에서 해당 설정을 OTEL_EXPORTER_OTLP_INSECURE=true 구성해야 합니다.

모듈 관련 문제

LLM 애플리케이션에서 다음과 같은 오류와 같은 문제가 발생하거나 기타 문제가 module 'lib' 발생할 경우:

AttributeError: module 'lib' has no attribute 'X509_V_FLAG_NOTIFY_POLICY'.

다음 OpenSSL 패키지를 설치하십시오:

pip3 install --upgrade cryptography pyopenssl