Groq 모니터링

온라인에서 편집하기

Groq는 매우 낮은 지연 시간을 위해 최적화된 독자적인 언어 처리 유닛(LPU) 아키텍처를 기반으로 AI 추론 기능을 제공합니다. 이 가이드에서는 Groq 모델과 OpenLLMetry 을 사용하여 애플리케이션에 계측 기능을 구현하고, Instana 으로 텔레메트리 데이터를 전송하는 방법을 설명합니다.

전제조건

다음 전제조건이 충족되는지 확인하십시오.

Python 3.8 또는 그 이후
Groq API 키 ( Groq Console 에서 발급받으세요)
Instana 계정
에이전트 모드 및 에이전트리스 모드 시작하기 안내

Groq 애플리케이션에 계측 기능 추가하기

필수 패키지를 설치하십시오.
```
pip install groq traceloop-sdk
```

Groq API 키를 내보내세요.

export GROQ_API_KEY="<your-groq-api-key>"

Groq 애플리케이션을 만들어 보세요. 다음 코드가 포함된 ` Python ` 파일을 생성하세요:

import os
from groq import Groq
from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow

# Initialize Groq client
client = Groq(api_key=os.getenv("GROQ_API_KEY"))

# Initialize OpenLLMetry
Traceloop.init(app_name="groq_chat_service", disable_batch=True)

@workflow(name="groq_conversation")
def ask_groq(question: str):
    """Send a question to Groq and get a response."""

    response = client.chat.completions.create(
        max_tokens=512,
        messages=[
            {"role": "user", "content": question}
        ],
        model="llama-3.3-70b-versatile",
    )

    return response.choices[0].message.content

# Example usage
if __name__ == "__main__":
    questions = [
        "What is AIOps and how does it help with IT operations?",
        "Explain the benefits of observability in modern applications."
    ]

    for question in questions:
        print(f"\nQuestion: {question}")
        answer = ask_groq(question)
        print(f"Answer: {answer}\n")
        print("-" * 80)

애플리케이션을 실행하십시오.
```
python3 groq_app.py
```
이 애플리케이션은 Groq에 질문을 전송하고 답변을 표시합니다. OpenLLMetry 각 API 호출에 대한 추적 정보를 자동으로 수집하여 Instana 으로 전송합니다.
Instana 에서 데이터를 확인하세요.

애플리케이션을 실행하면 Instana 의 Gen AI 가시성 대시보드에 다음 항목들이 표시됩니다:
- 사용된 모델
- 토큰 사용 (입력 및 출력 토큰)
- 응답 대기 시간
- 요청 및 응답 내용

문제점 해결

트레이스가 표시되지 않거나 연결 오류가 발생하는 등 일반적인 문제의 경우, ‘문제 해결’을 참조하십시오.

인증 오류

인증 오류가 발생할 경우:

설정이 GROQ_API_KEY 올바른지 확인하세요
Groq 콘솔 에서 API 키가 유효한지 확인하세요
API 키의 유효 기간이 만료되거나 취소되지 않았는지 확인하십시오

속도 제한 오류

속도 제한 오류가 발생할 경우:

Groq 계정의 사용 한도를 확인하세요
여러 번 호출할 경우 요청 사이에 지연 시간을 두세요
더 높은 한도를 이용하려면 Groq 요금제를 업그레이드해 보세요
재시도에 지수적 백오프 적용

모델을 찾을 수 없다는 오류

‘모델을 찾을 수 없음’ 오류가 발생하면:

모델 이름이 올바른지 확인하십시오 (예: llama-3.3-70b-versatile)
Groq에서 해당 모델을 이용할 수 있는지 확인해 보세요
사용 가능한 모델에 대해서는 Groq의 모델 문서를 참조하십시오

다음 단계

Instana 에서 지원하는 다른 LLM 제공업체 살펴보기
LLM 사용에 따른 비용 산정 방법 알아보기
Groq API 사용량에 대한 알림 설정하기
LPU 아키텍처에 대한 자세한 내용은 Groq 문서를 참조하십시오