Groqのモニタリング

オンラインで編集する

Groqは、極めて低いレイテンシを実現するために最適化された独自の言語処理ユニット（LPU）アーキテクチャを用いて、AI推論を提供します。 このガイドでは、 OpenLLMetry とGroqモデルを使用してアプリケーションに計測機能を組み込み、 Instana にテレメトリデータを送信する方法について説明します。

前提条件

以下の前提条件が満たされていることを確認してください：

  • Python 3.8 またはそれ以降
  • Groqの API キー（ Groq Console から取得してください）
  • Instana のアカウント

  • エージェントモードとエージェントレスモードの 「はじめに」 の概要

Groqアプリケーションへの計測機能の追加

  1. 必要なパッケージをインストールします。

    pip install groq traceloop-sdk
  2. Groqの API キーをエクスポートします。
    export GROQ_API_KEY="<your-groq-api-key>"

  3. Groqアプリケーションを作成してください。 以下のコードを Python ファイルに記述してください：

    import os
from groq import Groq
from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow

# Initialize Groq client
client = Groq(api_key=os.getenv("GROQ_API_KEY"))

# Initialize OpenLLMetry
Traceloop.init(app_name="groq_chat_service", disable_batch=True)

@workflow(name="groq_conversation")
def ask_groq(question: str):
    """Send a question to Groq and get a response."""

    response = client.chat.completions.create(
        max_tokens=512,
        messages=[
            {"role": "user", "content": question}
        ],
        model="llama-3.3-70b-versatile",
    )

    return response.choices[0].message.content

# Example usage
if __name__ == "__main__":
    questions = [
        "What is AIOps and how does it help with IT operations?",
        "Explain the benefits of observability in modern applications."
    ]

    for question in questions:
        print(f"\nQuestion: {question}")
        answer = ask_groq(question)
        print(f"Answer: {answer}\n")
        print("-" * 80)

  4. アプリケーションを実行します。

    python3 groq_app.py

    このアプリはGroqに質問を送信し、回答を表示します。 OpenLLMetry API の呼び出しごとにトレースを自動的に取得し、 Instana に送信します。

  5. Instana のデータを表示する。

    アプリケーションの実行後、 Instana のGen AI可観測性ダッシュボードには以下の項目が表示されます：

    • 使用したモデル
    • トークンの使用（入力トークンと出力トークン）
    • 応答遅延
    • リクエストおよびレスポンスの内容

トラブルシューティング

トレースが表示されない、または接続エラーが発生するなどの一般的な問題については、 「トラブルシューティング」 を参照してください。

認証エラー

認証エラーが発生した場合は：

  1. 設定が GROQ_API_KEY 正しいか確認してください
  2. Groq Console で、 API キーが有効かどうかを確認してください
  3. API キーの有効期限が切れていないか、または無効化されていないかを確認してください

レート制限エラー

レート制限エラーが発生した場合は：

  1. Groqアカウントのレート制限を確認してください
  2. 複数のリクエストを送信する場合は、リクエストの間に遅延を設けてください
  3. 利用制限を引き上げるために、Groqのプランのアップグレードをご検討ください
  4. 再試行に指数関数的バックオフを実装する

「モデルが見つかりません」というエラー

「モデルが見つかりません」というエラーが発生した場合は：

  1. モデル名が正しいことを確認してください（例： llama-3.3-70b-versatile）
  2. Groqでそのモデルが利用可能かどうかを確認してください
  3. 利用可能なモデルについては、Groqのモデルドキュメントを参照してください

次のステップ