DeepSeek モデルの監視

オンラインで編集

DeepSeek 対話型AIからソフトウェア開発まで、多様なワークフローに統合可能なオープンソースのAIモデルを提供します。 このガイドでは、 DeepSeek モデルと OpenLLMetry を使用してアプリケーションを計測し、テレメトリデータを Instana に送信する方法を説明します。

前提条件

以下の前提条件が満たされていることを確認してください：

  • Python 3.8 またはそれ以降
  • Groq製 API キー（ DeepSeek モデルはGroq経由で入手可能）
  • 生成AIの可観測性が有効化された Instana バックエンドアカウント
  • エージェントモードとエージェントレスモードの開始手順に関するレビュー

DeepSeek アプリケーションの計測

  1. 必要なパッケージをインストールします。
    pip install groq traceloop-sdk
  2. Groqの API キーをエクスポートしてください。
    export GROQ_API_KEY="<your-groq-api-key>"
  3. DeepSeek アプリケーションを作成してください。 以下のコードで Python ファイルを作成してください：
    from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow
from groq import Groq
# Initialize OpenLLMetry
Traceloop.init(app_name="deepseek_app", disable_batch=True)
# Initialize Groq client
client = Groq()
@workflow(name="deepseek_conversation")
def ask_deepseek(question: str):
    """Send a question to DeepSeek and get a response."""

    response = client.chat.completions.create(
        messages=[{"role": "user", "content": question}],
        model="deepseek-r1-distill-llama-70b", 
    )

    # Remove thinking tags from response
    result = (
        response.choices[0] 
        .message.content.replace("<think>", "")
        .replace("</think>", "") 
    ) 

    return result.strip()

# Example usage
if __name__ == "__main__":
    questions = [
        "How does transfer learning improve AI model performance?", 
        "What are the challenges in scaling LLMs for enterprise use?"    
    ]

    for question in questions:
        print(f"\nQuestion: {question}")
        answer = ask_deepseek(question)
        print(f"Answer: {answer}\n")
        print("-" * 80)
    注:

    DeepSeek モデルはGroqの API を通じてアクセスされます。 `deepseek-r1-distill-llama-70b` モデルには`<think>`タグで囲まれた推論トークンが含まれていますが、この例ではそれらが削除されています。

  4. DeepSeek アプリケーションを実行してください。
    python3 deepseek_app.py

    アプリケーションは質問を DeepSeek に送信し、返答を表示します。 OpenLLMetry API 呼び出しごとにトレースを自動的にキャプチャし、 Instana に送信します。

  5. Instana のデータを表示する。

    アプリケーションを実行すると、 Instana Gen AI 監視ダッシュボードに以下の項目が表示されます：

    • 使用モデル
    • トークンの使用（入力トークンと出力トークン）
    • 応答遅延
    • リクエストとレスポンスの内容

トラブルシューティング

トレースが表示されない、接続エラーなどの一般的な問題については、 トラブルシューティングを参照してください。

認証エラー

認証エラーが発生した場合：

  1. 設定が正しく行われている GROQ_API_KEY ことを確認してください
  2. API キーが有効かどうかを Groqコンソールで確認してください
  3. API キーが期限切れまたは失効していないことを確認してください

レート制限エラー

レート制限エラーが発生した場合：

  1. Groqアカウントのレート制限を確認してください
  2. 複数の呼び出しを行う場合、リクエスト間に遅延を追加する
  3. Groqプランのアップグレードをご検討ください。上限値を引き上げられます
  4. 再試行に指数バックオフを実装する

モデルが見つかりませんエラー

モデルが見つからないエラーが発生した場合：

  1. モデル名が正しいことを確認してください（例： deepseek-r1-distill-llama-70b）
  2. モデルが利用可能かどうかを Groq3 で確認してください。
  3. DeepSeek モデルについては、groqを参照してください

    サポートされるモデル

次のステップ