监控 DeepSeek 模型

DeepSeek 提供开放式AI模型，可集成于各类工作流程，涵盖对话式AI到软件开发等领域。本指南将向您展示如何使用 DeepSeek 模型与 OpenLLMetry 对应用程序进行监控，并将遥测数据发送至 Instana。

先决条件

确保满足下列先决条件：

Python 3.8 或之后
Groq 版 API 密钥（ DeepSeek 型号可通过Groq获取）
启用了生成式AI可观测性的 Instana 后端账户
代理模式与无代理模式入门指南

为您的 DeepSeek 应用程序添加监控工具

安装必需的软件包。
```
pip install groq traceloop-sdk
```

导出您的Groq API 密钥。

export GROQ_API_KEY="<your-groq-api-key>"

创建您的 DeepSeek 应用程序。创建名为 Python 的文件，内容如下：

from traceloop.sdk import Traceloop
from traceloop.sdk.decorators import workflow
from groq import Groq
# Initialize OpenLLMetry
Traceloop.init(app_name="deepseek_app", disable_batch=True)
# Initialize Groq client
client = Groq()
@workflow(name="deepseek_conversation")
def ask_deepseek(question: str):
    """Send a question to DeepSeek and get a response."""

    response = client.chat.completions.create(
        messages=[{"role": "user", "content": question}],
        model="deepseek-r1-distill-llama-70b", 
    )

    # Remove thinking tags from response
    result = (
        response.choices[0] 
        .message.content.replace("<think>", "")
        .replace("</think>", "") 
    ) 

    return result.strip()

# Example usage
if __name__ == "__main__":
    questions = [
        "How does transfer learning improve AI model performance?", 
        "What are the challenges in scaling LLMs for enterprise use?"    
    ]

    for question in questions:
        print(f"\nQuestion: {question}")
        answer = ask_deepseek(question)
        print(f"Answer: {answer}\n")
        print("-" * 80)

注：

DeepSeek 模型通过Groq的 API 进行访问。 `deepseek-r1-distill-llama-70b` 模型包含用`<think>`标签包裹的推理令牌，这些令牌在示例中已被移除。

运行您的 DeepSeek 应用程序。
```
python3 deepseek_app.py
```
该应用程序将向 DeepSeek 发送问题并显示回复。 OpenLLMetry 自动捕获每次 API 调用的跟踪信息，并将其发送至 Instana。
查看 Instana 上的数据。

运行应用程序后， Instana 生成式AI可观测性仪表板将显示以下内容：
- 所用模型
- 令牌使用（输入和输出令牌）
- 响应延迟
- 请求与响应内容

故障诊断

对于常见问题（如轨迹未显示或连接错误），请参阅故障排除指南。

认证错误数

若遇到身份验证错误：

请确认您的 GROQ_API_KEY 设置是否正确
请在 Groq控制台验证您的 API 密钥是否有效
请确保您的 API 密钥未过期或被撤销

速率限制错误

若遇到速率限制错误：

检查您的Groq账户速率限制
若进行多次调用，请在请求之间添加延迟
考虑升级您的Groq套餐以获得更高配额
为重试实现指数退避算法

模型未找到错误

若遇到模型未找到的错误：

请确认型号名称是否正确（例如： deepseek-r1-distill-llama-70b）
请通过 Groq3 检查该模型是否可用。
有关 DeepSeek 型号的信息，请参见 groq
受支持的模型

后续步骤

探索由Instana 支持的模型供应商提供的监控大型语言模型
了解您的LLM使用成本
为您的 DeepSeek API 使用情况设置提醒
查阅 DeepSeek 文档以了解模型功能