监控 GPU

您可以在 GPU 环境中安装 NVIDIA GPU Operator，该组件有助于管理和收集 GPU 指标。 如果需要，请启用以下组件： NVIDIA 驱动程序（用于启用CUDA）、适用于GPU的 Kubernetes 设备插件，以及 NVIDIA 容器工具包。 如需了解更多信息，请参阅 NVIDIA GPU Operator。

helm install gpu-operator \
   --repo https://helm.ngc.nvidia.com/nvidia \
   --namespace gpu-operator \
   --create-namespace \
   -set driver.enabled=false \
   -set toolkit.enabled=false \
   -set devicePlugin.enabled=false \
   -set mig.strategy=single \
   gpu-operator
 

NVIDIA GPU Operator 默认会安装 NVIDIA Data Center GPU Manager (DCGM)。 DCGM Exporter 是一款用于将 DCGM 数据导出至 NVIDIA 的工具，它允许用户收集 GPU 指标，从而了解工作负载行为或监控集群中的 GPU。

DCGM Exporter 通过 HTTP 端点 (/metrics) 向监控解决方案提供 GPU 指标。 如需更多信息，请参阅 DCGM Exporter。

Instana 通过 DCGM 导出器支持 MIG（多实例 GPU），该导出器可提供对分区 GPU 使用情况的可视化监控。 可以针对每个 MIG 实例独立收集指标，这有助于您在共享环境中更有效地监控和分配 GPU 资源。

您可以使用 OpenTelemetry Collector，将GPU的 OpenTelemetry 数据转发至 Instana 代理或 Instana 后端。

Instana 支持以下型号的GPU数据采集：

• 代理模型：在此模式下，GPU 数据首先发送至 Instana 代理，该代理负责聚合数据并将其发送至 Instana 后端。
• 无代理模型：在此模式下，GPU数据会直接发送至 Instana 后端，无需经过代理。

与其指定静态的 DCGM 导出器端点，您不妨配置 OpenTelemetry Collector，使其能够通过以下方式自动发现您 Kubernetes 集群中的 DCGM 导出器 Pod kubernetes_sd_configs： 这种方法避免了需要将各个 Pod 的地址硬编码进去。

receivers:
  otlp:
    protocols:
      grpc: {}
  prometheus/nvidia-dcgm:
    config:
      scrape_configs:
        - job_name: nvidia-dcgm
          scrape_interval: 10s
          kubernetes_sd_configs:
            - role: pod
              namespaces:
                names: ['nvidia-gpu-operator']
          relabel_configs:
            - source_labels: [__meta_kubernetes_pod_label_app]
              regex: nvidia-dcgm-exporter
              action: keep
            - source_labels: [__meta_kubernetes_pod_container_port_name]
              regex: metrics
              action: keep
            - source_labels: [__meta_kubernetes_pod_node_name]
              target_label: node_name
              action: replace
          metric_relabel_configs:
            - source_labels: [__name__]
              regex: 'DCGM_FI_DEV_(GPU_UTIL|MEM_COPY_UTIL|FB_USED|FB_FREE|GPU_TEMP|POWER_USAGE|SM_CLOCK)|DCGM_FI_PROF_GR_ENGINE_ACTIVE'
              action: keep
processors:
  batch: {}
  transform:
    metric_statements:
      - context: datapoint
        statements:
          - set(resource.attributes["service.name"], Concat(["nvidia-dcgm@", resource.attributes["k8s.node.name"]], "")
          - set(resource.attributes["service.instance.id"], attributes["node_name"])
  resource:
    attributes:
      - action: insert
        from_attribute: net.host.name
        key: server.address
      - action: insert
        from_attribute: net.host.port
        key: server.port
      - action: update
        key: service.name
        value: nvidia-dcgm
      - action: insert
        key: INSTANA_PLUGIN
        value: dcgm

exporters:
  debug:
    verbosity: detailed
  otlp:
    endpoint: "http://<instana-grpc-host>:443"
    headers:
      x-instana-key: <api-key>
      x-instana-host: <instana-host>
  otlphttp:
    endpoint: "https://<instana-http-host>:443"
    headers:
      x-instana-key: <api-key>
      x-instana-host: <instana-host>

service:
  pipelines:
    metrics/nvidia-dcgm:
      receivers:
        - prometheus/nvidia-dcgm
      processors:
        - transform
        - batch
        - resource
      exporters:
        - otlp
        - debug
        - otlphttp
  telemetry:
    metrics:
      readers:
        - pull:
            exporter:
              prometheus:
                host: 0.0.0.0
                port: 8888

安装 OpenTelemetry （ OTel ）数据收集器后，您可以在 Instana 用户界面中查看 GPU 指标。

1. 打开 Instana 用户界面，然后单击 “基础设施 ”。 然后，点击 “分析基础设施 ”。
2. 从实体类型列表中选择 OTEL Dcgm。
3. 单击 OTEL Dcgm 实体类型的实例，以打开相关的仪表板。

GPU度量值