Apache Spark 是最大的开源数据处理项目,为大数据和深度分析提供快速数据处理工具。Instana 的 Apache Spark 监控,包括监控通过 AWS EMR 部署的 Spark 的能力,但也可以监控 Spark 独立集群管理器。Spark 性能监控主要围绕监控 Spark 驱动程序实例进行。Instana 的 Spark 监控传感器支持两种驱动程序部署方法。
14 天,无需信用卡,完整版本
对于在 AWS EMR 上运行的 Spark 实例,请在 EMR 集群中的 Amazon EC2 实例上安装 Instana 代理。如果您希望自动化部署 Spark 监控传感器,则必须在 EMR 集群的所有节点上放置 Instana 代理。
Instana 的 Spark 监控包括一个自动构建的摘要仪表板,该仪表板以应用程序 KPI 为中心,包括响应时间和负载。仪表板还包括关键基础架构配置和性能指标,以及特定的 Spark 处理数据指标。该仪表板允许 DevOps 和 IT Ops 在一个屏幕上查看所有相关的 Spark 数据,从而轻松了解其 Spark 实例的状态。
监控 Apache Spark 实例的运行状况和性能,不仅需要了解 Spark 本身,还需要能够查看集群 Spark 实例之间的交互和依赖关系,以及与其他微服务(上游和下游)的交互。Instana 的 Spark 监控传感器,可自动识别并收集这些相关指标。