内容


将 Hortonworks 数据平台(HDP)集成在 IBM Power Systems 上的微策略

使用 MicroStrategy 对 IBM Power Systems 上的 HDP 中的数据执行探索并可视化的步骤

Comments

简介

MicroStrategy 提供了一个名为 MicroStrategy Desktop 的商业智能 (BI) 解决方案。MicroStrategy Desktop 提供了自助分析功能,通过内置工具和仪表板来帮助探索和可视化数据。MicroStrategy 支持访问 Hadoop 环境中的数据。我们执行了验证测试,验证 MicroStrategy 与基于 IBM® POWER8® 处理器的服务器上的 Hortonworks Data Platform (HDP) 集成的能力,以及可视化其中的专有数据的能力。本文将概述已完成的验证测试。

目标

对 MicroStrategy 执行验证测试的关键目的是:

  • 配置 MicroStrategy 来连接到在基于 IBM POWER8 处理器的服务器上运行的 HDP 2.6。
  • 提取并可视化在基于 POWER8 处理器的服务器上运行的 HDP 的 Hadoop 分布式文件系统 (HDFS) 中的样本数据。

测试环境

本节将列出测试环境中使用的 MicroStrategy 和 HDP 的高级组件。

MicroStrategy

  • MicroStrategy Personal Edition 10.6.0
  • Hortonworks ODBC Driver for Apache Hive v2.1.5
  • 运行 Microsoft Windows 7 的笔记本电脑

Hortonworks Data Platform

  • HDP V2.6
  • Red Hat Enterprise Linux V7.2
  • 最低限度资源:8 个虚拟处理器、24 GB 内存、50 GB 磁盘空间
  • IBM PowerKVM™
  • 基于 IBM POWER8 处理器的服务器

部署架构

部署架构非常简单。将 MicroStrategy 和 Hortonworks ODBC 驱动程序安装在一个 Windows 7 系统上并运行。将 HDP 安装在一个 POWER8 服务器上并运行。配置 MicroStrategy 和 ODBC 驱动程序来连接到 HDP。通过 MicroStrategy Desktop 访问 HDP 中的数据并将其可视化。在一个单节点 HDP 环境和一个多节点 HDP 集群中运行测试。

安装和配置

本节将介绍一个 HDP 集群和 MicroStrategy 软件的安装和配置。

安装并配置 HDP 集群

以下是安装并配置 HDP 集群的主要步骤:

  1. 按照 HDP on Power Systems 安装指南(参见参考资料)来安装并配置 HDP 集群。
  2. 登录到 Ambari 服务器,并确保所有服务都在运行。
  3. 通过 Ambari 监控和管理 HDP 集群、Hadoop 和相关服务。

设置测试数据和 Hive 表

下载 MovieLens 和驱动程序测试数据,将该数据复制到 HDFS,并创建 Hive 表。

  1. 此处下载 MovieLens 数据集(参见参考资料中的引用)
  2. 按照此处的操作说明,将 MovieLens 数据集数据复制到 HDFS,并设置 Hive 外部表。使用相同的 hive 用户 ID。
  3. 此处的 Driver Behavior 数据文件中下载驱动程序数据文件。
  4. 将驱动程序数据复制到 HDFS。
     
    # su – hive
    # hadoop fs -mkdir -p /user/hive/dataset/drivers
    # hadoop fs -copyFromLocal /home/np/u0014213/Data/truck_event_text_partition.csv /user/hive/dataset/drivers
    # hadoop fs -copyFromLocal /home/np/u0014213/Data/drivers.csv /user/hive/dataset/drivers
    # hadoop fs -ls /user/hive/dataset/drivers
    Found 2 items
    -rw-r--r--  3 hive hdfs     2043 2017-05-21 06:30 /user/hive/dataset/drivers/drivers.csv
    -rw-r--r--  3 hive hdfs  2272077 2017-05-21 06:30 /user/hive/dataset/drivers/truck_event_text_partition.csv
  5. 为驱动程序数据创建 Hive 表。
     
    # su – hive
    # hive
    hive>create database trucks;
    hive> use trucks;
     
    hive> create table drivers
    (driverId int,
    name string,
    ssn bigint,
    location string,
    certified string,
    wageplan string)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE
    TBLPROPERTIES("skip.header.line.count"="1");
     
    hive> create table truck_events
    (driverId int,
    truckId int,
    eventTime string,
    eventType string,
    longitude double,
    latitude double,
    eventKey string,
    correlationId bigint,
    driverName string,
    routeId int,
    routeName string)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
    STORED AS TEXTFILE
    TBLPROPERTIES("skip.header.line.count"="1");
     
    hive> show tables;
    OK
    drivers
    truck_events
  6. 将数据从 HDFS 中的文件加载到这些表中。
     
    hive> LOAD DATA INPATH '/user/hive/dataset/drivers/truck_event_text_partition.csv' overwrite into
      table truck_events;
    hive> LOAD DATA INPATH '/user/hive/dataset/drivers/drivers.csv' overwrite into table drivers;
  7. 交叉检查这些表,确保在这些表上运行查询可获得这些数据。

安装并配置 Hortonworks ODBC 驱动程序

以下是安装并配置 ODBC 驱动程序的步骤:

  1. 将 Hortonworks ODBC 驱动程序下载到 Windows 7 上(参见参考资料获得相关下载网站)。
  2. 安装并配置 ODBC 驱动程序。按照参考资料部分列出的指南中的操作说明进行操作。

安装并配置 MicroStrategy

以下是安装并配置 MicroStrategy 的步骤:

  1. 转到 MicroStrategy 下载页(参见参考资料),将 Microstrategy Desktop 下载到 Windows 7 上。
  2. 按照提示将它安装在 Windows 7 系统中。

将 HDP 连接到 MicroStrategy

以下是配置 HDP 与 MicroStrategy 之间的连接的步骤。

  1. 从 Windows 启动 ODBC Administrator,为 Hortonworks Hive 添加一个数据源,如图 1 所示。
    图 1. Hortonworks Hive ODBC Driver 设置
  2. 在 Windows 7 系统中,启动 MicroStrategy Desktop 并配置与 HDP 的连接,如图 2 所示。
    图 2. Main MicroStrategy Desktop
  3. 选择数据库和表,如图 3 所示。
    图 3. 选择数据库和表
  4. 添加数据源,提供 Hive 数据源细节,输入 Hive 数据库密码,如图 4 所示。
    图 4. 指定必要的值
  5. 选择 Hive 数据库和表,并加载数据,以便将数据从 Hive 摄入到 MicroStrategy 中,如图 5 所示。数据现在已载入 MicroStrategy 中,如图 6 所示。现在您已准备好开始分析数据。
    图 5. 将 Hive 数据载入 MicroStrategy 中
    图 6. 载入 MicroStrategy 中的数据的预览图

在 MicroStrategy 中执行可视化和分析

使用 MicroStrategy Desktop,选择用于执行可视化和分析的数据列。请注意,该数据现在位于内存中,所以分析的是内存中的数据。

图 7-9 给出了使用来自 Driver Behavior 数据库的 truck_events 数据所测试的分析和可视化示例。

图 7. MicroStrategy truck_events 可视化示例 1
图 8. MicroStrategy truck_events 可视化示例 2
图 9. MicroStrategy truck_events 可视化示例 3

图 10-12 给出了使用来自 MovieLens 数据集的电影评分数据所测试的分析和可视化示例。

图 10. MicroStrategy 电影评分数据可视化示例 1
图 11. MicroStrategy 电影评分数据可视化示例 2
图 12. MicroStrategy 电影评分数据可视化示例 4

参考资料


评论

添加或订阅评论,请先登录注册

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Linux
ArticleID=1057634
ArticleTitle=将 Hortonworks 数据平台(HDP)集成在 IBM Power Systems 上的微策略
publish-date=02062018