跳转到主要内容

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

这是您第一次登陆到 developerWorks，已经自动为您创建了您的概要文件。 选择您概要文件中可以公开的信息的信息（如姓名、国家/地区，以及公司），这些信息同时也会与您所发布的内容相关联。 您可以随时更新您的 IBM 账号。

所有提交的信息确保安全。

  • 关闭 [x]

当您初次登录到 developerWorks 时，将会为您创建一份概要信息，您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的，并且出于隐私保护的原因，不能是您的电子邮件地址。

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

所有提交的信息确保安全。

  • 关闭 [x]

选择语言：

  • 关闭 [x]
  • 关闭 [x]

探索大数据分析和 Hadoop

了解 Hadoop 和大数据生态系统

发布日期： 2012 年 12 月 24 日 |级别：初级 |

登录 以保存进度 (了解更多)

保存进度 (了解更多)

1. 大数据

大数据 是指变得过大而无法通过传统方法操纵的数据集。这些方法包括在可承受的时间内对数据进行捕获、存储和处理。虽然术语大数据 曾被用作数据仓库概念，但它现在只专注于处理的容量、吞吐量和通用性的大规模处理架构。

阅读: Forrester：大数据 – 从小规模开始，但迅速扩大项目未被标记 - 点击标记为完成

阅读: 驾驭大数据项目未被标记 - 点击标记为完成

阅读: 利用大数据获得新的业务洞察项目未被标记 - 点击标记为完成

观看: 大数据大学欢迎视频 - 什么是 Hadoop？项目未被标记 - 点击标记为完成

2. 简介 Hadoop

Hadoop 是指在 Apache Project 下针对大规模分布式数据处理而开发的特定软件框架。它的设计支持高度可扩展的网络，该网络有数千个包含 PB 级数据的节点。Hadoop 最初是使用 Java™ 语言来设计的，但目前已经扩展到其他许多脚本语言。了解可与 Hadoop 配合使用的架构以及使用它们的效益。

下载: Cloudera Hadoop Distribution项目未被标记 - 点击标记为完成

阅读: 使用 Linux 和 Hadoop 的分布式计算项目未被标记 - 点击标记为完成

阅读: Hadoop Distributed File System 简介项目未被标记 - 点击标记为完成

阅读: 用 Hadoop 进行分布式数据处理，第 1 部分：简介项目未被标记 - 点击标记为完成

阅读: 用 Hadoop 进行分布式数据处理，第 2 部分：深入介绍项目未被标记 - 点击标记为完成

阅读: 用 Hadoop 进行分布式数据处理，第3 部分：应用程序开发 项目未被标记 - 点击标记为完成

实践: 为 MapReduce 框架使用 SQL 类语言：使用高级声明式接口让 Hadoop 易于使用项目未被标记 - 点击标记为完成

3. 使用 Hadoop 解决问题

虽然 Hadoop 的灵感来自于 Google 的 MapReduce 使用模型，但 Hadoop 是一个通用的应用程序框架，可支持大量数据的处理。了解 Hadoop 在人工智能与 Apache Mahout 中的使用、使用了 Java 技术的 Hadoop，并结合使用 Hadoop 与 Dojo 工具包，以实现数据可视化。

阅读: Apache Mahout 简介项目未被标记 - 点击标记为完成

实践: 使用 Mahout 实现聚类项目未被标记 - 点击标记为完成

阅读: Java 开发 2.0：用 Hadoop MapReduce 进行大数据分析项目未被标记 - 点击标记为完成

阅读: 使用 Apache Hadoop 和 Dojo 降低商业智能成本，第 1 部分：使用 Apache Hadoop 挖掘现有数据 项目未被标记 - 点击标记为完成

阅读: 使用 Apache Hadoop 和 Dojo 降低商业智能成本，第 2 部分：使用 Dojo 工具包创建引人注目的、交互的报告 项目未被标记 - 点击标记为完成

实践: 使用 Apache Hadoop 处理日志项目未被标记 - 点击标记为完成

4. 大数据和云计算

大数据分析和云几乎是一个完美的组合。能够灵活地配置分析作业所必需的处理节点的数量，同时仅为实际使用的节点进行付费，这是云计算所提供的实实在在的好处的典型示例。了解云中的 Hadoop 并为 Hadoop 优化云计算集群。

阅读: 用 Linux 和 Apache Hadoop 进行云计算项目未被标记 - 点击标记为完成

阅读: 用 MapReduce 解决与云计算有关的大数据问题项目未被标记 - 点击标记为完成

阅读: 分析和优化云集群性能项目未被标记 - 点击标记为完成

阅读: 在云中使用 MapReduce 和负载平衡项目未被标记 - 点击标记为完成

实践: 在 IBM SmartCloud 中创建 Hadoop 集群项目未被标记 - 点击标记为完成

5. Hadoop 生态系统技术

Hadoop 本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。例如，通过可插入的作业调度程序，可以调整 Hadoop，（适用于小型或大型集群，包括多用户或交互式作业）。Hadoop 包含一些支持 Hadoop 体验的外部开源产品，比如 HBase、Pig 和 Hive。了解其他 Hadoop 技术和 Hadoop 软件生态系统。

阅读: Hadoop 中的调度：可插入式调度器框架简介项目未被标记 - 点击标记为完成

阅读: 使用 Apache Pig 处理数据项目未被标记 - 点击标记为完成

阅读: 开源大数据的重要性，第 1 部分：Hadoop 教程：通过 Informix、DB2 和d MySQL 使用 Java、Pig、Hive、Flume、Fuse、Oozie 和 Sqoop 来开发 Hello World 项目未被标记 - 点击标记为完成

实践: 入门 - Apache Hive - SQL 操作项目未被标记 - 点击标记为完成

阅读: 欢迎来到 Apache Chukwa项目未被标记 - 点击标记为完成

阅读: 寻找使用 HBase 开发语义 Web 的道路 项目未被标记 - 点击标记为完成

下载: Apache Hadoop 和生态环境技术项目未被标记 - 点击标记为完成

6. 其他大数据分析解决方案

虽然 Hadoop 是著名的开源大数据分析解决方案，但其他一些解决方案也提供了大数据分析的变体，比如专注于内存中的集群计算的 Spark、LexisNexis 开源大数据分析解决方案，以及 IBM® BigSheets，它有助于从结构化和非结构化数据源收集数据，从而创建商业智能。

阅读: Spark，一种快速数据分析替代方案 项目未被标记 - 点击标记为完成

实践: 利用 Spark 进行数据分析和性能改进项目未被标记 - 点击标记为完成

阅读: LexisNexis Migrates to Next Generation Big Data Processing Platform Offering Insurance Carriers Better, Faster Results and Minimized Premium Leakage项目未被标记 - 点击标记为完成

阅读: 使用 Twitter Storm 处理实时大数据项目未被标记 - 点击标记为完成

观看: 使用 Hadoop 和 IBM Big Sheets 增强大数据项目未被标记 - 点击标记为完成

阅读: BigSheets：处理业务洞察和分析方面的大数据挑战项目未被标记 - 点击标记为完成

观看: IBM Big Insights - 让大数据分析变得很轻松项目未被标记 - 点击标记为完成




为此内容打分



提供反馈

提交失败，请重试

请完成下列问题(至少一个)后提交

1. 您已完成对本学习路线图的学习了吗?

       

2. 您通过本学习路线图了解到多少新知识？

           

3. 您喜欢/不喜欢哪部分的内容?

  • 您有什么喜欢或不喜欢的？
  • 我们如何能做得更好？

剩余 2500 字符

禁用的提交按钮

关闭 [x]

developerWorks：登录


需要一个 IBM ID？
忘记 IBM ID？


忘记密码？
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 使用条款

 

当您初次登录到 developerWorks 时，将会为您创建一份概要信息。您在 developerWorks 概要信息中选择公开的信息将公开显示给其他人，但您可以随时修改这些信息的显示状态。您的姓名（除非选择隐藏）和昵称将和您在 developerWorks 发布的内容一同显示。

所有提交的信息确保安全。

关闭 [x]

Choose your display name

当您初次登录到 developerWorks 时，将会为您创建一份概要信息，您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的，并且出于隐私保护的原因，不能是您的电子邮件地址。

（长度在 3 至 31 个字符之间）

单击提交则表示您同意developerWorks 的条款和条件。 使用条款.

 

所有提交的信息确保安全。

关闭 [x]

保存进度 项目已被标记为完成 - 点击取消标记

当您登录以后，我们会把此项目保存到您的 developerWorks 社区首页并且帮助您跟踪您的进度，这样您可以在以后回来的时候从上次中断的地方重新开始。

要访问您保存过的项目，请前往 我的首页 > 我保存的项目 页面。

关闭 [x]

谢谢

感谢您将您的想法反馈给我们。

关闭 [x]

您希望保存您的学习进度吗？

, 登录以保存进度

关闭 [x]

保存进度

抱歉，当前服务器不可用，暂时无法显示您保存的进度。

服务器恢复正常后，您的进度将被显示。您之前的进度已被保存，其他进度正在被追踪。

如果您最新的进度没有在24小时内被正确显示，请勾选标记来报告您的完成情况

关于此学习路线图

Hadoop 本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。例如，通过可插入的作业调度程序，可以调整 Hadoop，（适用于小型或大型集群，包括多用户或交互式作业）。Hadoop 包含一些支持 Hadoop 体验的外部开源产品，比如 HBase、Pig 和 Hive。了解其他 Hadoop 技术和 Hadoop 软件生态系统。

本路线图中的活动

  1. 大数据
  2. 简介 Hadoop
  3. 使用 Hadoop 解决问题
  4. 大数据和云计算
  5. Hadoop 生态系统技术
  6. 其他大数据分析解决方案

相关资源

分享此页面：

  • 关闭 [x]

关注 developerWorks 中国网站：

  • 关闭 [x]
static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Open source
ArticleID=853308
publish-date=12242012