Kafka 具有三个主要功能：

1. 它能够让应用程序发布或预订数据或事件流。
2. 它能够以可容错的持久方式准确地存储记录（即，按照它们发生的顺序）。
3. 它能够实时处理记录（当它们发生时）。

开发人员可通过以下四个 API 来使用这些 Kafka 功能：

• 生产者 API：这使应用程序能够将流发布到 Kafka 主题。 主题是一个已命名的日志，它按照记录的发生顺序来存储记录。 将记录写入主题后，就不能更改或删除该记录；相反，它会在主题中保留一段预先配置的时间（例如两天）或者直到存储空间用完。
• 使用者 API：这使应用程序能够预订一个或多个主题，并采集和处理主题中存储的流。 它可以实时处理主题中的记录，也可以采集和处理过去的记录。
• 流 API：它基于生产者和使用者 API，并增加了复杂的处理功能，使应用程序能够执行从前端到后端的持续流处理 - 具体来说，它会根据需要使用一个或多个主题中的记录来分析、聚合或转换这些记录，并将结果流发布到相同的主题或其他主题。 虽然生产者和使用者 API 可用于简单的流处理，但流 API 支持开发更复杂的数据和事件流应用程序。
• 连接器 API：这让开发人员可以构建连接器，这些连接器是可复用的生产者或使用者，可简化和自动将数据源集成到 Kafka 集群中。 查看一些用于常用数据存储的现成连接器 （链接位于 ibm.com 之外）。

Kafka 是一个分布式平台 - 它将作为一个具有容错能力且高度可用的集群运行，并且可以跨越多个服务器甚至是多个数据中心。 Kafka 主题可进行分区和复制以实现扩展，在不影响性能的情况下为大量并发使用者提供服务。 因此，根据 Apache.org 的说法：“无论服务器上具有 50 KB 还是 50 TB 的持久存储容量，Kafka 都会执行相同的操作。”

Kafka 主要用于创建两种应用程序：

• 实时流数据管道：这种应用程序专用于在企业系统之间大规模、实时、可靠地移动数以百万计的数据或事件记录，而不会出现在高速移动大量数据时通常会遇到的中断、数据重复和其他问题。
• 实时流应用程序：这种应用程序由记录或事件流驱动，并且会生成自己的流。 如果您花时间上网，您每天都会遇到大量这样的应用程序，从不断更新本地商店产品数量的零售网站，到根据点击流分析显示个性化推荐或广告的网站。

RabbitMQ 是一种非常流行的开源消息代理，它还是一种中间件，通过在应用程序、系统和服务之间转换消息协议来使它们能够相互通信。

因为 Kafka 最初是一种消息代理（理论上，它仍可用作消息代理）并且 RabbitMQ 支持发布/预订消息模型（及其他模型），所以 Kafka 和 RabbitMQ 经常可以互换使用。 但是，这些比较并没有实际意义，当在它们两者之间进行选择时，通常需要仔细考虑一些技术细节。 例如，Kafka 主题可以有多个订户，而每个 RabbitMQ 消息只能有一个订户；Kafka 主题是持久的，而 RabbitMQ 消息一旦使用就会被删除。

关键是：

• Kafka 是一个 流处理平台，使应用程序能够以快速且持久的方式发布、使用和处理大量记录流；并且
• RabbitMQ 是一种消息代理，让使用不同消息协议的应用程序能够相互传输消息。

Kafka 经常与其他几种 Apache 技术一起用于更大的流处理、事件驱动型架构 或大数据分析解决方案。

Apache Spark

Apache Spark 是一种用于大规模数据处理的分析引擎。 您可以使用 Spark 对 Apache Kafka 提供的流执行分析并生成实时流处理应用程序，例如点击流分析。

Apache NiFi

Apache NiFi 是一个数据流管理系统，具有可视化的拖放式界面。 由于 NiFi 可以作为 Kafka 生产者和 Kafka 使用者运行，因此它是管理 Kafka 无法解决的数据流挑战的理想工具。

Apache Flink

Apache Flink 是一个用于大规模地对事件流执行计算的引擎，始终具有高速和低延迟特点。 Flink 可以作为 Kafka 使用者来采集流，基于这些流实时执行操作，并将结果发布到 Kafka 或其他应用程序。

Apache Hadoop

Apache Hadoop 是一种分布式软件框架，可让您将大量数据存储在计算机集群中，以用于大数据分析、机器学习、数据挖掘以及用于处理结构化和非结构化数据的其他数据驱动型应用程序。 Kafka 通常用于创建到 Hadoop 集群的实时流数据管道。

随着对客户体验的 要求 越来越高 以及对业务和 IT 运营产生影响的应用程序越来越多，Kafka 仍将是应用程序现代化的一部分。   提高自动化程度 对于满足这些需求也很有帮助。 理想情况下，将从相当成功的小型 项目  开始 ，然后针对其他流程和组织的其他部门进行 扩展和优化。 

通过与 IBM 合作，您可以访问  AI 驱动的自动化功能，包括预先构建的工作流，以帮助您通过提高每个流程的智能性来加速创新。 

采取下一步行动：

• 了解 IBM Event Streams for IBM Cloud，这是一个完全托管的 Kafka 即服务事件流平台，允许您在  IBM Cloud 中构建事件驱动型应用程序。
• 在 AI 支持的自动化软件  IBM Cloud Pak® for Integration 中也提供了 IBM Event Streams。
• 探索 IBM Watson® IoT Platform、 IBM Streaming Analytics 和 IBM Cloud Functions；IBM Event Streams 也可以与这些产品无缝集成以开发事件驱动型应用程序。

• 无需任何承诺，即可免费试用 Event Streams 。 要了解 Apache Kafka 应用程序的外观，请查看 GitHub 上 Java、Node.js 和 Python 中的 IBM 样本 （链接位于 ibm.com 外部）。
• 查看  Event Streams 的容器原生版本 （链接位于 ibm.com 外部）。
• 执行  集成成熟度评估 ，以评估 您的 跨关键维度的集成成熟度，并发现 您 可以采取哪些措施以达到更高的成熟度。 
• 下载我们的 敏捷集成指南，此指南 将探讨基于容器且与微服务一致的分散式解决方案集成方法的优点。  

立即开始使用 IBM Cloud 帐户。