IBM Cloud Data Engine 是 IBM Cloud 的数据湖中央服务,将 IBM Cloud Data Engine 与 IBM Cloud Object Storage 中的数据相结合,使企业能够为一系列大数据分析用例创建当前使用的工作区。
IBM Cloud Data Engine 使用 Apache Spark,后者是一个开源、快速、可扩展的内存中数据处理引擎,并针对低延迟和临时数据分析进行了优化。
无需使用 ETL 或模式定义,即可支持 SQL 查询。使用我们的查询编辑器和 REST API,分析 IBM Cloud Object Storage 中的数据。
根据需要运行任意数量的查询;采用按查询次数付费定价,您只需为数据扫描付费。对数据进行压缩或分区,以节省成本和提高性能。
IBM Cloud Data Engine 具有高可用性,并使用跨多个设施的计算资源执行查询。
使用 IBM Identity and Access Management 和 IBM Key Protect 控制对数据的访问。授予用户对 IBM Cloud Object Storage 存储桶的精细控制。
IBM Cloud Data Engine 支持多种数据格式,例如 CSV、JSON 和 Parquet,并支持标准 ANSI SQL。
要使用 IBM Cloud Data Engine,您需要拥有一个 IBM Cloud Object Store 帐户,用来存储查询的结果集。
请按照以下步骤开始操作:
现在,可以针对我们的示例数据集或您自己的数据集提交查询。
您必须使用自己的 IBM Cloud Object Storage 帐户,而且除了 IBM Cloud Data Engine 成本以外,您还要承担 IBM Cloud Object Storage 帐户中产生的全部费用。
1. IBM Cloud Data Engine 会扫描数据卷中的数据。
2. IBM Cloud Data Engine 将结果写入到指定的 IBM Cloud Object Storage 存储桶中的新文件中。
IBM Cloud Data Engine 基于 Apache Spark 而构建,并使用 Spark SQL 执行查询。您可以通过 UI 或 REST API 提交查询。
IBM Cloud Data Engine 目前尚未与 IBM Watson Knowledge Catalog 整合。不过,该整合是我们优先考虑的事项,以便客户将查询、元数据和数据集发布到目录中,并参考在目录中注册的数据资产。
IBM Cloud Data Engine 已面向全球推出。
IBM Cloud Data Engine 使您能够利用 IBM Identity and Access Management 策略来控制对数据的访问。
IBM Cloud Data Engine 专为实现容错和极高的可用性而设计。它支持 IBM Cloud SLA。
可以在 IBM Cloud 中使用 IBM Cloud Data Engine。我们将根据每月扫描的数据量,按查询次数收费。失败的查询不会产生任何费用,但会根据扫描的数据量,对取消的查询收费。
不。
您只需为取消查询时已扫描的数据付费。
IBM Cloud Data Engine 不收取任何其他费用。您需要为 IBM Cloud Object Storage 中存储的数据付费。使用 IBM Cloud Data Engine 会导致您的 IBM Cloud Object Storage 使用量和每月账单增加。您负责删除您不希望继续保留在 IBM Cloud Object Storage 中的卷。