Apache HDFS 连接
要在 Apache HDFS中访问数据，请为其创建连接资产。
Apache Hadoop Distributed File System (HDFS) 是设计为在商用硬件上运行的分布式文件系统。 Apache HDFS 原名为Hortonworks HDFS。
支持的版本
Apache HDFS 3.1.
Kerberos身份验证的先决条件
如果计划使用 Kerberos 身份验证，请完成以下要求：
- 为 Kerberos 身份验证配置数据源。 可选：此连接支持Kerberos SSO 和用户冒充，需要额外配置。
- 确认计划使用连接的服务支持 Kerberos 。 有关详细信息，请参阅 Kerberos Cloud Pak for Data 中的身份验证。
- 管理员必须完成以下一组设置步骤：
- Kerberos 无 SSO：启用平台连接以使用 Kerberos 身份验证
- Kerberos SSO: Kerberos SSO 的配置
创建与 Apache HDFS 的连接
要创建连接资产，您需要这些连接详细信息。 必须安装 WebHDFS URL。
连接表单中可用的属性取决于您是否选择了 “连接到 Apache Hive ”，以便将表写入 Hive 数据源。
- WebHDFS URL 访问 HDFS。
- Hive 主机 ： Apache Hive 服务器的主机名或 IP 地址。
- Hive 数据库 ：位于 Apache Hive 上的数据库。
- Hive 端口号 ： Apache Hive 服务器的端口号。 默认值为
10000. - Hive HTTP 路径 ：当服务器配置为 HTTP 传输模式时，端点的路径，例如 gateway/default/hive。
- SSL 证书 （如果 Apache Hive 服务器有此要求）。
认证方法
您可以选择 Kerberos 凭证 或 用户名和密码。
对于 Kerberos 凭证，您必须完成 Kerberos 认证的先决条件 ，并且需要以下连接详细信息。 如果选择了 连接到 Apache Hive，那么您还需要 Hive 的以下详细信息:
- 为数据源配置的服务主体名称 (SPN)。
- 用于连接到 Kerberized 数据源的用户主体名称。
- 用于向密钥分发中心 (KDC) 认证的用户主体名称的密钥表文件。
对于 用户名和密码，如果您连接到 Apache Hive，那么还会为 Hive 用户和密码提供值。
对于 凭证 和 证书，如果为平台配置了保险库文件，并且服务支持保险库文件，那么可以使用私钥。 有关信息，请参阅 在连接中使用保险库文件中的私钥。
联邦信息处理标准 (FIPS) 合规性
此连接符合 FIPS 标准，可在支持 FIPS 的集群上使用。
Apache HDFS 设置
支持的文件类型
Apache HDFS 连接支持以下文件类型：Avro、 CSV、分隔符分隔文本、Excel、JSON、ORC、Parquet、SAS、SAV、SHP 和 XML。
表格式
除了平面文件外， Apache HDFS 连接还支持以下Data Lake表格式： Delta Lake 和Iceberg。