故障诊断

使用以下提示帮助您解决一般流程验证错误：

流程的阶段验证错误集如下：

CONTAINER_0901 - Could not find stage definition for <stage library name>:<stage name>.
CREATION_006 - Stage definition not found. Library <stage library name>. Stage <stage name>. 
Version <version>
VALIDATION_0006 - Stage definition does not exist, library <stage library name>, 
name <stage name>, version <version>

流程使用的阶段未安装在数据收集器引擎上。 如果您从不同版本的引擎导入流程 ，而当前引擎未启用使用阶段，则可能会出现这种情况。

如果数据收集器引擎使用不同版本的阶段，可以删除无效版本，并用本地有效版本取而代之。 例如，如果旧版数据收集器的数据流使用了旧版本的 MongoDB Atlas 目标 ，则可将其替换为当前引擎使用的版本。

若需使用引擎未安装的阶段，请安装相关的阶段库。 有关安装附加驱动程序的信息 ，请参阅安装外部库。

为什么目录源没有读取我的所有文件？

目录源根据配置的文件名模式、读取顺序和要处理的第一个文件读取一组文件。 如果新文件在目录源的读取顺序中超过其位置后到达，除非重置目录源 ，否则目录源不会读取这些文件。

使用最后修改时间戳读取顺序时，到达文件的时间戳应晚于目录中的文件。

同样，在使用按词典升序排列的文件名读取顺序时，请确保文件的命名约定是按词典升序排列的。 例如， filename-1.log, filename-2.log 等、 在 filename-10.log 之前运行正常。 如果 filename-10.log 在目录源完成读取 filename-2.log 之后到达，则目录源不会读取 filename-10.log ，因为它在词法上早于 filename-2.log。

更多信息，请参阅 " 阅读订单 "。

具有 Elasticsearch 源的流启动失败，并出现 SSL / TLS 错误，例如：

ELASTICSEARCH_43 - Could not connect to the server(s) <SSL/TLS error details>

此消息可能因多种不同的 SSL / TLS 问题而显示。 查看相关信息的详细信息，以确定应采取的纠正措施。

下面举例说明何时会显示该信息的某个版本：

• 若将阶段配置为使用 SSL / TLS ，但未指定启用 HTTPS 的端口。

  要解决这个问题，请指定一个 HTTPS 启用的端口。

• 若将阶段配置为使用 SSL / TLS 并指定启用了 HTTPS 的端口，但错误配置了 URL （例如 http://<host>:<port>.

  要解决这个问题，请更新 URL 以使用 HTTPS ，具体做法如下： https://<host>:<port>.

• 若您将环境配置为使用 SSL / TLS ，但指定信任存储库中未包含证书。

  要解决这个问题，请将有效证书放入信任库。

我的 MySQL JDBC 驱动程序 5.0 无法验证 JBDC 查询消费者源中的查询。

在查询中使用 LIMIT 子句时可能会出现这种情况。

解决方法：升级到 5.1 版本。

我正在使用 JDBC 源读取 MySQL 数据。 为什么设置为零的日期时间值会被当作错误记录处理？

MySQL 将无效日期视为例外情况，因此 查询消费者和 多可选消费者都会为无效日期创建错误记录。 JDBC JDBC

您可以通过在源代码中设置 JDBC 配置属性来覆盖这一行为。 添加 zeroDateTimeBehavior 属性，并将值设置为 "convertToNull"。

有关此属性和其他 MySQL-specific JDBC 配置属性的更多信息，请参阅 http://dev.mysql.com/doc/connector-j/en/connector-j-reference-configuration-properties.html.

使用 JDBC Query Consumer 源的 流程不断停止，并出现以下错误：

JDBC_77 <db error message> attempting to execute query '<query>'. Giving up 
after <error count> errors as per stage configuration. First error: <first db error>.

当数据源无法成功执行查询时，就会出现这种情况。 要处理瞬时连接或网络错误，可尝试增加 JDBC 源选项卡上查询错误重试次数属性的值。

我的流程使用 JDBC 源 ，在读取大表时会产生内存不足错误。

在 JDBC 源中启用自动提交属性后，某些驱动程序会忽略由源中最大批量大小属性配置的获取大小限制。 在读取内存中无法完全容纳的大型表格时，这可能会导致内存不足错误。

要解决这个问题，请禁用源 "高级 "选项卡上的 "自动提交 "属性。

Oracle CDC 客户端流程的数据预览不断超时。

使用 Oracle CDC 客户端的流程启动数据预览所需的时间可能比预期的要长。 如果预览超时，请尝试逐步增加预览超时属性。

有关对该数据源使用预览的更多信息，请参阅 Oracle CDC Client 的数据预览。

我的 Oracle CDC 客户端流程在夏令时变化期间暂停了处理。

如果源被配置为使用夏令时的数据库时区，则流程会在时间变化窗口期间暂停处理，以确保正确处理所有数据。 时间更改完成后， 流程将以上次保存的偏移量恢复处理。

更多信息，请参阅数据库时区。

PostgreSQL CDC 客户端流程会产生以下错误：

com.streamsets.pipeline.api.StageException: JDBC_606 - Wal Sender is not active

如果为源配置的 Status Interval 属性大于 PostgreSQL postgresql.conf 配置文件中的 wal_sender_timeout 属性，就会出现这种情况。

状态间隔属性应小于 wal_sender_timeout 属性。 理想情况下，它应设置为 wal_sender_timeout 属性值的一半。

例如，默认状态间隔为 30 秒，默认 wal_sender_timeout 值为 60000 毫秒或 1 分钟。

流量产生缓冲容量错误

当 Salesforce 源的流量因缓冲容量错误（如 Buffering capacity 1048576 exceeded ）而失败时，可通过编辑订阅选项卡上的 "流缓冲区大小 "属性来增加缓冲区大小。

手动停止时， 流量无法停止

脚本必须包含在用户停止流程时停止脚本的代码。 在脚本中，使用 sdc.isStopped 方法检查流量是否已停止。

Jython 脚本不会在导入锁定后继续运行

如果 Jython 脚本在失败或出错时没有释放导入锁，则流程会冻结。 如果脚本不释放导入锁，则必须重启 Data Collector 才能释放锁。 为避免这一问题，请在 Jython 脚本中使用 try 语句和 finally 代码块。 更多信息，请参阅 Jython 脚本中的线程安全。

Azure Data Lake Storage 目标似乎导致内存不足错误，以下对象使用了所有可用内存：

com.streamsets.pipeline.stage.destination.hdfs.writer.ActiveRecordWriters

出现这种情况的原因可能是 Hadoop 已知问题，它会影响 Azure Data Lake Storage Gen2 目标。

有关变通方法的说明，请参阅 Gen2 目标的文档。

为什么只有几条记录有问题，而整个批次的流程都出现故障？

由于 Cassandra 的要求，当您向 Cassandra 集群写入数据时，批次是原子的。 这意味着一条或多条记录中的错误会导致整个批处理失败。

为什么我的所有数据都被错误发送？ 每一批都失败了。

当每个批次都失败时，可能是数据类型不匹配。 Cassandra 要求数据类型与 列的数据类型完全匹配。 Cassandra

要确定问题所在，请检查与错误记录相关的错误信息。 如果出现类似下面的信息，说明数据类型不匹配。 以下错误信息表明数据类型不匹配，因为整数数据无法成功写入 Varchar 列：

CASSANDRA_06 - Could not prepare record 'sdk:': 
Invalid type for value 0 of CQL type varchar, expecting class java.lang.String but class java.lang. 
Integer provided`

要纠正这个问题，可以使用字段类型转换处理器来转换字段数据类型。 在这种情况下，您需要将整数数据转换为字符串。

具有 Elasticsearch 目标的流程启动失败，并出现 SSL / TLS 错误，例如：

ELASTICSEARCH_43 - Could not connect to the server(s) <SSL/TLS error details>

此消息可能因多种不同的 SSL / TLS 问题而显示。 查看相关信息的详细信息，以确定应采取的纠正措施。

下面举例说明何时会显示该信息的某个版本：

• 若将阶段配置为使用 SSL / TLS ，但未指定启用 HTTPS 的端口。

  要解决这个问题，请指定一个 HTTPS 启用的端口。

• 若将阶段配置为使用 SSL / TLS 并指定启用了 HTTPS 的端口，但错误配置了 URL （例如 http://<host>:<port>.

  要解决这个问题，请更新 URL 以使用 HTTPS ，具体做法如下： https://<host>:<port>.

• 若您将环境配置为使用 SSL / TLS ，但指定信任存储库中未包含证书。

  要解决这个问题，请将有效证书放入信任库。

Kafka 制作人可以创建主题吗？

Kafka 制片人可以在以下所有条件都为真时创建主题：

• 您将 Kafka Producer 配置为写入不存在的主题名称。
• 为 Kafka 生产者定义的 Kafka 代理中至少有一个已启用 auto.create.topics.enable 属性。
• 当 Kafka Producer 查找主题时，具有启用属性的代理已启动并可用。

写入 Kafka 的流程不断失败并重新启动，循环往复。

当流量尝试向 Kafka 0.8 写入的报文长度超过 Kafka 的最大报文大小时，就会出现这种情况。

解决方法：重新配置 Kafka 代理服务器，允许较大的信息，或确保传入记录在配置的限制范围内。

当数据收集器无法找到某个阶段的 JDBC 驱动程序时， 数据收集器可能会生成以下错误消息之一：

JDBC_00 - Cannot connect to specified database: com.streamsets.pipeline.api.StageException:
JDBC_06 - Failed to initialize connection pool: java.sql.SQLException: No suitable driver

JDBC_00 - Cannot connect to specified database: com.zaxxer.hikari.pool.PoolInitializationException:
Exception during pool initialization: The TCP/IP connection to the host 1.2.3.4, port 1234 has failed

在这种情况下，请确认数据收集器机器可以通过相关端口访问数据库机器。 为此，您可以使用 ping 和 netcat (nc) 等工具。 例如，验证主机 1.2.3.4 是否可访问：

$ ping 1.2.3.4 
PING 1.2.3.4 (1.2.3.4): 56 data bytes 
64 bytes from 1.2.3.4: icmp_seq=0 ttl=57 time=12.063 ms 
64 bytes from 1.2.3.4: icmp_seq=1 ttl=57 time=11.356 ms 
64 bytes from 1.2.3.4: icmp_seq=2 ttl=57 time=11.626 ms 
^C
--- 1.2.3.4 ping statistics --- 
3 packets transmitted, 3 packets received, 0.0% packet loss 
round-trip min/avg/max/stddev = 11.356/11.682/12.063/0.291 ms

然后验证 1234 端口是否可以访问：

$ nc -v -z -w2 1.2.3.4 1234 
nc: connectx to 1.2.3.4 port 1234 (tcp) failed: Connection refused