Novidades e alterações em watsonx.data integration

watsonx.data integration As atualizações podem incluir novos recursos e correções. Os lançamentos são listados em ordem cronológica inversa, de modo que o lançamento mais recente aparece no início do tópico.

Esta versão inclui as seguintes alterações:

Novas funcionalidades

Esta versão watsonx.data integration inclui os seguintes recursos:

Subfluxos de exportação e importação com dependências: Agora você pode exportar subfluxos que incluem todas as suas dependências. Quando você exporta um subfluxo, todos os arquivos necessários são incluídos na saída exportada e restaurados na importação. Os subfluxos e suas conexões permanecem intactos entre os projetos. Esta melhoria aplica-se a downloads, exportações cpdctl e operações de sincronização Git.
Executar várias réplicas do px-runtime: Agora você pode habilitar várias réplicas px-runtime para configurações de tamanho médio e grande, a fim de melhorar a escalabilidade e a resiliência. Defina o enableMultiPXReplicas sinalizador para ativar esse recurso. Esta opção está desativada por padrão.
Conecte-se ao Amazon Aurora para bancos de dados MySQL: Agora você pode usar o conector Amazon Aurora para MySQL em seus DataStage fluxos. O conector inclui modelos completos de geração e validação de código.
Leia e grave dados dos índices de um OpenSearch: Agora você pode usar o conector OpenSearch em seus DataStage fluxos para ler e gravar dados de índices do OpenSearch.
Leia e grave dados de um Amazon DynamoDB: Agora você pode usar o conector Amazon DynamoDB em seus DataStage fluxos para ler e gravar dados de servidores DynamoDB.
Leia e grave dados de servidores ClickHouse: Agora você pode usar o conector ClickHouse em seus DataStage fluxos para ler e gravar dados de servidores ClickHouse.

Monitorar execuções ativas de StreamSets tarefas

Você pode monitorar o andamento de uma execução de StreamSets trabalho ativa revisando as seguintes informações:

Métricas: Inclua contagens de registros, rendimento de registros e tempo de processamento para cada etapa da execução do trabalho.
Mensagens de log: fornecem detalhes sobre a execução do trabalho.

Atualizações

As seguintes atualizações foram introduzidas nesta versão:

Adicionado suporte para a função de soma de verificação CRC32 na etapa Transformer com a variante dsengine.
- Por padrão, o Transformer continua a usar o algoritmo atual CRC32 sem exigir nenhuma configuração de ambiente.
- Quando definido como DSEngine, o algoritmo de soma de verificação CRC32 usa a versão do mecanismo DataStage para maior consistência.
O suporte à autenticação mútua foi adicionado ao conector otimizado Salesforce. As novas propriedades incluem MutualAuthentication, MutualAuthenticationClientCertificate, e MutualAuthenticationClientPrivateKey.
O Canvas agora exibe motivos detalhados da fila de tarefas usando a nova queue_reasons[] resposta, visível na barra de ações e na página de detalhes da execução da tarefa.
O Canvas Find foi aprimorado para oferecer suporte à pesquisa em instruções SQL.
Foi adicionado suporte para um novo tipo de parâmetro, Multiline Encrypted String (String criptografada multilinha), para permitir a especificação segura de valores multilinha criptografados, como certificados SSL.
Todas as APIs da plataforma IBM Software Hub no serviço de migração agora utilizam parâmetros de paginação, reduzindo o tempo de resposta da API para métodos GET e melhorando o desempenho.
A skip connection opção agora exibe a conexão ignorada na página de resumo da importação.

A ingestão incremental agora é compatível com FileNet,Microsoft OneDrive e SharePoint documentos em Unstructured Data Integration.

Problemas corrigidos nesta versão

Os seguintes problemas foram corrigidos nesta versão:

Corrigido o problema com a entrada Data Observability ausente no menu de navegação.
Corrigido o problema com a ingestão incremental de dados não estruturados não suportados pelo Slack.
Corrigido o problema com o anotador de idiomas que apresentava avisos ou erros ao processar documentos com idiomas desconhecidos.
Corrigido o problema com o nó Milvus falhando com exceção de comprimento de caractere.

Problemas relatados pelos clientes corrigidos nesta versão

Para obter uma lista dos problemas relatados pelos clientes que foram corrigidos nesta versão, consulte a Lista de correções para IBM Cloud Pak for Data no site de suporte da IBM.

IBM® watsonx.data integration é um novo serviço disponível com IBM Software Hub.

IBM watsonx.data integration fornece ferramentas unificadas que você pode usar para transformar, integrar e observar seus dados. Você pode usar uma variedade de estilos de integração de dados, como streaming, replicação, observabilidade e processamento em massa ou em lote.

watsonx.data integration oferece os seguintes recursos:

Transformar dados em lote: Crie DataStage fluxos que extraem dados de vários sistemas de origem, transformam os dados conforme necessário e os entregam aos sistemas de destino. Com fluxos de dados em lote, você pode usar os padrões ETL (Extrair, Transformar, Carregar) e ELT (Extrair, Carregar, Transformar).
Transmita dados em tempo real: Transmita dados em tempo real com StreamSets para criar fluxos de dados de streaming que atuam em dados sensíveis ao tempo. Um fluxo de dados em streaming funciona continuamente para ler, processar e gravar dados assim que eles ficam disponíveis. Você pode adicionar processadores aos fluxos de dados de streaming para transformar os dados à medida que eles se movem dos sistemas de origem para os sistemas de destino.
Replicar dados: Crie um Data Replication pipeline que sincronize os dados entre um armazenamento de dados de origem e um armazenamento de dados de destino. Use a Data Replication ferramenta para entrega de dados quase em tempo real com baixo impacto nos armazenamentos de dados de origem.
Prepare dados não estruturados: Use Unstructured Data Integration para coletar, transformar e enriquecer dados não estruturados de diversas fontes.
Observar dados: Use Data Observability para criar alertas que o notificam quando um processo de integração de dados encontra erros ou se comporta de maneira diferente do esperado. Investigue incidentes relacionados a dados para resolver quaisquer problemas ou questões que ocorram em relação à qualidade, integridade e acesso aos dados.