Configurando a extração de dados

Antes de usar o serviço de extração de dados do IBM Sterling® Order Management System, verifique se o agente de extração de dados do serviço está configurado para funcionar em seus ambientes.

O agente de extração de dados é fornecido como um agente multiencadeado acionado por tempo.. É possível visualizar e configurar o agente no Applications Manager.

Depois de configurar o agente, use o Self Service para iniciar e parar o agente. Quando o agente é iniciado, o processo de extração é acionado e executado em intervalos programados. Você também pode executar o serviço de extração entre os horários programados quando quiser recriar um arquivo de saída ou se um arquivo estiver corrompido.

Procedimento

Criar configurações de tabela relacionadas à extração de dados Para obter mais informações, consulte Serviço de configuração de extração de dados
Configure as configurações do agente de extração de dados
1. Abra o Applications Manager.
2. Acesse Plataforma > Modelagem de processo > Geral > Agente de extração de dados do coc.
3. Na guia Acionado por Tempo , configure os seguintes atributos relacionados ao JMS.
  - Acione o intervalo para 10 minutos ou mais
  - O número de encadeamentos a serem executados em paralelo com base em quantas conexões estáveis simultâneas seu serviço de arquivo pode manipular Número de encadeamentos sugerido de 2 a 5.
Para atualizar esses detalhes, configure as seguintes propriedades no Console de Administração do Sistema.
1. Se o seu serviço de armazenamento de arquivo for um servidor SFTP, configure seu próprio servidor SFTP de forma que o serviço de extração de dados possa transferir arquivos de saída para o seu servidor SFTP. Para configurar essa conexão, atualize os detalhes e o local do servidor SFTP em seu ambiente de produção do Sterling™ Order Management System.
  - yfs.yfs.coc.dataextract.sftp.hostname=hostname
  - yfs.yfs.coc.dataextract.sftp.port=port
  - yfs.yfs.coc.dataextract.sftp.dir=directory_path
  - yfs.yfs.coc.dataextract.sftp.username=user
  - yfs.yfs.coc.dataextract.sftp.password=password
  Em que,
  - hostname refere-se ao nome do host de seu servidor SFTP
  - port refere-se ao número da porta de seu servidor SFTP
  - directory_path refere-se ao caminho no servidor SFTP no qual os arquivos de saída devem ser transferidos.
  - user refere-se ao nome do usuário que deve ser especificado para conectar ao servidor SFTP.
  - password refere-se à senha do usuário SFTP.
2. Você pode usar um serviço de armazenamento de arquivos baseado em nuvem para extrair dados usando a ferramenta de extração de dados. É possível utilizar qualquer serviço que esteja em total conformidade com o protocolo “ AWS S3 ” da Amazon. O aplicativo certifica serviços em nuvem, como Amazon AWS S3 e IBM Cloud® Object Storage, para uso com a ferramenta. Para outros serviços totalmente compatíveis com o padrão “ S3-compliant ”, é possível realizar a certificação deles para garantir a compatibilidade.
  Para usar um serviço S3-based, adicione as seguintes configurações para configurá-lo para receber arquivos de extração de dados:
  - yfs.yfs.coc.dataextract.export.mode=S3 -Especifique S3 para utilizar o serviço de arquivo compatível com a biblioteca S3 O valor padrão é SFTP.
  - yfs.yfs.coc.dataextract.s3.bucketname - Nome do bucket S3 para o qual os arquivos são extraídos.
  - yfs.yfs.coc.dataextract.s3.accesskey -chave de acesso para acessar o depósito S3 .
  - yfs.yfs.coc.dataextract.s3.secretkey -Chave secreta para acessar o depósito S3 .
  - yfs.yfs.coc.dataextract.s3.endpointurl - URL do endpoint para acessar o bucket S3.
  - yfs.yfs.coc.dataextract.s3.location -Local para acessar o depósito S3 . Isso é opcional, se o local puder ser resolvido a partir do próprio URL do endpoint.
  - yfs.yfs.coc.dataextract.s3.region -Região para acessar o depósito do S3 Especifique o URL do ponto de extremidade ou a região.
  - yfs.yfs.coc.dataextract.s3.prefix - Opcional. Prefixo personalizado a ser anexado aos nomes de arquivos que são exportados para o bucket S3.
  - yfs.yfs.coc.dataextract.s3.requesttimeout -Tempo limite para solicitação S3 em milissegundos. Isso é opcional porque o padrão 5000 é usado.
  - yfs.yfs.coc.dataextract.s3.useS3SignerType - Especifique essa propriedade como true para ativar a extração de dados para Google Cloud Storage (GCS).
3. Configure a ferramenta de extração de dados com as seguintes propriedades para armazenar os arquivos extraídos em Microsoft Azure Blob Storage. Essa configuração requer o fornecimento de detalhes sobre a sua conta Azure Blob Storage, o contêiner e as credenciais de acesso seguro. A configuração garante que os arquivos sejam exportados para o contêiner correto com a segurança adequada, usando tokens SAS.
  - yfs.yfs.coc.dataextract.export.mode - Especifique o modo de exportação para extração de dados. Defina isso como AzureBSRest para usar Azure Blob Storage via API REST.
  - yfs.yfs.coc.dataextract.azurebs.accountname - Especifique o nome de sua conta Azure Blob Storage. Identifica a conta de armazenamento em que o contêiner reside. Exemplo de valor: myaccount.
  - yfs.yfs.coc.dataextract.azurebs.containername - Especifique o nome do contêiner Azure Blob Storage no qual os arquivos serão extraídos. Exemplo de valor: abc.
  - yfs.yfs.coc.dataextract.azurebs.prefix - Especifique um prefixo personalizado opcional para anexar aos nomes de arquivos exportados para o contêiner Azure Blob Storage. Exemplo de valor: ext.
  - yfs.yfs.coc.dataextract.azurebs.sastoken - Defina o token SAS para fornecer acesso delegado seguro ao contêiner.
  - Analise as seguintes diretrizes para tokens SAS.
    - Gerar tokens SAS no nível do contêiner.
    - Certifique-se de que as permissões incluam racwld.
    - Use um prazo de validade longo o suficiente para as operações do Data Extract Agent. Exemplo de valor: sp=racwld&st=....
Opcional: você pode configurar o serviço de extração de dados para sua empresa definindo as seguintes propriedades opcionais no Console de administração do sistema.
- yfs.yfs.coc.dataextract.csv.escapedoublequote -Opção para escapar aspas duplas nos dados extraídos com uma cadeia personalizada. Por padrão, se houver aspas duplas (") nos dados extraídos, ele é substituído pela sequência, duas aspas duplas (""). Usando essa propriedade, é possível especificar uma sequência customizada para substituir as aspas duplas em seus dados
- yfs.yfs.coc.dataextract.fetch.maxrows -Limite máximo de registros que são extraídos por consulta no caso de o limite ser calculado a partir da memória ser maior. Por padrão, o valor é configurado como 50000
  Observação: Esse parâmetro destina-se principalmente à otimização do desempenho do agente e não tem como objetivo proporcionar um controle exato sobre contagens de registros muito pequenas. O valor é considerado uma aproximação, e não um limite exato. Além disso, valores inferiores a 1.000 não são aceitos.
- yfs.yfs.coc.dataextract.fetch.maxminsold - Intervalo de tempo em minutos antes da hora atual para a qual os dados existentes não são extraídos. O valor padrão é 60 minutos.
  Nota: se você configurar um valor inferior ao valor padrão, poderá perder atualizações de dados ao extrair dados. Quanto menor o valor, maior o risco de perda de dados.
- yfs.yfs.coc.dataextract.fetch.maxhoursold - Intervalo de tempo em horas, antes da hora atual, para o qual os dados existentes não são extraídos. Por padrão, o valor é configurado como 1. Isso não se aplicará se yfs.yfs.coc.dataextract.fetch.maxminsold estiver configurado
- yfs.yfs.coc.dataextract.csv.delimiter – Delimitador de colunas no arquivo “ CSV ” exportado. O valor padrão é uma vírgula (,)
- yfs.yfs.coc.dataextract.csv.newlinelastrecord – Adicione um caractere de linha após o último registro no arquivo “ CSV ” exportado. Por padrão, o valor é configurado como N.
- yfs.yfs.coc.dataextract.csv.firstrowheader – Adicione uma linha de cabeçalho que contenha os nomes das colunas extraídas no arquivo exportado do CSV. Por padrão, o valor é definido como N.
- yfs.yfs.coc.dataextract.export.removefailedfiles - Opcionalmente, você pode limpar remotamente os arquivos de extração obsoletos que fazem parte de extrações com falha, definindo o valor como Y. Por padrão, os arquivos de extração antigos que fazem parte de extrações com falha não são limpos
- yfs.yfs.coc.dataextract.fetch.maxdaysextractatonce - recupera extratos de longo alcance em partes menores, que são definidas por um número específico de dias, em vez de buscar dados desde a hora de início rastreada até a hora atual de uma só vez.
  Por padrão, o agente de extração de dados recupera dados que se estendem por um longo período em uma única operação. Ou seja, desde a hora de início do rastreamento até a hora atual, especialmente durante as primeiras extrações. Você pode especificar essa propriedade como um número específico de dias para realizar as extrações de longo alcance em partes do número de dias especificado. Recomenda-se uma duração de 30 dias. Por exemplo, se seu FirstRunExtractInDays for 365 (1 ano), ao executar a extração de dados, os dados completos de 365 dias serão extraídos em um acionador, resultando na criação de muitas tarefas. Além disso, mesmo que uma tarefa falhe, a extração de dados é reiniciada a partir do horário de início No entanto, se esta propriedade for configurada como 30, a extração de dados será feita sobre 365 /30 = ~ 13 acionadores. Isso minimiza as chances de ter que extrair novamente os dados desde o início.
- yfs.yfs.coc.dataextract.export.minspacerequired - Configure o espaço mínimo necessário no serviço de armazenamento de arquivos para executar o agente de extração de dados. O valor padrão é 1024 MB. Mantenha espaço suficiente no serviço de armazenamento de arquivos, com base em suas necessidades comerciais, para que o agente de extração de dados seja executado com êxito. Se o espaço for menor que o limite configurado, a extração de dados será pausada. Atualmente, aplicável apenas ao servidor SFTP.
Inicie o agente CocDataExtractServer.
Quando o agente é iniciado o processo de extração é acionado e executado nos intervalos planejados.