Operações de GUI no Data Refinery

Transcrição de vídeo

1. A operação Converter tipo de coluna converte automaticamente a primeira coluna de Sequência para Número inteiro. Vamos mudar os tipos de dados das outras três colunas.
2. Para mudar o tipo de dado da coluna europeia de sequência para decimal, selecione a coluna e edite a etapa da operação Converter tipo de coluna.
3. Para mudar o tipo de dado da coluna europeia de sequência para decimal, selecione a coluna e edite a etapa da operação Converter tipo de coluna.
4. Selecione Decimal.
5. A coluna usa o delimitador por vírgula, portanto, selecione Vírgula (,) para o símbolo decimal.
6. Selecione a próxima coluna, DATETIME. Selecione Registro de data e hora e um formato.
7. Clique em Aplicar.
8. Agora as colunas são os tipos de dados Número inteiro, Decimal, Data e Registro de data e hora. A etapa Converter tipo de coluna no painel Etapas foi atualizada.

Transcrição de vídeo

1. A operação Converter valor de coluna em omisso converterá os valores de uma coluna selecionada em valores omissos se eles corresponderem aos valores em uma coluna especificada ou a um valor especificado.
2. Um valor omisso é equivalente a um SQL NULL, que é um campo sem valor. Ele é diferente de um valor zero ou valor contendo espaços.
3. É possível usar a operação Converter valor de coluna em omisso quando você achar que os dados serão melhor representados como valores omissos. Por exemplo, quando se quer usar valores omissos em uma operação Substituir valores omissos ou operação Filtrar.
4. Vamos usar a operação Converter valor de coluna em omisso para mudar os valores para omissos com base em um valor correspondente.
5. Observe que a coluna DESC tem várias linhas com o valor PEDIDO CANCELADO. Vamos converter as sequências PEDIDO CANCELADO em valores omissos.
6. A operação Converter valor de coluna em omisso está sob a categoria PURIFICAR.
7. Digite a sequência a ser substituída por valores omissos.
8. Os valores que antes eram PEDIDO CANCELADO agora são valores omissos.

Transcrição de vídeo

1. A operação Extrair valor de data ou hora extrai uma parte selecionada de um valor de data ou hora de uma coluna que é um tipo de dado de data ou registro de data e hora.
2. A coluna DATA é um tipo de dados de Sequência. Primeiro, vamos usar a operação Converter tipo de coluna para convertê-lo em um tipo de dados de Data.
3. Selecione a operação Converter tipo de coluna no menu da coluna DATA. Selecione Data.
4. Selecione um formato de Data.
5. A coluna DATA agora é um tipo de dados de data.
6. O formato de Data ISO é usado quando o tipo de dados de Sequência é convertido para o tipo de dados de Data. Por exemplo, a sequência 01/08/2018 foi convertida na data 2018-01-08.
7. Agora, é possível extrair a parte do ano da data em uma nova coluna.
8. A operação Extrair valor de data ou hora está sob a categoria PURIFICAR.
9. Selecione o Ano da parte da data a ser extraída e digite ANO para a nova coluna.
10. A parte do ano da coluna DATA está na nova coluna ANO.
11. O painel Etapas exibe a operação Extrair valor de data ou hora.

Transcrição de vídeo

1. Use a operação Filtrar para filtrar linhas por colunas selecionadas. É possível aplicar várias condições em uma operação Filtrar.
2. Use uma expressão regular para filtrar todas as linhas, exceto aquelas nas quais a sequência na coluna ID do Emp começa com 8.
3. Filtre as linhas por duas abreviações de estados.
4. Clique em Aplicar. Somente as linhas nas quais o ID do Emp começa com 8 e o Estado é AR ou TX estão na tabela.
5. Agora as linhas são filtradas por AR e PA. A etapa Filtrar no painel Etapas foi atualizada.

Transcrição de vídeo

1. Use a operação Remover coluna para remover rapidamente uma coluna de um ativo de dados.
2. A maneira mais rápida de remover uma coluna é usando o menu da coluna.
3. O nome da coluna removida está no painel Etapas.
4. Remova outra coluna.
5. O nome da coluna removida está no painel Etapas.

Transcrição de vídeo

1. A operação Remover duplicatas remove linhas com valores de coluna duplicados.
2. O conjunto de dados tem 43 linhas. Muitas das linhas na coluna APPLYCODE têm valores duplicados. Queremos reduzir o conjunto de dados às linhas nas quais cada valor na coluna APPLYCODE ocorre somente uma vez.
3. Selecione a operação Remover duplicatas no menu da coluna APPLYCODE.
4. A operação Remover duplicatas removeu cada ocorrência de um valor duplicado. Agora o conjunto de dados tem quatro linhas.

Transcrição de vídeo

1. A operação Remover linhas vazias remove linhas com um valor em branco ou valor omisso para a coluna selecionada.
2. Um valor omisso é equivalente a um SQL NULL, que é um campo sem valor. Ele é diferente de um valor zero ou valor contendo espaços.
3. O conjunto de dados tem 43 linhas. Muitas das linhas na coluna RASTREIO têm valores omissos. Queremos reduzir o conjunto de dados às linhas que têm um valor na coluna RASTREIO.
4. Selecione a operação Remover linhas vazias do menu da coluna RASTREIO.
5. A operação Remover linhas vazias removeu cada linha com um valor em branco ou valor omisso na coluna RASTREIO. Agora o conjunto de dados tem 21 linhas.

Transcrição de vídeo

1. A operação Substituir valores omissos substitui valores omissos em uma coluna por um valor especificado ou pelo valor de uma coluna especificada na mesma linha.
2. A coluna ESTADO tem várias linhas com valores vazios. Queremos substituir esses valores vazios por uma sequência.
3. A operação Substituir valores omissos está sob a categoria PURIFICAR.
4. Para a coluna Estado, substitua os valores omissos pela sequência Incompleto.
5. Agora os valores omissos têm o valor Incompleto.
6. O painel Etapas exibe a operação Substituir valores omissos.

Transcrição de vídeo

1. A operação Substituir subsequência substitui uma subsequência por um texto especificado.
2. A coluna RECUSAR tem várias linhas que incluem a sequência BANC. Queremos substituir essa sequência por BANCO.
3. A operação Substituir subsequência está sob a categoria PURIFICAR.
4. Digite a sequência a ser substituída pela sequência de substituição.
5. Todas as ocorrências da sequência BANC foram substituídas por BANCO.
6. O painel Etapas exibe a operação Substituir subsequência.

Transcrição de vídeo

1. A operação Substituir oculta informações confidenciais substituindo uma sequência aleatória de caracteres para os dados na coluna selecionada.
2. A maneira mais rápida de substituir os dados em uma coluna é selecionar Substituir no menu da coluna.
3. A operação Substituir é exibida no painel Etapas.
4. Substitua os valores na outra coluna.
5. A segunda operação Substituir é exibida no painel Etapas.

Transcrição de vídeo

1. A operação Calcular faz cálculos, como adição ou subtração, com outra coluna ou com um valor especificado.
2. Selecione a coluna para começar.
3. Cálculos disponíveis
4. Agora selecione a segunda coluna para o cálculo Adição.
5. E aplique a mudança.
6. A coluna de ID é atualizada e o painel Etapas mostra a operação concluída.
7. Também é possível acessar as operações no menu da coluna.
8. Neste momento, selecione Está entre dois números. Especifique o intervalo e crie uma nova coluna para os resultados.
9. A nova coluna é exibida na tabela e a nova operação de cálculo é exibida no painel Etapas.
10. Neste momento, selecione É igual a para comparar duas colunas e crie uma nova coluna para os resultados.
11. A nova coluna é exibida na tabela e a nova operação de cálculo é exibida no painel Etapas.

Transcrição de vídeo

1. A operação Agregar aplica cálculos de resumo aos valores de uma ou mais colunas. Cada agregação cria uma nova coluna.
2. As agregações disponíveis serão baseadas nos dados, se eles forem numéricos ou de sequência.
3. Os operadores disponíveis dependem do tipo de dados da coluna. Operadores disponíveis para dados numéricos.
4. Com a coluna de texto UniqueCarrier selecionada, é possível ver os operadores disponíveis para os dados da sequência.
5. Vamos contar quantos valores exclusivos estão na coluna UniqueCarrier. Essa agregação mostrará quantas companhias aéreas estão no conjunto de dados.
6. Temos 22 companhias aéreas na coluna Companhias aéreas. As outras colunas são excluídas.
7. A operação Agregar é exibida no painel Etapas.
8. Vamos começar a mostrar uma agregação nos dados numéricos.
9. Mostre a média (valor médio) de atrasos na chegada.
10. O valor média de todos os atrasos na chegada está na nova coluna MeanArrDelay. As outras colunas são excluídas.
11. Também é possível agrupar a coluna agregada por outra coluna que defina uma característica do grupo.
12. Vamos editar a etapa Agregar incluindo uma seleção Agrupar por, de modo que seja possível ver a média de atrasos na chegada por companhia aérea.
13. Agrupe os resultados conforme a coluna UniqueCarrier.
14. Agora a média de atrasos na chegada é agrupada por companhia aérea.
15. O painel Etapas exibe a operação Agregar.

Transcrição de vídeo

1. A operação Concatenar concatena os valores de duas ou mais colunas.
2. A operação Concatenar está sob a categoria ORGANIZAR.
3. Selecione as colunas para concatenar.
4. Selecione um separador para usar entre os valores concatenados.
5. Digite um nome para a coluna para os valores concatenados.
6. A nova coluna pode ser exibida como a coluna mais à direita no conjunto de dados ou ao lado da coluna original
7. Mantenha as colunas originais e aplique as mudanças..
8. A nova coluna DATA mostra os valores concatenados de outras três colunas com um separador de ponto e vírgula.
9. A operação Concatenar é exibida no painel Etapas.
10. A coluna DATA é um tipo de dados de Sequência. Vamos usar a operação Converter tipo de coluna para convertê-lo em um tipo de dados de Data.
11. Selecione a operação Converter tipo de coluna no menu da coluna DATA. Selecione Data.
12. Selecione um formato de data e crie uma nova coluna para o resultado.
13. Coloque a nova coluna ao lado da coluna original e aplique as mudanças.
14. A nova coluna é exibida com o formato de data convertido.
15. A operação Converter tipo de coluna é exibida no painel Etapas.
16. O formato de Data ISO é usado quando o tipo de dados de Sequência é convertido para o tipo de dados de Data. Por exemplo, a sequência 2004;2;3 foi convertida na data 2004-02-03.

Transcrição de vídeo

1. Use a operação Substituição condicional para substituir os valores em uma coluna com base em condições.
2. Primeiro, vamos especificar condições para substituir dados na coluna de sequência CÓDIGO e criar uma nova coluna para os resultados.
3. Operadores de condição disponíveis para dados de sequência.
4. Inclua a primeira condição - CONDIÇÃO 1: CÓDIGO É igual ao valor C, substituir por COMPLETO.
5. Inclua a segunda condição - CONDIÇÃO 2: CÓDIGO É igual ao valor I, substituir por INCOMPLETO.
6. Especifique o que fazer com quaisquer valores que não atendam às condições. Aqui, vamos inserir duas aspas duplas para indicar uma sequência de caracteres vazia.
7. Crie uma nova coluna para os resultados.
8. A nova coluna, STATUS, mostra as substituições condicionais da coluna CÓDIGO.
9. A operação Substituição condicional é exibida no painel Etapas.
10. Em seguida, vamos especificar condições para substituir dados na coluna de número inteiro ENTRADA e criar uma nova coluna para os resultados.
11. Operadores de condição disponíveis para dados numéricos.
12. Inclua a primeira condição - CONDIÇÃO 1: ENTRADA É menor ou igual ao valor 3, substituir pelo valor BAIXO.
13. Inclua a segunda condição - CONDIÇÃO 2: ENTRADA Está nos valores 4,5,6, substituir pelo valor MÉD.
14. Inclua a terceira condição - CONDIÇÃO 3: ENTRADA É maior ou igual ao valor 7, substituir pelo valor ALTO.
15. Especifique o que fazer com quaisquer valores que não atendam às condições.
16. Crie uma nova coluna para os resultados.
17. A nova coluna, CLASSIFICAÇÃO, mostra as substituições condicionais da coluna ENTRADA.
18. A operação Substituição condicional é exibida no painel Etapas.

Transcrição de vídeo

1. O conjunto de dados customers.csv contém informações sobre os clientes da empresa e o conjunto de dados contém informações sobre os representantes de vendas da empresa.
2. Os conjuntos de dados compartilham a coluna SALESREP_ID.
3. O conjunto de dados customers.csv é aberto no Data Refinery.
4. A operação Junção pode combinar os dados desses dois conjuntos de dados com base em uma comparação dos valores na coluna SALESREP_ID.
5. Você deseja fazer uma junção interna para retornar somente as linhas de cada conjunto de dados que são correspondentes no outro conjunto de dados.
6. É possível incluir um sufixo customizado para anexar às colunas que existem nos dois conjuntos de dados para ver o conjunto de dados de origem para essa coluna.
7. Selecione o conjunto de dados sales.csv para associar ao conjunto de dados customers.csv.
8. Para a chave de junção, comece digitando o nome da coluna para ver a lista filtrada. A coluna SALESREP_ID vincula os dois conjuntos de dados.
9. Em seguida, selecione as colunas para incluir. As colunas duplicadas exibirão o sufixo anexado.
10. Agora aplique as mudanças.
11. A operação Junção é exibida no painel Etapas.
12. Agora o conjunto de dados é enriquecido com as colunas dos conjuntos de dados customers.csv e sales.csv.

Transcrição de vídeo

1. Use a operação Renomear coluna para renomear rapidamente uma coluna.
2. A maneira mais rápida de renomear uma coluna é editar o nome da coluna na tabela.
3. Edite o nome e pressione Enter no teclado.
4. A etapa Renomear coluna mostra o nome antigo e o novo nome.
5. Agora renomeie outra coluna.
6. O painel Etapas mostra que a coluna BANCOS foi renomeada para CACHORROS.
7. Agora renomeie a última coluna.
8. O painel Etapas mostra que a coluna RAZÕES foi renomeada para PÁSSAROS.

Transcrição de vídeo

1. A operação Amostra gera um subconjunto dos dados.
2. Use a operação Amostra quando você tiver uma grande quantidade de dados e quiser trabalhar com uma amostra representante para criar protótipos com mais rapidez.
3. A operação Amostra está sob a categoria ORGANIZAR.
4. Escolha um dos dois métodos para criar uma amostra.
5. Com uma amostra aleatória, cada linha tem uma probabilidade igual de ser incluída nos dados da amostra.
6. É possível escolher uma amostra aleatória por número de linhas ou por porcentagem de dados.
7. Uma amostra estratificada é baseada em uma amostra aleatória. Assim como ocorre com uma amostra aleatória, você especifica a quantidade de dados na amostra (linhas ou porcentagem).
8. Com uma amostra estratificada, você divide os dados em um ou mais subgrupos chamados estratos. Em seguida, gere uma amostra aleatória que contém dados customizados de cada subgrupo.
9. Para Método, se for escolhido Automático, selecione uma coluna para o estrato.
10. Se for escolhido Manual, especifique um ou mais estratos e especifique para cada um deles as condições de filtro que definem as linhas em cada estrato.
11. Neste exemplo de dados de companhia aérea, criaremos dois estratos. Um estrato define 50% das saídas com aeroportos da cidade de Nova Iorque como destino e o segundo define os 50% restantes com a distância de voo especificada.
12. Na caixa Especificar detalhes para este estrato, insira a porcentagem de amostras que representarão as condições especificadas nesse primeiro estrato. As porcentagens de estratos devem totalizar 100%.
13. Operadores disponíveis para dados de sequência.
14. 50% das amostras terão os aeroportos da cidade de Nova Iorque como destino.
15. Clique em Salvar para salvar o primeiro estrato.
16. O primeiro estrato, identificado como Strata0, tem uma condição. Nesse estrato, 50% das amostras devem atender à condição.
17. Na caixa Especificar detalhes para este estrato, insira a porcentagem de amostras que representarão as condições especificadas nesse segundo estrato.
18. Operadores disponíveis para dados numéricos.
19. 50% das amostras serão para voos com distância superior a 500.
20. Clique em Salvar para salvar o segundo estrato.
21. O segundo estrato, identificado como Strata1, tem uma condição. Nesse estrato, 50% das amostras devem atender à condição.
22. Se forem usados vários estratos, a operação de amostra aplicará internamente uma operação Filtrar com uma condição OR no estrato. Dependendo dos dados, das condições e do tamanho da amostra, os resultados do uso de um estrato com várias condições podem ser diferentes do uso de vários estratos.
23. Ao contrário de outras operações do Data Refinery, a operação Amostra muda o conjunto de dados somente após a criação e a execução de uma tarefa para o fluxo do Data Refinery.
24. A etapa Amostra é exibida no painel Etapas.
25. O conjunto de dados tem mais de 10000 linhas.
26. Salve e crie uma tarefa para o fluxo do Data Refinery.
27. O novo arquivo de ativos é incluído no projeto para a saída do fluxo do Data Refinery.
28. Visualize o arquivo de saída.
29. Há 10 linhas (50% da amostra) com aeroportos da cidade de Nova Iorque na coluna Destino, mas 17 linhas na coluna Distância com valores acima de 500.
30. Esses resultados se devem ao fato de que o estrato foi aplicado com uma condição OR e de que ocorreu uma sobreposição de dados para as condições especificadas no primeiro estrato, no qual as linhas que foram filtradas por Destino contendo os aeroportos da cidade de Nova Iorque tinham valores de Distância maiores que 500.
31. O arquivo de saída no Data Refinery mostra o tamanho reduzido.

Transcrição de vídeo

1. Classifique rapidamente todas as colunas em um conjunto de dados classificando as linhas em uma coluna selecionada.
2. A maneira mais rápida de classificar colunas é usando o menu da coluna.
3. É possível classificar as linhas em ordem crescente ou decrescente.
4. Classificação crescente.
5. A ordem de todas as linhas na tabela é atualizada pela operação Classificar da primeira coluna.
6. A operação Classificar é exibida no painel Etapas.
7. Classificação decrescente.
8. A ordem de todas as linhas na tabela é alterada pela operação Classificar da segunda coluna.
9. A segunda operação Classificar é exibida no painel Etapas.
10. Classificação crescente.
11. A ordem todas as linhas na tabela é alterada pela operação Classificar da terceira coluna.
12. A terceira operação Classificar é exibida no painel Etapas.

Transcrição de vídeo

1. A operação Dividir coluna divide uma coluna em duas ou mais com base em caracteres não alfanuméricos, texto, padrão ou posição.
2. Para começar, vamos dividir a coluna AMD nas colunas ANO, MÊS e DIA.
3. A operação Dividir coluna está na categoria ORGANIZAR.
4. Primeiro, selecione a coluna YMD a ser dividida.
5. As guias oferecem quatro opções de caminhos para dividir a coluna.
6. PADRÃO usa qualquer caractere não alfanumérico que esteja nos valores de coluna para dividir a coluna.
7. Em TEXTO, você seleciona um caractere ou insere texto para dividir a coluna.
8. Em PADRÃO, você insere uma expressão regular baseada na sintaxe R para determinar onde dividir a coluna.
9. Em POSIÇÃO, você especifica em qual posição dividir a coluna.
10. Queremos dividir a coluna AMD pelo asterisco (*), que é um caractere não alfanumérico, portanto, vamos selecionar a guia PADRÃO.
11. Divida a coluna AMD em três novas colunas - ANO, MÊS e DIA.
12. As três novas colunas, ANO, MÊS e DIA, são incluídas no conjunto de dados.
13. A operação Dividir coluna é exibida no painel Etapas.
14. Em seguida, divida a coluna VOO em duas colunas - uma para o código da companhia aérea e uma para o número do voo. Como os códigos de companhia aérea têm dois caracteres, podemos dividir a coluna por posição.
15. Clique na guia POSIÇÃO e digite 2 na caixa Posições.
16. Divida a coluna VOO em duas novas colunas - COMPANHIA AÉREA e Nº DO VOO.
17. As duas novas colunas, COMPANHIA AÉREA e Nº DO VOO, são incluídas no conjunto de dados.
18. A operação Dividir coluna é exibida no painel Etapas.

Transcrição de vídeo

1. A operação União combina as linhas de dois conjuntos de dados que compartilham o mesmo esquema.
2. Esse conjunto de dados tem quatro colunas e seis linhas. Os tipos de dados da esquerda para a direita são Sequência, Sequência, Decimal, Sequência.
3. Quando o conjunto de dados foi carregado no Data Refinery, a operação AUTOMÁTICA Converter tipo de coluna converteu automaticamente a coluna PREÇO no tipo de dados Decimal.
4. As colunas no segundo conjunto de dados devem ser compatíveis com os tipos de dados nesse conjunto de dados.
5. Selecione o conjunto de dados para combinar com o conjunto de dados atual.
6. Ao visualizar o novo conjunto de dados, você verá que ele também tem quatro colunas. Entretanto, a coluna PREÇO é um tipo de dados de Sequência.
7. Antes de aplicar a operação União, é necessário excluir a etapa AUTOMÁTICA Converter tipo de coluna para que a coluna PREÇO seja do mesmo tipo de dados que a coluna PREÇO no novo conjunto de dados (Sequência).
8. Agora a coluna PREÇO são dados da sequência.
9. Agora repita a operação de união.
10. O novo conjunto de dados é incluído no conjunto de dados atual. O conjunto de dados é aumentado para 12 linhas.
11. A operação União é exibida no painel Etapas.
12. Agora inclua um conjunto de dados que tenha um número diferente de colunas. As colunas correspondentes ainda devem ser tipos de dados compatíveis.
13. Selecione o conjunto de dados para combinar com o conjunto de dados atual.
14. Ao visualizar o novo conjunto de dados, você verá que ele tem uma coluna a mais do que o conjunto de dados original. A quinta coluna é TIPO.
15. Selecione Permitir um número diferente de colunas e permita valores duplicados.
16. Aplique a operação União.
17. O novo conjunto de dados é incluído no conjunto de dados atual. O conjunto de dados é aumentado para 18 linhas.
18. A coluna adicional, TIPO, é incluída no conjunto de dados.
19. A operação União é exibida no painel Etapas.

Transcrição de vídeo

1. A operação Remover palavras vazias remove palavras comuns do idioma inglês do conjunto de dados. As palavras vazias geralmente têm pouco valor semântico para algoritmos e modelos de análise de texto. Remova as palavras vazias para reduzir o volume de dados e melhorar a qualidade de dados.
2. A operação Remover palavras vazias remove estas palavras: a, an, and, are, as, at, be, but, by, for, from, if, in, into, is, it, no, not, of, on, or, such, that, the, their, then, there, these, they, this, to, was, will, with.
3. A operação Remover palavras vazias está sob a categoria LINGUAGEM NATURAL.
4. Selecione a coluna SEQUÊNCIA.
5. Clique em Aplicar para remover as palavras vazias.
6. As palavras vazias são removidas da coluna SEQUÊNCIA.
7. A operação Remover palavras vazias é exibida no painel Etapas.

Transcrição de vídeo

1. A operação Converter em token divide um texto em inglês em palavras, sentenças, parágrafos, linhas, caracteres ou expressão regular.
2. A operação Converter em token está sob a categoria LINGUAGEM NATURAL.
3. Selecione a coluna SEQUÊNCIA.
4. Opções disponíveis para converter em token.
5. Criar uma nova coluna com o nome PALAVRAS.
6. A operação Converter em token pegou as palavras da coluna SEQUÊNCIA e criou uma nova coluna, PALAVRAS, com uma linha para cada palavra.
7. A operação Converter em token é exibida no painel Etapas.