 | Nível: Introdutório Dan Callahan, Executive IT Specialist, IBM
02/Jul/2009 Com o atual ambiente de sensibilidade de dados, há uma necessidade
de mascarar dados não apenas nos bancos de dados relacionais tradicionais, mas
também em arquivos simples que poderiam fazer parte de um cenário de testes. Os
clientes continuam precisando enviar arquivos a fornecedores, testadores externos
e até mesmo a testadores internos, e os dados nesses arquivos podem estar sujeitos
a regulamentações. Neste artigo, aprenda a remover a identificação de dados privados em arquivos simples usando o IBM®
InfoSphere™ Federation Server para criar uma tabela relacional (apelido)
para os dados de arquivos simples, e então aplicar algoritmos de privacidade de dados
usando a IBM Optim™ Data Privacy Solution.
Introdução
O IBM Optim fornece uma solução para otimizar a administração de dados de
teste, facilitando e agilizando a criação de bancos de dados de testes “no
tamanho certo” que refletem com precisão processos de negócio de ponta a ponta.
A solução pode ser estendida com a Solução de Privacidade de Dados que entrega
poderosas capacidades de transformação de dados para mascarar dados corporativos
confidenciais, permitindo seu uso com segurança para testes de aplicativos.
Estas transformações incluem tudo, desde máscara de dados simples até algoritmos
de transformação pré-empacotados para elementos de dados complexos como números
de cartão de crédito, endereços de e-mail e identificadores nacionais.
Com o atual ambiente de sensibilidade de dados, há uma necessidade de mascarar
dados não apenas nos bancos de dados relacionais tradicionais, mas também em
arquivos simples que poderiam fazer parte de um cenário de testes. Pode ser
preciso enviar arquivos a fornecedores, testadores externos e até mesmo a
testadores internos, e os dados nesses arquivos podem estar sujeitos a regulamentações.
Este artigo mostra como é possível usar a Optim Test Data Management Solution
com Data Privacy e o InfoSphere Federation Server para alcançar esta meta.
Para isto, é necessário mapear os dados de arquivos simples para tabelas usando
o Optim Open Data Manager, que então são definidos como fontes de dados ODBC,
e portanto acessíveis pelo InfoSphere Federation Server usando o wrapper de ODBC,
como ilustrado na Figura 1:
Figura 1. Os arquivos simples são
acessados usando InfoSphere Federation Server middleware
As etapas descritas neste artigo incluem:
- Validar que você tem os devidos
pré-requisitos.
É necessário ter no mínimo a Versão 7.1 do Optim Test Data Management com
a Data Privacy Option. O Optim Open Data Manager precisa ser da Versão 5.0.1
ou posterior, e o InfoSphere Federation Server deve ser da Versão 9.5 ou
posterior. Também será preciso ter uma licença Optim para arquivos simples.
- Defina o arquivo simples que precisa de máscara
(delim1.txt) e o arquivo de saída subseqüente (delim2.txt) para que eles
possam ser acessados pelo Optim usando o Optim Open Data Manager. (O Attunity
Studio é a ferramenta usada para defini-los.)
- Defina os arquivos como fontes de dados ODBC para
que o InfoSphere Federation Server possa acessá-los.
- Defina as fontes de dados para o InfoSphere Federation
Server,
incluindo o wrapper de ODBC, apelidos e mapeamentos de usuário.
- Extraia os dados, defina o algoritmo de máscara,
e insira-os com a máscara no novo arquivo de saída (delim2.txt). A máscara
neste caso está usando uma das funções mais simples do Optim (substring),
mas o conjunto inteiro de funcionalidades de máscara está disponível para
estes arquivos, assim como para as tabelas relacionais.
 |
Valide os pré-requisitos
O Optim Test Data Management e Privacy precisa ser da Versão 7.1, o Attunity
precisa ser da Versão 5.0.1, e o InfoSphere Federation Server deve ser da
Versão 9.5.
- Abra o Optim e clique em Ajuda > Sobre o Optim...:
Figura 2. Validação do nível de
versão do Optim
A versão e o nível serão exibidos:
Figura 3. Nível de versão do
Optim
- Abra o Attunity Studio e clique em Ajuda > Sobre o Attunity
Studio…:
Figura 4. Validação do nível de
versão do Attunity
A versão e o nível serão exibidos:
Figura 5. Nível de versão do
Attunity
Para usar arquivos simples com o Attunity é necessário ter o arquivo de
licença apropriado para arquivos simples, e você deve registrá-la da seguinte maneira:
- De um prompt do Windows, digite o seguinte:
cd C:\Program Files\Attunity\Server\bin |
- Em seguida digite:
nav_util register OptimFLAT06-15-09.txt |
- Espere até o OK ser exibido.
Para verificar o nível do InfoSphere Federation Server, digite o comando
db2licm –l de um prompt do DOS, que deve retornar
o seguinte:
- Nome do produto: "InfoSphere Federation Server"
- Tipo de licença: "CPU"
- Data de vencimento: "Permanente"
- Identificador do produto: "wsfs"
- Informações de versão: "9.5"
Defina o arquivo simples para o Optim usando o Attunity Studio File-Table Mapping.
Há muitas ocasiões nas quais é possível precisar mascarar dados de arquivos
simples. Para tirar proveito dos extensos algoritmos disponíveis na Optim Data
Privacy Solution, o arquivo deve ser acessado como se fosse uma tabela
relacional com colunas. É possível então definir as colunas a mascarar
dentro da ferramenta Optim, e tirar vantagem das funções e algoritmos do Optim.
Nesta seção, defina o arquivo simples que precisa de máscara (DELIM1.txt) e o
arquivo de saída (DELIM2.txt) usando o Attunity Studio. O arquivo simples
neste caso inclui apenas uma linha:
- Abra o Attunity Studio e comece o processo de definição do arquivo simples.
A visão padrão é Configuração, mas se não for exibida, clique na opção de
menu Janela >
Exibir visão > Configuração:
Figura 6. Tela de
configuração do Attunity
- Expanda o host local, clique com o botão direito em NAV, e então selecione Editar
Vínculo:
Figura 7. Editar
Vínculo
- Adicione DELIM às suas fontes de dados, pressione CTRL + S ou
clique na guia Janela NAV para salvar, e feche a janela de edição. (Se seu
arquivo não estiver delimitado, mas for apenas simples, o tipo deve ser
type="ADD-FLAT".)
Figura 8. Adicione as
fontes de dados
- Na visão de Configuração, clique com o botão direito na fonte de dados
DELIM, e selecione Editar metadados:
Figura 9. Editar
metadados
- Expanda a fonte de dados DELIM, e então clique com o botão direito em Tabelas, e
selecione Nova tabela:
Figura 10. Crie a
tabela
- Clique com o botão direito na tabela, e digite
DELIM1 como
nome da tabela, e então clique em Concluir:
Figura 11. Assistente de nova
tabela
A área da janela de descrição do arquivo será exibida à direita.
- Clique no botão Navegar na próxima área de janela, escolha seu nome de arquivo, e indique quais caracteres especiais precisam ser delimitados e os caracteres de aspas. (Neste caso, delimitaremos vírgulas.)
Figura 12. Assistente de parâmetros de tabela
- Seleciona a guia Colunas no rodapé da área de janela.
- Clique no botão Inserir no canto superior direito e preencha o nome da primeira coluna desejado para a tabela (COL1, por exemplo), e então clique em OK:
Figura 13. Assistente de coluna da tabela
- Puxe o tipo de dados e role até achar o tipo desejado.
- Selecione varstring como o tipo de dados da primeira coluna, que como nos lembramos contém "DAN":
Figura 14. Assistente de atributos da tabela
- Em seguida é preciso escolher um comprimento. Role acima na coluna de tamanho e selecione 10 como comprimento.
- Clique no botão Abaixo, e então clique no botão Inserir, e repita para todas as colunas.
Figura 15. Assistente de atributos de tabela
Agora vamos fazer uma cópia de DELIM1 e chamá-la de DELIM2.
- Para isto, é necessário exportar a definição para um arquivo XML. No Metadata explorer, clique com o botão direito em Tabelas, e então selecione Exportar definições de XML...:
Figura 16. Assistente de cópia de tabela
- Preencha com um nome de arquivo (DELIM12) ou clique em Navegar para optar por um diretório padrão diferente (o diretório padrão é C:\Program Files\Attunity\Studio), e então clique em Concluir para salvar o arquivo exportado:
Figura 17. Assistente de cópia de tabela
- No Windows Explorer, vá para C:\Program Files\Attunity\Studio e abra o arquivo com Bloco de notas Microsoft®:
Figura 18. Windows Explorer > Bloco de notas
- Copie e cole a tabela DELIM1, e mude o nome na linha copiada para DELIM2:
Figura 19. Bloco de notas
- Salve o arquivo como DELIM12 para indicar que as tabelas de DELIM1 e DELIM2 estão no arquivo.
- Volte para o Metadata explorer no Attunity Studio para importar o arquivo. Clique com o botão direito em Tabelas, e selecione Importar definições de XML…:
Figura 20. Importar definições de XML
- Navegue para escolher o arquivo, mude o tipo de arquivo para *.*, e então clique em Abrir no arquivo DELIM12.
- Clique em Concluir para importar a definição da segunda tabela:
Figura 21. Completar a importação do XML
A tabela DELIM2 deve ser exibida sob a tabela DELIM1:
Figura 22. Assistente de exibição de tabela
Teste a conectividade da fonte de dados primária com NAV_UTIL antes de prosseguir. Certifique-se de que seja possível selecionar da DELIM1 primária e da tabela secundária. DELIM2 estará vazia, mas deve ser possível ver que ela existe. Use a ferramenta nav_util para o teste, da seguinte maneira:
- Vá até c:\Program Files\Attunity-5.0\bin (ou onde quer que ele esteja instalado).
- Digite:
nav_util execute
DELIM:
Figura 23. Listar saída de tabelas
- Digite:
select * from DELIM1;:
Figura 24. Selecione a saída de DELIM1
Defina as fontes de ODBC
Agora você está pronto para definir as fontes de dados ODBC de forma que o InfoSphere Federation Server possa acessá-las.
- Vá até Iniciar > Painel de Controle > Ferramentas Administrativas > Fontes de Dados (ODBC).
- Realce DSN de Sistema e clique em Adicionar…:
Figura 25. Administrador da Fonte de Dados ODBC
- Realce Attunity Connect Driver, e então clique em Concluir:
Figura 26. Attunity Connect Driver
- Preencha o nome na primeira tela (DELIM), e então clique em Avançar:
Figura 27. Propriedades de DSN Attunity
- Deixe os valores padrão e clique em Avançar:
Figura 28. Vinculação do Attunity
- Selecione as caixas de seleção para Selecione a fonte de dados padrão e Single, e então clique no botão elipses (...) para escolher a fonte de dados:
Figura 29. Propriedades Estendidas do Attunity
- Clique no sinal de mais (+) para expandir as fontes de dados, e então realce sua fonte de dados (DELIM) e clique em OK:
Figura 30. Navegue até a fonte de dados
- Clique em OK para concluir:
Figura 31. Administrador de ODBC > Concluir
Defina as fontes de dados para o InfoSphere Federation Server
Agora vamos definir os dois arquivos delimitados para o InfoSphere Federation Server. (Este artigo presume que o InfoSphere Federation Server esteja instalado e funcionando antes de prosseguir com as próximas etapas.) Então você vai associar esses arquivos com o wrapper de ODBC para forma que o InfoSphere Federation Server use o ODBC para extrair de e inserir nesses arquivos.
- No Centro de Controle DB2, expanda seu banco de dados e seus Federation Objects, então clique com o botão direito e selecione Criar Wrapper:
Figura 32. Centro de Controle
- Selecione o tipo de wrapper de ODBC, então preencha o nome de seu wrapper (DELIM):
Figura 33. Criar Wrapper
- Clique na guia Configurações.
- Mude o valor de DB2_FENCED para "Y" e então clique em OK para salvar:
Figura 34. Configurações do wrapper
- Expanda o wrapper e clique com o botão direito em Definições do Servidor, e então selecione Criar...:
Figura 35. Criar definições de servidor
- É possível então descobrir o servidor e optar pelo desejado. Clique no botão Descobrir…:
Figura 36. Criar definições de servidor
- Desmarque todas as caixas de seleção dos objetos atualmente selecionados, e então marque a caixa de seleção da fonte de dados desejada:
Figura 37. Seleção de servidor
- Clique no botão Propriedades… e então clique na guia Configurações.
- Certifique-se de selecionar as caixas de seleção PUSHDOWN e DB2_MAXIMAL_PUSHDOWN como servidor, e mude os valores de "N" para "Y":
Figura 38. Configurações de servidor
- Agora é necessário mapear os IDs dos usuários locais com o ID de usuário NAV usado no Attunity Studio. Na visão de Objeto, clique com o botão direito em Mapeamento de Usuário, então selecione Criar:
Figura 39. Criar mapeamento de usuário
- Clique no usuário desejado para o login local e empurre-o para a segunda área de janela clicando no botão da seta à direita (>) e então clique na guia Configurações:
Figura 40. Definição de usuário
- Agora na pasta de Configurações, preencha o ID e senha do usuário que você vai usar para o Attunity. Neste caso, ambos o ID e a senha do usuário serão "nav":
Figura 41. Configurações do usuário
- Clique em OK para concluir.
- Agora é necessário criar os apelidos. Clique com o botão direito em Apelidos, e então selecione Criar...:
Figura 42. Crie apelidos
- Clique em Adicionar, e preencha o esquema remoto (público) e o nome da tabela remota (DELIM1), e então clique em OK ao terminar:
Figura 43. Adicionar o primeiro apelido
- Adicione o segundo apelido de DELIM2 repetindo estas mesmas etapas:
Figura 44. Adicionar o segundo apelido
Método alternativo para criar apelidos
É possível usar a descoberta para achar e criar apelidos.
- Clique com o botão direito em Apelidos, e então selecione Criar.
- Clique em Descobrir... no lado direito.
- É possível ver a tela ilustrada na Figura 45, onde é possível preencher o ID (nav) e senha (nav) do usuário:
Figura 45. Descobrir apelidos
- Clique em OK para concluir.
- Confira os apelidos que você deseja definir, e clique em OK:
Figura 46. Selecionar apelidos
Extraia e remova a identificação dos dados
Nesta seção, use o IBM Optim para definir um extrato (usando um arquivo de definição de acesso), e então extraia os dados de DELIM1 e insira o arquivo de extrato em DELIM2 usando o algoritmo de máscara que você definiu.
- Abra o Optim.
- Selecione Opções > Produto…:
Figura 47. Abra o Optim
- Digite sua senha do Optim (optim), e então selecione OK:
Figura 48. Senha do Optim
- Clique no Banco de Dados.
- Marque a caixa de seleção para Allow OPTIM PK/Rels on DB Views, e então clique em OK. (Selecionar Allow Primary Keys and Relationships on Database Views permite ao Optim acessar visões no banco de dados.)
Figura 49. Opções do banco de dados Optim
- Para iniciar o processo de extração, selecione Arquivo > Novo > Extrair:
Figura 50. Iniciar extração
- Preencha o campo de descrição (útil para lembrar para que ele foi usado, caso você queira fazer isto novamente), especifique um nome para o novo arquivo de extrato, selecione o botão Nomeado para a definição de acesso, digite um nome da definição de acesso, e então clique no ícone do editor de definição de acesso (dois à direita do ícone do corredor; circulado na Figura 51):
Figura 51. Editor de Pedido de Extrato
- Clique na lista p/ navegar na Tabela de Inicialização:
Figura 52. Navegar na tabela de inicialização
- Realce sua tabela primária de arquivo delimitado (DELIM1), clique em Selecionar, e então feche a definição de acesso, e salve:
Figura 53. Selecionar tabela de inicialização
- Clique no botão para extrair os dados (o ícone do corredor).
- Clique em Prosseguir se a tela com a mensagem NO RUNSTATS for exibida. Você deve ver uma tela semelhante à Figura 54 com as estatísticas da tabela:
Figura 54. Relatório de estatísticas
- Feche a janela de extrato, e salve o nome do extrato como DELIM11.
- Para fazer a inserção com máscara, selecione Arquivo > Nova > Inserção e preencha os seguintes campos da inserção:
- Descrição: insira delim22
- Arquivo de Origem: DELIM11.xf (o arquivo de origem é o que acabamos de extrair)
- Arquivo de Controle: Text1.cf
- Nome do Mapa da Tabela: DB2ADMIN.DELIM22 (o mapa da tabela é novo, e você vai editá-lo)
Figura 55. Inserir pedido
- Edite o mapa de tabela clicando no ícone do editor de mapas de tabela (dois à direita do ícone do corredor). O mapa de tabela é usado para definir como as colunas serão mascaradas. É possível selecionar as funções básicas no Optim (SUBSTRING, por exemplo), ou usar os algoritmos para máscaras mais complexas de números de cartão de crédito.
Figura 56. Editor de Pedido de Inserção
- Preencha o mapa de tabelas com o qualificador e um novo mapa de colunas.
- Digite o ID do Mapa de Colunas e um nome do mapa de colunas (sob Mapa de Colunas ou "LOCAL"), e então clique com o botão direito no mapa de colunas e selecione Abrir Mapa de Colunas. Certifique-se de mudar a tabela de destino para a sua nova tabela (DELIM2).
Figura 57. Editor de Mapa de Tabelas
- Mascare a coluna 3 digitando o seguinte no campo que contém COL3:
SUBSTR(COL3,1,5):
Figura 58. Mascarar coluna
- Feche e salve o editor de colunas, e feche o editor de mapas de tabela.
- Clique no ícone do corredor para fazer a inserção no segundo arquivo
delimitado:
Figura 59. Executar pedido de
inserção
A tela de estatísticas deve ser exibida, detalhando o que foi
inserido:
Figura 60. Estatísticas
de inserção
- Selecione o segundo arquivo delimitado, ou navegue até o arquivo, para ver
se a máscara foi feita. (Observe o truncamento devido ao substring no mapa
de coluna.)
C:\flat>type delim2.txt
"DAN","222","PRINC" |
|
Conclusão
Dados de teste de alta qualidade baseados em dados de produção são um importante
componente de uma estratégia de testes. Porém, as conseqüências de usar dados
privados para propósitos de teste, ainda que inadvertidamente, podem ser
significativas. O Optim Test Data Management com Data Privacy Option fornece
uma excelente solução para produzir bancos de dados de testes do tamanho certo,
que refletem os objetos de negócio e podem ter sua identificação removida usando uma ampla variedade de algoritmos.
Este artigo mostra como é possível estender essas capacidades para arquivos
simples usando o InfoSphere Federation Server para mapear arquivos simples
para tabelas, de forma que quaisquer dados privados nesses arquivos possam
ser extraídos e ter sua identificação removida usando as poderosas capacidades
do Optim Test Data Management e Data Privacy Solution.
Agradecimentos
Um especial obrigado a Tim Smith e Kathy Zeidenstein pela orientação técnica
e edição.
Recursos Aprender
Obter produtos e tecnologias
- Elabore seu próximo projeto
de desenvolvimento com o
software de teste IBM,
disponível para download diretamente no developerWorks.
Discutir
- Fórum
Optim LUW:
Compartilhe idéias e experiências inovadoras com outros que implementaram quaisquer
das soluções da linha Optim LUW.
- Fórum
Optim z/OS:
Compartilhe idéias e experiências inovadoras com outros que implementaram quaisquer
das soluções da linha Optim z/OS.
- Blog dos especialistas em Integrated
Data Management: Obtenha novas idéias, conselhos, sugestões e dicas, e lições aprendidas
sobre tópicos que incluem tudo, desde modelagem de dados e desenvolvimento de aplicativos de banco de dados até administração de banco de dados, monitoração de desempenho, e muito mais.
- Participe dos
blogs developerWorks
e envolva-se na comunidade do developerWorks.
Sobre o autor | 
| | Dan Callahan é um Especialista em TI Senior Certificado em Administração de Informações com foco em DB2, e já trabalhou com todos os produtos e plataformas que rodam o DB2 e se integram ao DB2. Ele entrou na IBM em 1987 como analista de banco de dados/programador de sistemas para MVS, e agora se dedica ao DB2 para Linux, UNIX e Windows, e qualquer produto com interface para o DB2. Ele também deu aulas na China e Alemanha sobre os vários aspectos da linha de software de Administração de Informações. |
Avalie esta página
| |
