Sobre as Cookies neste site Nossos sites requererem alguns cookies para funcionarem corretamente (obrigatório). Além disso, outros cookies podem ser usados com seu consentimento para analisar o uso do site, melhorar a experiência do usuário e para publicidade. Para obter mais informações, revise as opções de. Ao visitar nosso website, você concorda com nosso processamento de informações conforme descrito nadeclaração de privacidade da IBM. Para proporcionar uma navegação tranquila, suas preferências de cookie serão compartilhadas nos domínios da web da IBM listados aqui.
Início
topics
Integridade dos dados
O que é integridade de dados?
Publicado: 5 de abril de 2024
Colaboradores: Tim Mucci, Cole Stryker
A integridade dos dados é a garantia de que os dados de uma organização são precisos, completos e consistentes em qualquer ponto de seu ciclo de vida. A manutenção da integridade dos dados envolve a proteção dos dados de uma organização contra perdas, vazamentos e influências corruptoras.
As organizações contam com dados limpos para a tomada de decisões, prevendo o comportamento do consumidor, avaliando tendências de mercado e se protegendo contra violações de dados. À medida que os volumes de dados dentro das organizações disparam e esses dados são usados para tomar decisões sobre o futuro da empresa, maximizar a integridade dos dados torna-se cada vez mais importante.
Para alcançar a integridade dos dados, as organizações aderem a processos que incluem A verificação de erros, procedimentos de validação e medidas de segurança rigorosas, como criptografia, controle de acesso e backups. O objetivo da integridade dos dados é ajudar a garantir que a análise de dados seja baseada em informações confiáveis respaldadas por frameworks regulatórios como o RGPD e que as informações confidenciais estejam protegidas contra o acesso ou exploração não autorizados.
A integridade dos dados não se limita a uma única ferramenta ou plataforma; em vez disso, é uma abordagem abrangente que envolve o esforço coletivo da infraestrutura de tecnologia de uma organização, das políticas e dos indivíduos que trabalham com o sistema de dados para garantir que os dados continuem sendo um ativo confiável.
A Forrester Consulting realizou um estudo de Impacto Econômico Total encomendado pela IBM. Baixe o relatório para descobrir o potencial retorno sobre o investimento que as organizações podem obter usando o IBM Data Management.
A integridade dos dados é semelhante ao controle de qualidade em empresas tradicionais voltadas para produtos e garante que a matéria-prima esteja correta, segura e apropriada para o uso pretendido.
A dependência de bons dados na análise de dados comerciais, nas interações com os clientes e na conformidade destaca a importância da integridade dos dados em toda a organização. O ditado "entra lixo, sai lixo" é altamente relevante quando se usa dados para tomar decisões de negócios sólidas, tratar os clientes de forma justa e correta e elaborar relatórios comerciais precisos que estejam em conformidade com as regulamentações do setor. Dados ruins, uma vez operacionalizados, levam a resultados indesejáveis.
As organizações precisam manter os dados completos, precisos, consistentes e seguros durante todo o ciclo de vida. A integridade dos dados ajuda a promover essa completude, mantendo todos os elementos de dados intactos, sem alteração, truncamento ou perda e evitando alterações que possam distorcer a análise e prejudicar as condições de teste consistentes. Sem processos de integridade de dados, as organizações não seriam capazes de verificar se os dados futuros correspondem aos dados passados, independentemente dos padrões de acesso. Além disso, a integridade dos dados serve para fortalecer a segurança dos dados controlando o acesso e os protegendo contra a exploração não autorizada por meio de autenticação, autorização, criptografia e estratégias abrangentes de proteção de dados, incluindo backups e registro de acesso.
Além da tomada de decisões, a integridade dos dados é crucial para proteger as informações pessoais e confidenciais dos titulares dos dados. Erros no manuseio dos dados dos clientes, seja por erro humano ou ataques cibernéticos, podem levar a violações de privacidade e confiança, deturpação de indivíduos e danos possivelmente graves à reputação. Isso também se aplica aos dados primários menos sensíveis, onde imprecisões podem distorcer a compreensão e o tratamento que a empresa dá aos seus usuários, afetando sua inclusão nas tendências e nas interações com a marca. Manter a integridade dos dados, portanto, não é apenas uma questão operacional ou de conformidade, mas um imperativo estratégico que afeta todas as facetas do relacionamento de uma organização com seus clientes e sua posição no mercado.
Cinco tipos de integridade de dados
O conceito central da integridade dos dados é garantir a usabilidade do conjunto de dados para fins de análise de negócios essenciais. Ela é a base da estabilidade, do desempenho, da capacidade de recuperação e da segurança dos dados.
O problema é que os dados podem ser comprometidos de várias maneiras: por erro humano, erros de transferência não intencionais, vírus, bugs de software, malware, hacking, hardware e danos físicos aos dispositivos. As organizações podem alcançar a integridade empregando restrições de integridade e definindo as regras e procedimentos em torno do trabalho com dados. As restrições de integridade abrangem ações como exclusão, inserção e alteração de informações, o que permite a aplicação da integridade em sistemas comuns, como bancos de dados de planejamento de recursos empresariais ( ERP), sistemas de gerenciamento de relacionamento com o cliente (CRM) e sistemas de gerenciamento da cadeia de suprimentos.
Cinco tipos de integridade de dados ajudam as organizações a verificar e manter a qualidade de seus dados:
Um recurso dos sistemas de banco de dados relacionais que armazena os dados em tabelas, que podem ser usadas e vinculadas de várias maneiras. A integridade da entidade depende de chaves e valores exclusivos criados para identificar dados, garantindo que os mesmos dados não sejam listados várias vezes e que os campos da tabela sejam preenchidos corretamente.
Protege a precisão, a exatidão e a integridade dos dados à medida que são armazenados e recuperados. A integridade física pode ser comprometida por quedas de energia, erosão do armazenamento, hackers e desastres naturais.
Uma série de processos que garantem que os dados sejam armazenados e usados uniformemente. As estruturas de banco de dados incorporam regras que impõem a presença de registros correspondentes em tabelas vinculadas, impedindo registros órfãos e mantendo a consistência dos dados no banco de dados.
Um domínio é definido por um conjunto específico de valores para as colunas de uma tabela, incluindo restrições e regras que regem a quantidade, o formato e os dados que podem ser inseridos. A integridade do domínio ajuda a garantir a precisão dos elementos dos dados em um domínio.
Quando os usuários criam regras e restrições em torno dos dados para alinhá-los às suas especificações exclusivas. Esse método geralmente é empregado com outros processos que não garantem a segurança dos dados.
As diferenças entre integridade de dados, qualidade de dados e segurança de dados
Integridade dos dados, qualidade dos dados e segurança dos dados são conceitos fundamentais no gerenciamento de dados corporativos e, muitas vezes, são erroneamente usados de forma intercambiável.
A qualidade dos dados se concentra nas condições dos dados com base em fatores como precisão, integridade, singularidade e pontualidade.
A segurança dos dados trata da proteção dos dados contra acesso não autorizado, violações e outras formas de má conduta. Ela abrange as tecnologias, políticas e práticas implementadas para proteger os dados em todo o seu ciclo de vida, garantindo que somente o pessoal autorizado possa acessar as informações sensíveis para a manutenção da confidencialidade e da confiança.
A integridade dos dados é o princípio abrangente que inclui os elementos de qualidade e segurança dos dados. Ela serve para verificar a precisão e a consistência dos dados em todo o seu ciclo de vida, desde a criação e armazenamento até a recuperação e exclusão, aplicando regras e padrões que impedem a alteração não autorizada dos dados. Os mecanismos de integridade dos dados ajudam a garantir que os dados estejam não apenas corretos e acessíveis, mas também protegidos contra adulteração não autorizada, apoiando assim a conformidade com as regulamentações do setor e do governo.
Exemplos do setor de aplicação da integridade dos dados
A integridade dos dados é uma preocupação em todos os setores, e cada um adota práticas e padrões exclusivos para proteger seus dados. A indústria farmacêutica deve aderir a diretrizes rigorosas estabelecidas por órgãos regulatórios como a Food and Drug Administration (FDA) dos EUA. O guia de orientação do FDA (link externo ao ibm.com) para fabricantes de produtos farmacêuticos enfatiza a conformidade com os códigos e regulamentações federais para certificar que os medicamentos são produzidos de forma consistente e são rastreáveis, seguros para consumo e eficazes. Da mesma forma, padrões internacionais como a ISO 13485 (link externo ao ibm.com) para dispositivos médicos ressaltam a importância global da integridade dos dados na fabricação, garantindo que os produtos atendam aos mais altos padrões de segurança e qualidade.
No setor financeiro, a Financial Industry Regulatory Authority (FINRA) reconheceu a necessidade de medidas robustas de integridade dos dados, especialmente em sistemas automatizados de negociação e vigilância de movimentação de dinheiro. As iniciativas da FINRA (link externo ao site ibm.com) para desenvolver e expandir os programas de integridade dos dados refletem um esforço mais amplo do setor para proteger as transações financeiras e informações confidenciais dos clientes, o que é crucial para manter a confiança e a conformidade em um ambiente altamente regulamentado.
Os setores de mineração e de fabricação de produtos também estão cada vez mais focados na integridade dos dados em seus sistemas de automação e monitoramento de produção. O objetivo é garantir que os dados que orientam as decisões operacionais e as melhorias de eficiência sejam precisos e confiáveis, evitando erros dispendiosos e aumentando a competitividade.
Os provedores de banco de dados de armazenamento em nuvem enfrentam desafios únicos na manutenção da integridade e procedência dos dados do cliente. Com a crescente dependência de serviços de nuvem para armazenamento e processamento de dados, esses provedores devem implementar medidas sofisticadas para rastrear e evitar violações de dados, garantindo que as informações de seus clientes permaneçam seguras e inalteradas.
Exemplos específicos de aplicações da integridade de dados também incluem o setor médico, onde erros em registros eletrônicos de saúde podem ter consequências terríveis. Nas finanças, dados precisos de transações são fundamentais para a avaliação de riscos e detecção de fraudes, com práticas como protocolos de conhecimento do cliente (KYC) desempenhando um papel crítico na verificação das informações do cliente e na manutenção da conformidade regulatória. As instituições educacionais dependem de registros precisos dos alunos para gerenciamento de matrículas, acompanhamento acadêmico e alocação de recursos.
Estratégias de gerenciamento de dados dentro de uma organização
Proteger a integridade dos dados nas organizações corporativas não é uma tarefa realizada uma única vez, mas um esforço contínuo que requer uma estratégia abrangente que envolve tecnologia, processos e pessoas para validar os dados ao máximo. As estratégias e melhores práticas a seguir protegem os ativos dos dados e capacitam as organizações a aproveitar os dados com confiança para a tomada de decisões e inovação.
Entrada dos dados
A implementação de verificações de integridade dos dados o mais próximo possível do ponto de entrada dos dados, como uma pessoa no teclado ou uma aplicação que transmite os dados, limita e especifica o tipo de informação que pode entrar no banco de dados.
Restrições de integridade
A grande variedade de vulnerabilidades de dados ressalta a importância de uma abordagem abrangente para proteger os dados. O gerenciamento da integridade dos dados em toda a organização é realizado por um amplo espectro de políticas, diretrizes e regras chamadas restrições de integridade, que abrangem os diversos aspectos do gerenciamento de dados, desde a retenção até as relações entre diferentes partes dos dados e as pessoas que trabalham com elas.
As restrições de integridade estão vinculadas aos tipos de modelos de dados relacionais: entidade, referencial, domínio e definido pelo usuário. Por exemplo, as restrições de domínio limitam os tipos de valores que uma coluna pode conter, de modo que uma coluna "idade" poderia aceitar apenas números inteiros entre 1 e 120.
A integridade da entidade fornece instruções para que cada linha em uma tabela seja única e identificável, normalmente aplicada por uma chave primária, o que significa que há um identificador exclusivo para cada linha em uma tabela de banco de dados.
As restrições de integridade também garantem que as relações entre as tabelas sejam claramente definidas e mantidas por meio de chaves externas, que são colunas ou conjuntos de colunas em uma tabela que fazem referência à chave primária de outra tabela.
Essas restrições confirmam que os dados em cada campo aderem aos formatos e valores especificados e que todas as regras adicionais adaptadas às necessidades organizacionais específicas são atendidas.
Retenção de dados
As diretrizes e políticas de retenção especificam por quanto tempo os dados devem ser armazenados em um banco de dados para garantir consistência e minimizar erros decorrentes de informações antigas. Os backups de dados podem proteger contra perda de dados e fornecer proteção contra falhas em caso de falhas do sistema, corrupção de dados ou outros incidentes imprevistos que possam comprometer a integridade dos dados. Estratégias eficazes de backup devem incluir capturas instantâneas regulares de dados armazenados em locais seguros e geograficamente dispersos para confirmar que os dados podem ser restaurados com perda mínima.
Acesso, segurança e integridade física
A conectividade e o acesso aos dados também desempenham um papel fundamental na manutenção da integridade dos dados. Garantir a conectividade perfeita entre diferentes fontes de dados e sistemas permite o fluxo consistente de informações em toda a organização.
O gerenciamento do acesso aos dados ajuda a garantir que somente pessoal autorizado possa modificar ou interagir com os dados para reduzir o risco de adulteração acidental ou maliciosa dos dados.
Além disso, a vigilância contínua em toda a organização também ajuda a manter a integridade dos dados. A verificação regular de erros, a conscientização sobre a cibersegurança e a comunicação clara entre os membros da equipe sobre a importância dos dados precisos são importantes.
As organizações devem garantir a integridade física dos dados, usando medidas como fontes de alimentação ininterruptas e hardware redundante.
Ferramentas
Depois que os dados são coletados, práticas sólidas de gerenciamento de banco de dados podem impor regras que impedem a criação de dados duplicados. Aproveitando a tecnologia como as ferramentas de linhagem de dados, que rastreiam a origem e as transformações dos dados, para testes de auditoria, catálogos de dados que oferecem recursos de segurança de controle de acesso, processos rigorosos de validação de inputs e um sistema de banco de dados moderno para ajudar a evitar violações de integridade.
Os sistemas de banco de dados vêm equipados com recursos que suportam restrições de integridade, transferindo a responsabilidade de verificar a precisão para o próprio banco de dados. Por exemplo, mecanismos como as relações pai-filho ilustram como os processos de integridade referencial gerenciados no nível do banco de dados podem proteger automaticamente a integridade dos dados, ajudando a garantir que as relações entre os registros sejam preservadas, evitando registros órfãos e exclusões não autorizadas.
Ferramentas de validação de dados como o IBM Databand e Ataccama são uma etapa essencial para alcançar a precisão, consistência e integridade. As ferramentas de validação ajudam a identificar discrepâncias ou anomalias que podem indicar problemas. Uma vez integradas a um sistema de gerenciamento de dados, essas ferramentas verificam continuamente a qualidade e a integridade dos dados.
Essa abordagem centralizada ajuda a manter os sistemas de gerenciamento de dados estáveis, ao mesmo tempo em que garante a reutilização e a fácil manutenção dos dados em diferentes aplicações.
Educação e cultura
Uma empresa interessada em promover uma cultura que priorize a precisão e a segurança dos dados deve educar os líderes de negócios e os funcionários sobre os riscos de usar dados inseguros ou ruins.
Soluções relacionadas
O IBM Databand é um software de observabilidade para pipelines e warehouses de dados que coleta metadados automaticamente para criar linhas de base históricas, detectar anomalias e fazer triagem de alertas para corrigir problemas de qualidade de dados.
Com suporte para os padrões ETL e ELT, o IBM DataStage oferece integração de dados flexível e quase em tempo real, tanto no local quanto na nuvem.
Um catálogo de dados inteligente para a era da IA, o IBM Knowledge Catalog permite acessar, selecionar, categorizar e compartilhar dados, ativos de conhecimento e seus relacionamentos, não importa onde residam.
Recursos relacionados
Saiba mais sobre a prática de ingestão, processamento, proteção e armazenamento dos dados da sua organização para torná-los utilizáveis para resultados de negócios valiosos.
Descubra como as ferramentas de linhagem fornecem um registro dos dados durante todo o seu ciclo de vida, permitindo que a organização valide a precisão e a consistência.
A governança de dados promove a disponibilidade, qualidade e segurança dos dados de uma organização através de diferentes políticas e padrões. Esses processos determinam os proprietários dos dados, as medidas de segurança dos dados e os usos pretendidos para os dados.