Data Nodes e armazenamento de dados
Os dispositivos do processador IBM® QRadar e dispositivos All-in-One são capazes de armazenar dados, mas muitas empresas utilizam os recursos independentes de armazenamento e processamento do Data Node para atender requisitos específicos de armazenamento, auxiliando na implementação das políticas de retenção de dados. Muitas empresas são impactadas por regulamentos e leis que mandam manter registros de dados por períodos específicos.
Informações sobre Data Node
A lista a seguir descreve informações sobre o Data Nodes:
- Data Nodes incluem recursos de armazenamento e de processamento.
- Data Nodes são plug-n-play e podem ser incluídos em uma implementação a qualquer momento.
- Data Nodes integram-se perfeitamente com as implementações existentes.
- Use o Data Nodes para reduzir a carga de processamento nos dispositivos de processador, removendo a carga de processamento de armazenamento de dados do processador.
- Os usuários podem escalar o armazenamento e a energia de processamento independentemente da coleta de dados.
- A partir do QRadar V.7.2.7, utiliza-se um novo formato de dados, com compactação de dados nativa. Os dados são compactados na memória e são gravados em disco em um formato compacto binário proprietário. O novo formato de dados possibilita um melhor desempenho de procura e um uso mais eficiente de recursos do sistema do que o formato de dados prévio. O formato de dados anterior não possuía um recurso nativo e integrado de compactação nas versões mais antigas do QRadar.
O diagrama a seguir mostra alguns exemplos de uso do Data Nodes em uma implementação.
A lista a seguir descreve os diferentes elementos a serem considerados ao implementar o Data Nodes.
- Armazenamento de dados em cluster
O Data Nodes aumenta a capacidade de armazenamento de uma implementação, além de melhorar o desempenho, distribuindo os dados coletados em vários volumes de armazenamento. Quando os dados são procurados, vários hosts ou um cluster executa a procura. O cluster pode melhorar o desempenho da procura, mas não requer a inclusão de vários processadores de eventos. Os Data Nodes multiplicam o armazenamento para cada processador.
Nota: Um Data Node só pode ser conectado a um processador por vez, mas um processador pode suportar vários Data Nodes.
- Considerações sobre implementação
Ao configurar o Data Nodes em uma implementação, tenha em mente as seguintes informações.
- Data Nodes estão disponíveis com QRadar V7.2.2 e mais recentes.
- Os Data Nodes executam funções de procura e analítica
semelhantes aos processadores de evento e de fluxo em uma implementação do QRadar.
A velocidade operacional em um cluster é afetada pelo membro mais lento de um cluster. O desempenho do sistema Data Node melhora se o Data Nodes for dimensionado de forma semelhante aos Event Processors e aos Flow Processors em uma implementação. Para facilitar o dimensionamento semelhante entre o Data Nodes e os processadores de evento e de fluxo,
-
Data Nodes estão disponíveis em alguns dispositivos principais. Para saber mais sobre as especificações dos Data Nodes disponíveis, selecione um dos dispositivos a seguir.
- Data Nodes estão disponíveis em três formatos: software (em hardware próprio), físico e dispositivos. É possível combinar os formatos em um único cluster.
- Largura da banda e latência
Assegure-se de que você tenha um link de 1 Gbps e menos de 10 ms de latência entre os hosts no cluster. Procuras que produzem muitos resultados requerem mais largura da banda.
- Compatibilidade do dispositivo
- Os Data Nodes são compatíveis com todos
os dispositivos QRadar existentes
que possuem um componente do Processador de Eventos
ou do Flow
Processor, incluindo
dispositivos Multifuncionais. Os Data Nodes não são
compatíveis com os dispositivos PCAP do QRadar
Incident Forensics.
Suporte para alta disponibilidade (HA) no Data Nodes.
- Instalação do Data Nodes
Os Data Nodes usam redes TCP/IP padrão e não requerem dispositivos de hardware de interconexão proprietários ou especializados.
Instale cada Nó de dados a ser incluído na implementação utilizando o mesmo procedimento usado para a instalação de qualquer outro dispositivo QRadar. Associe o Data Nodes a um processamento de eventos ou de fluxo. Para obter mais informações, consulte Configurando um host gerenciado no Guia de Administração do IBM QRadar.
É possível conectar vários Data Nodes a um único Processador de Eventos ou Flow Processor em uma configuração de muitos para um.
Ao implementar pares de alta disponibilidade (HA) com dispositivos Data Node, instale, implemente e faça o rebalanceamento dos dados com os dispositivos de HA antes de sincronizar o par de HA. O efeito combinado do rebalanceamento de dados e do processo de replicação que é utilizado para HA resulta em degradação significativa do desempenho. Caso a HA esteja configurada nos dispositivos nos quais os Data Nodes estão sendo introduzidos, desconecte a HA nesses dispositivos e, após a conclusão do rebalanceamento do cluster, reconecte-a.
- Desatribuindo o Data Nodes
Use a janela Gerenciamento do sistema e de licenças para remover Data Nodes da implementação, por meio do mesmo procedimento usado para qualquer outro dispositivo QRadar. A desatribuição não apaga os dados no host, nem move os dados para seus outros dispositivos. Caso seja necessário manter o acesso aos dados contidos no Data Nodes, você deve identificar um local para o qual mover esses dados.
- Rebalanceamento de dados
A inclusão de um Data Node em um cluster distribui os dados em cada Data Node. Se possível, o rebalanceamento de dados tenta manter a mesma porcentagem de espaço disponível em cada Data Node. A inclusão de novos Data Nodes em um cluster inicia novas operações de rebalanceamento dos processadores de eventos e de fluxo do cluster, para aumentar a eficiência do uso do disco nos dispositivos Data Node recém-incluídos.
A partir do QRadar V7.2.3, o rebalanceamento de dados é automático e ocorre simultaneamente a outras atividades do cluster, como consultas e coletas de dados. Não há tempo de inatividade durante o rebalanceamento de dados.
O Data Nodes não oferece melhorias de desempenho para o cluster até a conclusão do rebalanceamento de dados. O rebalanceamento pode causar uma pequena degradação de desempenho durante operações de procura, mas a coleta de dados e o processamento continuam sem serem afetados.
Nota: A transmissão de dados criptografados entre o Data Nodes e o Event Processors não é suportada.
- Gerenciamento e operações
Os Data Nodes são autogerenciados e não requerem intervenção regular do usuário para manter a operação normal. O QRadar gerencia atividades, como backups de dados, alta disponibilidade e políticas de retenção, para todos os hosts, incluindo dispositivos Data Node.
- Falha da Data Node
Em caso de falha de um Data Node, os membros restantes do cluster continuarão a processar os dados.
Quando o Data Node com falha volta ao serviço, pode haver um rebalanceamento dos dados, para manter a distribuição correta dos dados no cluster e, depois disso, o processamento volta ao normal. Durante o tempo de inatividade, os dados no Data Node com falha ficam indisponíveis e os erros de E/S que ocorrerem aparecerão nos resultados de procura do log e nos visualizadores de atividades de rede na interface com o usuário do QRadar.
No caso de falhas fatais, que exijam a substituição do dispositivo ou a reinstalação de QRadar, cancele a atribuição dos Data Nodes da implementação e substitua-os utilizando as etapas de instalação padrão. Antes da implementação, copie para os novos Data Node os dados que não se perderam, se houver. O algoritmo de rebalanceamento considera os dados existentes em um Data Node e reorganiza apenas os dados que foram coletados durante a falha.
Para um Data Nodes implementado com um par de HA, uma falha de hardware causa um failover e o funcionamento das operações continua normalmente.
Visão geral da SAN
Para aumentar a quantidade de espaço de armazenamento em seu dispositivo, é possível mover uma parte de seus dados para um dispositivo de armazenamento não integrado. É possível mover os sistemas de arquivos /store, /store/ariel ou /store/backup .
Vários métodos estão disponíveis para incluir armazenamento externo, incluindo iSCSI, Fiber Channel e NFS (Network File System). Deve-se usar o iSCSI ou o Fiber Channel para armazenar dados que sejam acessíveis e pesquisáveis na IU, como o diretório /store/ariel, e reserver o uso de NFS apenas para backups de dados.
Mover o sistema de arquivos /store para um dispositivo externo pode afetar o desempenho do QRadar .
Após a migração, toda a E/S de dados para o sistema de arquivos /store não é mais feita no disco local. Antes de mover os dados do QRadar para um dispositivo de armazenamento externo, você deve levar em conta as seguintes informações:
- As procuras que são marcadas como salvas também estão no diretório /transient. Se você tiver uma falha de disco local, essas procuras não serão salvas.
- Uma partição transitória existente antes de mover seus dados provavelmente permanecerá existente após a movimentação e poderá ser montada em uma montagem de armazenamento iSCSI ou Fiber Channel.
Para obter mais informações sobre o armazenamento não integrado, consulte o IBM QRadar Security Intelligence Offboard Storage Guide.