Exemplo: Estimando tamanhos de logs ativos e de archive para operações de deduplicação de dados

Se você deduplicar dados, deverá considerar seus efeitos nos requisitos de espaço para logs ativos e de archive.

Os fatores a seguir afetam requisitos para o espaço de logs ativos e de archive:

A quantidade de dados deduplicados

O efeito da deduplicação de dados no log ativo e no espaço de log do archive dependem da porcentagem de dados elegíveis para deduplicação. Se a porcentagem de dados que pode ser deduplicada for relativamente alta, mais espaço de log será requerido.

O tamanho e o número de extensões

Aproximadamente 1.500 bytes de espaço de log ativo são requeridos para cada extensão identificada por um processo de identificação de deduplicações. Por exemplo, se 250.000 extensões forem identificadas por um processo de identificação de deduplicações, o tamanho estimado do log ativo será 358 MB:

250,000 extents identified during each process x 1,500 bytes
 for each extent = 358 MB

Considere o seguinte cenário. Trezentos clientes de backup-archive fazem backup de 100.000 arquivos a cada noite. Essa atividade cria uma carga de trabalho de 30.000.000 de arquivos. O tamanho médio de extensões de cada arquivo é dois. Assim, o número total de extensões é 60.000.000 e o requisito de espaço para o log de archive é de 84 GB:

60,000,000 extents x 1,500 bytes for each extent = 84 GB

Um processo de identificação de duplicações opera em agregados de arquivos. Um agregado consiste em arquivos que são armazenados em uma determinada transação, conforme especificado pela opção do servidor TXNGROUPMAX. Suponha que a opção do servidor TXNGROUPMAX seja configurada para o padrão 4096. Se o número médio de extensões para cada arquivo for dois, o número total de extensões em cada agregado será 8192 e o espaço requerido para o log ativo será de 12 MB:

8192 extents in each aggregate x 1500 bytes for each extent =
   12 MB

Sincronização e número de processos de identificação de deduplicações

A sincronização e o número de processos de identificação de deduplicações também afeta o tamanho do log ativo. Usando o tamanho de log ativo de 12 MB que foi calculado no exemplo anterior, o carregamento simultâneo no log ativo será de 120 MB se 10 processos de identificação de deduplicações estiverem em execução em paralelo:

12 MB for each process x 10 processes = 120 MB

Tamanho de arquivo

Arquivos grandes que são processados para identificação duplicada também podem afetar o tamanho do log ativo. Por exemplo, suponha que um cliente de backup-archive faça backup de uma imagem do sistema de arquivos de 80 GB. Esse objeto pode ter um número elevado de extensões duplicadas se, por exemplo, for feito backup, de forma incremental, dos arquivos incluídos na imagem do sistema de arquivos. Por exemplo, suponha que uma imagem do sistema de arquivos tenha 1,2 milhões de extensões duplicadas. Os 1,2 milhões de extensões deste arquivo grande representam uma única transação para um processo de identificação de deduplicações. O espaço total no log ativo que é requerido para este único objeto é de 1.7 GB:

1,200,000 extents x 1,500 bytes for each extent = 1.7 GB

Se ocorrerem outros processos menores de identificação de deduplicação ao mesmo tempo que o processo de identificação de deduplicação para um único objeto grande, o log ativo talvez não tenha espaço suficiente. Por exemplo, suponha que o conjunto de armazenamentos esteja ativado para deduplicação. O conjunto de armazenamentos possui uma mistura de dados, incluindo muitos arquivos relativamente pequenos que vão de 10 KB a várias centenas de KB. O conjunto de armazenamentos também possui poucos objetos grandes que têm uma alta porcentagem de extensões duplicadas.

Para levar em conta não apenas os requisitos de espaço, mas também o tempo e a duração das transações simultâneas, aumente o tamanho estimado do log ativo por um fator de dois. Por exemplo, suponha que seus cálculos para os requisitos de espaço sejam de 25 GB (23.3 GB + 1.7 GB para deduplicação de um objeto grande). Se os processos de deduplicação estiverem em execução simultaneamente, o tamanho sugerido do log ativo será de 50 GB. O tamanho sugerido do log de archive é de 150 GB.

Os exemplos das tabelas a seguir mostram os cálculos para logs ativos e de archive. O exemplo da primeira tabela usa um tamanho médio de 700 KB para extensões. O exemplo na segunda tabela usa um tamanho médio de 256 KB. Como os exemplos mostram, o tamanho médio da extensão de deduplicação de 256 KB indica um tamanho estimado maior para o log ativo. Para minimizar ou evitar problemas operacionais para o servidor, use 256 KB para estimar o tamanho do log ativo em seu ambiente de produção.

Tabela 1. Tamanho médio da extensão de deduplicação de 700 KB

Item	Valores de exemplo		descrição
Tamanho do maior objeto único para deduplicação	800 GB	4 TB	A granularidade de processamento para deduplicação está no nível do arquivo. Assim, o maior arquivo único para deduplicação representa a maior transação e um carregamento correspondentemente grande nos logs ativos e de archive.
Tamanho médio das extensões	700 KB	700 KB	Os algoritmos de deduplicação usam um método de bloqueio variável. Nem todas as extensões deduplicadas para um determinado arquivo são do mesmo tamanho, assim, esse cálculo presume um tamanho médio para as extensões.
Extensões para um determinado arquivo	1.198.372 bits	6.135.667 bits	Usando um tamanho de extensão médio (700 KB), esses cálculos representam o número total de extensões para um determinado objeto. O cálculo a seguir foi usado para um objeto de 800 GB: (800 GB ÷ 700 KB) = 1,198,372 bits O cálculo a seguir foi usado para um objeto de 4 TB: (4 TB ÷ 700 KB) = 6,135,667 bits
Log ativo: Tamanho sugerido requerido para a deduplicação de um único objeto grande durante um processo único de identificação de deduplicação	1.7 GB	8.6 GB	O espaço de log ativo estimado necessário para esta transação.
Log ativo: Tamanho total sugerido	66 GB 1	79.8 GB 1	Após considerar outros aspectos da carga de trabalho no servidor além da deduplicação, multiplique a estimativa existente por um fator de dois. Nesses exemplos, o espaço de log ativo requerido para deduplicar um único objeto grande é considerado juntamente com estimativas anteriores para o tamanho de log ativo requerido. O cálculo a seguir foi usado para diversas transações e um objeto de 800 GB: (23.3 GB + 1.7 GB) x 2 = 50 GB Aumente essa quantidade no tamanho inicial sugerido de 16 GB: 50 + 16 = 66 GB O cálculo a seguir foi usado para diversas transações e um objeto de 4 TB: (23.3 GB + 8.6 GB) x 2 = 63.8 GB Aumente essa quantidade no tamanho inicial sugerido de 16 GB: 63.8 + 16 = 79.8 GB
Log de archive: Tamanho sugerido	198 GB 1	239.4 GB 1	Multiplique o tamanho estimado do log ativo por um fator de 3. O cálculo a seguir foi usado para diversas transações e um objeto de 800 GB: 50 GB x 3 = 150 GB Aumente essa quantidade no tamanho inicial sugerido de 48 GB: 150 + 48 = 198 GB O cálculo a seguir foi usado para diversas transações e um objeto de 4 TB: 63.8 GB x 3 = 191.4 GB Aumente essa quantidade no tamanho inicial sugerido de 48 GB: 191.4 + 48 = 239.4 GB
1 Os valores de exemplo desta tabela são usados para ilustrar como os tamanhos para os logs ativos e logs de archive são calculados. Em um ambiente de produção que usa deduplicação, 32 GB é o tamanho mínimo sugerido para um log ativo. O tamanho mínimo sugerido para um log de archive em um ambiente de produção que usa deduplicação é de 96 GB. Se você substituir os valores de seu ambiente e os resultados forem maiores que 32 GB e 96 GB, use seus resultados para dimensionar o log ativo e o log de archive. Monitore seus logs e ajuste seu tamanho se necessário.

Tabela 2. Tamanho médio da extensão de deduplicação de 256 KB

Item	Valores de exemplo		descrição
Tamanho do maior objeto único para deduplicação	800 GB	4 TB	A granularidade de processamento para deduplicação está no nível do arquivo. Assim, o maior arquivo único para deduplicação representa a maior transação e um carregamento correspondentemente grande nos logs ativos e de archive.
Tamanho médio das extensões	256 KB	256 KB	Os algoritmos de deduplicação usam um método de bloqueio variável. Nem todas as extensões deduplicadas para um determinado arquivo são do mesmo tamanho, assim, esse cálculo presume um tamanho médio de extensão.
Extensões para um determinado arquivo	3.276.800 bits	16.777.216 bits	Usando o tamanho médio de extensão, esses cálculos representam o número total de extensões para um determinado objeto. O cálculo a seguir foi usado para diversas transações e um objeto de 800 GB: (800 GB ÷ 256 KB) = 3,276,800 bits O cálculo a seguir foi usado para diversas transações e um objeto de 4 TB: (4 TB ÷ 256 KB) = 16,777,216 bits
Log ativo: Tamanho sugerido requerido para a deduplicação de um único objeto grande durante um processo único de identificação de deduplicação	4.5 GB	23.4 GB	O tamanho estimado do espaço de log ativo que é requerido para essa transação.
Log ativo: Tamanho total sugerido	71.6 GB 1	109.4 GB 1	Após considerar outros aspectos da carga de trabalho no servidor além da deduplicação, multiplique a estimativa existente por um fator de 2. Nesses exemplos, o espaço de log ativo requerido para deduplicar um único objeto grande é considerado juntamente com estimativas anteriores para o tamanho de log ativo requerido. O cálculo a seguir foi usado para diversas transações e um objeto de 800 GB: (23.3 GB + 4.5 GB) x 2 = 55.6 GB Aumente essa quantidade no tamanho inicial sugerido de 16 GB: 55.6 + 16 = 71.6 GB O cálculo a seguir foi usado para diversas transações e um objeto de 4 TB: (23.3 GB + 23.4 GB) x 2 = 93.4 GB Aumente essa quantidade no tamanho inicial sugerido de 16 GB: 93.4 + 16 = 109.4 GB
Log de archive: Tamanho sugerido	214.8 GB 1	328.2 GB 1	O tamanho estimado do log ativo multiplicado por um fator de 3. O cálculo a seguir foi usado para um objeto de 800 GB: 55.6 GB x 3 = 166.8 GB Aumente essa quantidade no tamanho inicial sugerido de 48 GB: 166.8 + 48 = 214.8 GB O cálculo a seguir foi usado para um objeto de 4 TB: 93.4 GB x 3 = 280.2 GB Aumente essa quantidade no tamanho inicial sugerido de 48 GB: 280.2 + 48 = 328.2 GB
1 Os valores de exemplo desta tabela são usados para ilustrar como os tamanhos para os logs ativos e logs de archive são calculados. Em um ambiente de produção que usa deduplicação, 32 GB é o tamanho mínimo sugerido para um log ativo. O tamanho mínimo sugerido para um log de archive em um ambiente de produção que usa deduplicação é de 96 GB. Se você substituir os valores de seu ambiente e os resultados forem maiores que 32 GB e 96 GB, use seus resultados para dimensionar o log ativo e o log de archive. Monitore seus logs e ajuste seu tamanho se necessário.