Conteúdo


Arquitetura e padrões de big data, parte 4

Entendendo padrões atômicos e compostos de soluções de big data

Comments

Conteúdos da série:

Esse conteúdo é a parte # de # na série: Arquitetura e padrões de big data, parte 4

Fique ligado em conteúdos adicionais dessa série.

Esse conteúdo é parte da série:Arquitetura e padrões de big data, parte 4

Fique ligado em conteúdos adicionais dessa série.

Introdução

A Parte 3 desta série descreve as camadas lógicas de uma solução de big data. Essas camadas definem e categorizam os diversos componentes que devem lidar com os requisitos funcionais e não funcionais para um determinado caso de negócios. O artigo se baseia no conceito de camadas e componentes para explicar os padrões atômicos e compostos típicos em que eles são usados na solução. Ao realizar o mapeamento de uma solução proposta para os padrões fornecidos aqui, é possível visualizar como os componentes devem ser projetados e onde eles devem ser posicionados funcionalmente. Os padrões também ajudam a definir a arquitetura da solução de big data. O uso de padrões atômicos e compostos pode ajudar a refinar ainda mais as funções e responsabilidades de cada componente da solução de big data.

Esse artigo aborda os padrões atômicos e compostos. O artigo final nesta série descreverá os padrões de solução.

Figura 1. Categorias de padrões

Padrões atômicos

Os padrões atômicos ajudam a identificar a maneira em que os dados são consumidos, processados, armazenados e acessados por problemas recorrentes em um contexto de big data. Eles também podem ajudar a identificar os componentes necessários. O acesso, a armazenamento e o processamento de uma variedade de dados a partir de diferentes fontes de dados requerem diferentes abordagens. Cada padrão lida com requisitos específicos — visualização, análise de dados históricos, dados de mídia social e armazenamento de dados não estruturados, por exemplo. Os padrões atômicos podem trabalhar em conjunto para criar um padrão composto. Não há camadas ou sequência para esses padrões atômicos. Por exemplo, os padrões de visualização podem interagir com os padrões de acesso a dados para mídia social diretamente e os padrões de visualização podem interagir com o padrão de processamento de análise avançada.

Figura 2. Exemplos de padrões atômicos para consumo, processamento, acesso a dados e armazenamento

Padrões de consumo de dados

Esse tipo de padrão lida com as várias formas em que o resultado da análise de dados é consumido. Esta seção inclui padrões de consumo de dados para atender a diversos requisitos.

Padrão de visualização

A forma tradicional de visualizar dados se baseia em gráficos, painéis e relatórios de resumo. Essas abordagens tradicionais não são sempre a melhor maneira de visualizar os dados.

Os requisitos típicos para visualização de big data, incluindo os requisitos emergentes, são listados abaixo:

  • Realizar análise em tempo real e exibição de dados de fluxo
  • Extrair dados de forma interativa, com base no contexto
  • Executar procuras avançadas e obter recomendações
  • Visualizar informações paralelamente
  • Ter acesso a hardware avançado para necessidades de visualização futuristas

A pesquisa para determinar como os insights de big data podem ser consumidos por humanos e máquinas está em andamento. Os desafios incluem o volume de dados envolvido e a necessidade de associar contexto a eles. O insight dever apresentado no contexto adequado.

O objetivo é fazer com que seja mais fácil consumir os dados de forma intuitiva, portanto os relatórios e painéis devem oferecer visualização full-HD e vídeos interativos 3D e também devem fornecer aos usuários a capacidade de controlar os resultados e atividades de negócios a partir de um aplicativo.

Padrão de descoberta ad hoc

Em muitos casos, a criação de relatórios padrão que sejam adequados para todas as necessidades de negócios não é viável, pois as empresas têm requisitos de consultas de dados de negócios diversas. Os usuários podem precisar da capacidade de enviar consultas ad hoc ao procurar por informações especificas, dependendo do contexto do problema.

A análise ad hoc pode ajudar os cientistas de dados e os principais usuários corporativos a entender o comportamento dos dados de negócios. A complexidade envolvida no processamento ad hoc surge de diversos fatores:

  • Várias fontes de dados disponíveis para os mesmos domínios.
  • Uma única consulta pode ter vários resultados.
  • O resultado pode ser estático com uma variedade de formatos (vídeo, áudio, gráfico e texto).
  • O resultado pode ser dinâmico e interativo.

Aumentar os armazenamentos de dados tradicionais

Durante a exploração inicial do big data, muitas empresas prefeririam usar a plataforma de analítica existente para manter os custos baixos e contar com as qualificações atuais. Aumentar os armazenamentos de dados existentes ajuda a ampliar o escopo de dados disponível para a analítica atual para incluir dados que residem dentro e fora dos limites organizacionais, como dados de mídia social, que podem melhorar os dados principais. Ao ampliar o escopo para incluir novas tabelas de fatos, dimensões e dados principais nos armazenamentos existentes e adquirir dados de clientes a partir de mídia social, uma organização pode obter um insight mais profundo do cliente.

No entanto, lembre-se de que novos conjuntos de dados normalmente são maiores e as ferramentas de extração, transformação e carregamento atuais podem não ser suficientes para processá-los. Podem ser necessárias ferramentas avançadas com recursos de processamento paralelo massivo para lidar com as características de volume, variedade, veracidade e velocidade dos dados.

Padrão de notificação

Os insights de big data permitem que as pessoas, negócios e máquinas ajam instantaneamente usando notificações para indicar eventos. A plataforma de notificação deve ser capaz de lidar com o volume antecipado de notificações a serem enviadas de maneira oportuna. Essas notificações são diferentes das malas diretas ou do envio em massa de mensagens SMS, pois o conteúdo geralmente é específico para o consumidor. Por exemplo, os mecanismos de recomendação podem fornecer insights sobre a enorme base de clientes em todo o mundo, e as notificações podem ser envidas para tais clientes.

Padrão para iniciar uma resposta automatizada

Os insights de negócios derivados do big data podem ser usados para acionar ou iniciar outros processos de negócios ou transações.

Padrões de processamento

O big data pode ser processado quando os dados estão em repouso ou em movimento. Dependendo da complexidade da análise, os dados podem não ser processados em tempo real. Esse padrão lida com como o big data é processado em tempo real, quase em tempo real ou em lote.

As categorias de alto nível para processamento de big data a seguir se aplicam à maioria das analíticas. Muitas vezes essas categorias também se aplicam a sistemas baseados em RDBMS tradicionais. A única diferença é a enorme escala de dados, variedade e velocidade. No processamento de big data, são usadas técnicas como aprendizado de máquina, processamento de evento complexo, processamento de fluxo de eventos, gerenciamento de decisões e gerenciamento de modelo estatístico.

Padrão de análise de dados históricos

A análise de dados históricos tradicional é limitada a um período predefinido de dados, que normalmente depende das políticas de retenção de dados. Após desse período, geralmente os dados são arquivados ou limpos em virtude de limitações de armazenamento e processamento. Essas limitações são superadas por sistemas baseados em Hadoop e por outros sistemas equivalentes com enormes recursos de processamento paralelo massivo distribuído e armazenamento. Os dados operacionais, de negócios e de data warehouse são movidos para o armazenamento de big data e processados usando os recursos da plataforma de big data.

A análise histórica envolve analisar as tendências históricas para um determinado período, conjunto de períodos e produtos e compará-las aos dados atuais disponíveis. Para ser possível armazenar e processar tal volume de dados, ferramentas como HDFS, NoSQL, SPSS®e InfoSphere® BigInsights™ são úteis.

Padrão de analítica avançada

O big data fornece enormes oportunidades de obter insights criativos. É possível correlacionar diferentes conjuntos de dados em muitos contextos. A descoberta desses relacionamentos requer técnicas e algoritmos complexos inovadores.

A análise avançada inclui previsões, decisões, processos inferenciais, simulações, identificações de informações contextuais e resoluções da entidade. Os aplicativos de analítica avançada incluem análise de dados biométricos, por exemplo, análise de DNA, análise espacial, analítica baseada em localização, análise científica, pesquisa e muitas outras. A analítica avançada requer a computação exigente para gerenciar a enorme quantidade de dados.

Os cientistas de dados podem orientar na identificação das técnicas, algoritmos, conjuntos de dados e fontes de dados adequados necessários para resolver problemas em um determinado contexto. Ferramentas como SPSS, InfoSphere Streams e InfoSphere BigInsights fornecem tais recursos. Essas ferramentas acessam dados não estruturados e os dados estruturados (por exemplo, dados JSON) armazenados nos sistemas de armazenamento de big data, como BigTable, HBase e outros.

Padrão para pré-processar dados brutos

As soluções de big data são, em sua maioria, dominadas por sistemas Hadoop e tecnologias baseadas em MapReduce, que são soluções simples de instalar para processamento e armazenamento distribuídos. No entanto, a extração de dados a partir de dados não estruturados, como imagens, áudio, vídeo, feeds binários ou até mesmo texto, é uma tarefa complexa e precisa de técnicas como aprendizado de máquina e processamento de idioma natural, etc. O outro grande desafio é como verificar a precisão e a exatidão do resultado de tais técnicas e algoritmos.

Para executar a análise em quaisquer dados, eles devem estar em algum tipo de formato estruturado. Os dados não estruturados acessados de várias fontes podem ser armazenados como estão e, em seguida, transformados em dados estruturados (por exemplo, JSON) e novamente armazenados nos sistemas de armazenamento de big data. O texto não estruturado pode ser convertido em dados estruturados ou semiestruturados. Da mesma forma, os dados de imagem, áudio e vídeo precisam ser convertidos nos formatos que podem ser usados para análise. Além disso, a precisão e exatidão da analítica avançada que usa algoritmos preditivos e estatísticos dependem da quantidade de dados e algoritmos usados para treinar os modelos.

A lista a seguir mostra os algoritmos e atividades necessários para converter dados não estruturados em estruturados:

  • Classificação de texto e documento
  • Extração de recurso
  • Segmentação de texto e imagem
  • Correlacionamento de recursos, variáveis e tempos e, em seguida, extração dos valores com o tempo
  • Verificação de precisão do resultado usando técnicas como a matriz de confusão e outras atividades manuais

Os cientistas de dados podem ajudar na escolha das técnicas e algoritmos adequados.

Padrão de análise ad hoc

O processamento de consultas ad hoc no big data traz desafios diferentes daqueles incorridos ao realizar consultas ad hoc em dados estruturados pelo fato de as fontes e formatos dos dados não serem fixos e exigirem mecanismos diferentes para recuperá-los e processá-los.

Embora as consultas ad hoc simples possam ser resolvidas pelos provedores de big data, na maioria dos casos, elas são complexas porque os dados, algoritmos, formatos e resoluções da entidade devem ser descobertos dinamicamente. O conhecimento dos cientistas de dados e dos usuários corporativos é necessário para definir a análise exigida para as seguintes tarefas:

  • Identificar e descobrir os cálculos e algoritmos
  • Identificar e descobrir as fontes de dados
  • Definir os formatos necessários que podem ser consumidos pelos cálculos
  • Executar os cálculos nos dados paralelamente

Padrões de acesso

Embora existam muitas fontes de dados e formas em que os dados podem ser acessados em uma solução de big data, essa seção aborda as mais comuns.

Padrão de acesso à web e mídia social

A Internet é a fonte de dados que fornece muitos dos insights produzidos atualmente. A web e a mídia social são úteis em praticamente todas as análises, mas são necessários mecanismos de acesso diferentes para obter esses dados.

A web e a mídia social são a fonte de dados mais complexa de todas em virtude de sua enorme variedade, velocidade e volume. Há aproximadamente de 40 a 50 categorias de websites e cada uma requer um tratamento diferente para acessar esses dados. Esta seção lista essas categorias e explica o mecanismo de acesso. As categorias de alto nível, da perspectiva de big data, são sites de comércio, sites de mídia social e sites que possuem componentes específicos e genéricos. Consulte a Figura 3 para encontrar os mecanismos de acesso. Caso necessário, os dados acessados são armazenados no armazenamento de dados após o pré-processamento.

Figura 3. Acesso a dados da web e mídia social

As etapas a seguir são necessárias para acessar as informações da mídia da web.

Figura 4. Etapas de acesso a big data
Acesso à mídia da web para dados no armazenamento não estruturado
  1. Etapa A-1. Um crawler lê os dados brutos.
  2. Etapa A-2. Os dados são armazenados no armazenamento não estruturado.
Pré-processamento de dados do acesso à mídia da web para armazenamento estruturado
  1. Etapa B-1. O crawler lê os dados brutos.
  2. Etapa B-2. Esses dados são pré-processados.
  3. Etapa B-3. Os dados são armazenados no armazenamento estruturado.
Acesso à mídia da web para pré-processar dados não estruturados
  1. Etapa C-1. Em raros casos, os dados dos provedores podem ser não estruturados.
  2. Etapas C-2. Os dados são pré-processados.
  3. Etapa C-3. Os dados são armazenados no armazenamento estruturado.
Acesso à mídia da web para dados estruturados ou não estruturados
  1. Etapa D-1. Os provedores de dados fornecem dados estruturados ou não estruturados.
  2. Etapa D-2. Os dados são armazenados no armazenamento estruturado ou não estruturado.
Acesso à mídia da web para pré-processar dados não estruturados
  1. Etapa E-1. Os dados não estruturados, armazenados sem o pré-processamento, não podem ser úteis a menos que estejam em um formato estruturado.
  2. Etapa E-2. Os dados são pré-processados.
  3. Etapa E-3. Os dados estruturados pré-processados são armazenados no armazenamento estruturado.

Conforme mostrado no diagrama, os dados podem ser armazenados diretamente no armazenamento ou podem ser pré-processados e convertidos em um formato intermediário ou padrão e, em seguida, armazenados.

Antes de os dados poderem ser analisados, eles precisam estar em um formato que possa ser usado para a resolução da entidade ou para consultar os dados necessários. Tais dados pré-processados podem ser armazenados em um sistema de armazenamento.

Embora o pré-processamento seja frequentemente considerado trivial, ele pode ser bastante complexo e demorado.

Padrão de dados gerados por dispositivos

O conteúdo gerado por dispositivos inclui dados de sensores. Os dados são detectados a partir das origens de dados, como informações sobre o clima, medições elétricas e dados sobre poluição, e capturados pelos sensores. Os dados podem ser fotos, vídeos, texto e outros formatos binários.

O diagrama a seguir explica o processo típico para processamento de dados gerados por máquina.

Figura 5. Acesso a dados gerados por dispositivos

A Figura 5 explica o processo para acessar dados de sensores. Os dados capturados pelos sensores podem ser enviados para gateways de dispositivo que realizam um pouco do pré-processamento inicial e armazenam em buffer os dados de alta velocidade. Na maioria das vezes, os dados gerados por máquina estão em formato binário (áudio, vídeo e leitura de sensor) ou em formato de texto. Tais dados podem ser inicialmente armazenados em um sistema de armazenamento ou podem ser pré-processados e depois armazenados. O pré-processamento é necessário para a análise.

Padrão de dados de warehouse, operacionais e transacionais

É possível armazenar os dados de warehouse, operacionais e transacionais existentes para evitar a limpeza ou o arquivamento deles (em virtude de limitações de armazenamento e processamento) ou para reduzir a carga no armazenamento tradicional quando os dados são acessados por outros consumidores.

Para a maioria das empresas, os dados principais, operacionais, transacionais e as informações de warehouse estão no centro de qualquer analítica. Esses dados, se aumentados com os dados não estruturados e externos disponíveis em toda a Internet ou por meio de sensores e dispositivos inteligentes, podem ajudar as organizações a obterem insights precisos e executarem analíticas avançadas.

Os dados transacionais e de warehouse podem ser inseridos no armazenamento usando conectores padrão disponibilizados por diversos fornecedores de banco de dados. O pré-processamento de dados transacionais é muito mais fácil, pois a maior parte deles é estruturada. Os processos de extração, transformação e carregamento simples podem ser usados para mover os dados transacionais para o armazenamento. Os dados transacionais podem ser facilmente convertidos em formatos como JSON e CSV. O uso de ferramentas como Sqoop facilita a inserção de dados transacionais nos sistemas de armazenamento como HBase e HDFS.

Padrões de armazenamento

Os padrões de armazenamento ajudam a determinar o armazenamento adequado para diversos formatos e tipos de dados. Os dados podem ser armazenados como estão, com relação a pares de valores de chave ou em formatos predefinidos.

Os sistemas de arquivos distribuídos, como GFS e HDFS, são perfeitamente capazes de armazenar qualquer tipo de dados. Mas a capacidade de recuperar ou consultar os dados de forma eficiente afeta o desempenho. A seleção da tecnologia faz a diferença.

Padrão de armazenamento para dados não estruturados e distribuídos

A maior parte do big data não é estruturada e pode conter informações que podem ser extraídas de diferentes formas para diferentes contextos. Na maioria das vezes, os dados não estruturados devem ser armazenados como estão, em seu formato original.

Tais dados podem ser armazenados em sistemas de arquivos distribuídos, como HDFS, e em armazenamento de documentos NoSQL, como o MongoDB. Esses sistemas fornecem uma maneira eficiente de recuperar dados não estruturados.

Padrão de armazenamento para dados estruturados e distribuídos

Os dados estruturados incluem aqueles que chegam da fonte de dados e já estão em um formato estruturado e os dados não estruturados que foram pré-processados em um formato como JSON. Esses dados convertidos devem ser armazenados para evitar a frequente conversão de dados brutos para dados estruturados.

Tecnologias como BigTable do Google são usadas para armazenar dados estruturados. O BigTable é um sistema de autogerenciamento tolerante a falhas de grande escala que inclui terabytes de memória e petabytes de armazenamento.

O HBase no Hadoop é comparável ao BigTable. Ele usa HDFS para o armazenamento subjacente.

Padrão de armazenamento para armazenamentos de dados tradicionais

O armazenamento de dados tradicional não é a melhor opção para armazenar big data, mas nos casos em que as empresas estão realizando a exploração de dados inicial, elas podem optar por usar o data warehouse, o sistema RDBMS e outros armazenamentos de conteúdo existentes. Esses sistemas de armazenamento existentes podem ser usados para armazenar os dados que são compilados e filtrados usando a plataforma de big data. Não considere os sistemas de armazenamento de dados tradicionais como adequados para o big data.

Padrão de armazenamento para armazenamento em nuvem

Muitos provedores de infraestrutura da nuvem possuem recursos de armazenamento estruturado e não estruturado distribuídos. As tecnologias de big data são um pouco diferentes das perspectivas de configurações, manutenção, gerenciamento de sistemas e programação e modelagem tradicionais. Além disso, as qualificações necessárias para implementar as soluções de big data são raras e caras. As empresas explorando as tecnologias de big data podem usar soluções de nuvem que fornecem o gerenciamento de sistemas, manutenção e armazenamento de big data.

Muitas vezes, os dados a serem armazenados são confidenciais, isso inclui dados biométricos e registros médicos. Avalie a segurança de dados, o compartilhamento de dados, a governança de dados e outras políticas relacionadas aos dados, especialmente ao considerar a nuvem como um repositório de armazenamento para big data. A capacidade de transferir enormes quantidades de dados também é outra consideração fundamental para o armazenamento em nuvem.

Padrões compostos

Os padrões atômicos se concentram em fornecer os recursos necessários para executar funções individuais. Os padrões compostos, no entanto, são classificados com base na solução de ponta a ponta. Cada padrão composto possui uma ou mais dimensões a serem consideradas. Há muitas variações nos casos que se aplicam a cada padrão. Os padrões compostos são mapeados para um ou mais padrões atômicos para resolver um determinado problema de negócios. A lista de padrões compostos descrita nesse artigo se baseia em problemas de negócios tipicamente recorrentes, mas não se trata de uma lista abrangente de padrões compostos.

Padrão de armazenamento e exploração

Esse padrão é útil quando o problema de negócios exige o armazenamento de uma grande quantidade de dados novos e existentes que não foram usados anteriormente em virtude da falta do recurso de análise e armazenamento adequado. O padrão foi projetado para reduzir a carga no armazenamento de dados existente. Os dados armazenados podem ser usados para a exploração inicial e descoberta ad hoc. Os usuários podem derivar relatórios para analisar a qualidade dos dados e seu valor no processamento adicional. Os dados brutos podem ser pré-processados e limpos usando ferramentas de ETL antes de qualquer tipo de análise poder ocorrer.

Figura 6. Padrão composto de armazenamento e exploração

A Figura 6 ilustra as várias dimensões desse padrão. O uso de dados poderia ser para o propósito de apenas armazená-los ou também para processá-los e consumi-los.

Um exemplo de caso de apenas armazenamento é a situação em que os dados são somente adquiridos e armazenados para o futuro para atender a um requisito legal ou de conformidade. O caso de processamento e consumo é a situação em que o resultado da análise pode ser processado e consumido. Os dados podem ser acessados a partir de fontes recém-identificadas ou de armazenamentos de dados existentes.

Padrão composto de análise previsível e propositada

Esse padrão é usado para executar análises usando diversas técnicas de processamento e, como resultado, pode melhorar os dados existentes com novos insights ou criar resultados que podem ser consumidos por vários usuários. A análise pode ocorrer em tempo real, conforme os eventos estão acontecendo, ou no modo em lote para gerar insights com base nos dados que foram reunidos. Como um exemplo de dados em repouso que podem ser analisados, uma empresa de telecomunicações pode desenvolver modelos de perda de clientes que incluem a análise dos registros de dados de chamada, dados sociais e dados de transação. Como um exemplo de análise de dados em movimento, a necessidade de prever que uma determinada transação está sofrendo fraude deve ocorrer em tempo real ou quase.

Figura 7. Padrão composto de análise preditiva e propositada

A Figura 7 ilustra as várias dimensões desse padrão. O processamento realizado poderia ser padrão ou preditivo e ele pode incluir a tomada de decisões.

Além disso, é possível enviar notificações para um sistema ou usuários em relação a determinadas tarefas ou mensagens. As notificações podem usar a visualização. O processamento pode ocorrer em tempo real ou no modo em lote.

Padrão de análise acionável

A forma mais avançada de solução de big data é o caso em que a análise é realizada no conjunto de dados e as ações são sugeridas com base nas ações passadas repetíveis ou em uma matriz de ações. As ações podem ser manuais, parcialmente automatizadas ou totalmente automatizadas. A análise de base deve ser altamente precisa. As ações são predefinidas e o resultado da análise é mapeado em relação às ações. As etapas típicas envolvidas na análise acionável são:

  • Analisar os dados para obter o insight.
  • Tomar uma decisão.
  • Ativar o canal adequado para realizar a ação para o consumidor correto.
Figura 8. Padrão composto de análise acionável

A Figura 8 ilustra que a análise pode ser manual, parcialmente automatizada ou totalmente automática. Ela usa os padrões atômicos conforme explicado no diagrama.

Ação manual significa que o sistema recomenda as ações com base no resultado da análise e o ser humano decide e executa as ações. Automação parcial significa que as ações são recomendadas pela análise, mas não é necessária a intervenção humana para iniciar a ação ou para escolher a partir de um conjunto de ações recomendadas. Totalmente automatizada significa que as ações são executadas imediatamente pelo sistema após a decisão ser tomada. Por exemplo, uma ordem de serviço pode ser automaticamente criada pelo sistema após ser prevista a falha do equipamento.

A matriz a seguir mostra como os padrões atômicos são mapeados para os padrões compostos, que são combinações dos padrões atômicos. Cada padrão composto é projetado para ser usado em determinadas situações para dados que possuem um conjunto de características específico. A matriz mostra as combinações de padrões típicas. Os padrões devem ser customizados para atender a requisitos e situações específicos. Na matriz, os padrões compostos são listados ordenados do mais simples para o mais complexo. O padrão de “armazenamento e exploração” é o menos complexo.

Figura 9. Mapeamento de padrões compostos para atômicos

Resumo

Adotar uma abordagem baseada em padrões pode ajudar a equipe de negócios e a equipe técnica a concordar quanto ao objetivo primário da solução. Ao usar os padrões, a equipe técnica pode definir os princípios arquiteturais e realizar algumas das principais decisões de arquitetura. Ela pode aplicar esses padrões às camadas da arquitetura e derivar o conjunto de componentes necessários para implementar a solução. Na maioria das vezes, a solução começa com um escopo limitado e evolui conforme os negócios se tornam cada vez mais confiantes de que a solução agregará valor. Conforme ocorre essa evolução, os padrões atômicos e compostos que se alinham à solução são refinados. Os padrões podem ser usados nos estágios iniciais para definir uma arquitetura baseada em padrões e para mapear como os componentes na arquitetura serão projetados, passo a passo.

Figura 10. Mapeamento dos padrões atômicos para camadas da arquitetura

Na Parte 2 dessa série, descrevemos as complexidades associadas ao big data e como determinar se é o momento de implementar ou atualizar sua solução de big data. Nesse artigo, abordamos os padrões atômicos e compostos e explicamos que uma solução pode ser composta por vários padrões. Com base em um contexto específico, você pode considerar que alguns padrões são mais adequados que outros. Recomendamos que você realize uma visualização de ponta a ponta da solução e examine os padrões envolvidos e, em seguida, defina a arquitetura da solução de big data.

Para os arquitetos e designers, o mapeamento para os padrões permite um refinamento ainda maior das responsabilidades de cada componente na arquitetura. Para os usuários corporativos, normalmente é útil obter um melhor entendimento do escopo de negócios do problema de big data, para que seja possível derivar insights importantes e que a solução atenda e corresponda ao resultado desejado.

Os padrões de solução também ajudam a definir o melhor conjunto de componentes com base em se o problema de negócios precisa da descoberta e exploração de dados, de análise previsível e propositada ou de análise acionável. Lembre-se de que não há sequência ou ordem recomendada em que os padrões de solução, compostos ou atômicos devem ser aplicados para chegar a uma solução. O próximo artigo nessa série apresenta os padrões de solução para esse propósito.


Recursos para download


Temas relacionados


Comentários

Acesse ou registre-se para adicionar e acompanhar os comentários.

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=80
Zone=Information Management
ArticleID=969542
ArticleTitle=Arquitetura e padrões de big data, parte 4: Entendendo padrões atômicos e compostos de soluções de big data
publish-date=04252014