O que é o Presto?

O Presto se tornou uma ferramenta popular para cientistas e engenheiros de dados que lidam com várias linguagens de consulta, bancos de dados isolados e diferentes tipos de armazenamento. Seus recursos de alto desempenho permitem que os usuários consultem grandes volumes de dados em tempo real, independentemente de onde os dados estejam localizados, usando uma interface ANSI SQL simples. A velocidade e o desempenho do Presto na realização de consultas em grandes volumes de dados tornaram-no uma ferramenta indispensável para algumas das maiores empresas do mundo, como Facebook, Airbnb, Netflix, Microsoft, Apple (iOS) e AWS (Athena e Amazon s3).

A arquitetura Presto é única, pois foi criada para consultar dados, não importa onde eles estejam sendo armazenados, tornando-a mais escalável e eficiente do que outras soluções semelhantes. As consultas Presto permitem que os engenheiros usem dados sem precisar migrá-los fisicamente de um local para outro. Este é um recurso importante, à medida que as organizações lidam com uma quantidade cada vez maior de dados que elas precisam armazenar e analisar.

O Presto foi criado para possibilitar aos cientistas e engenheiros de dados consultar interativamente grandes quantidades de dados, independentemente da fonte ou tipo de armazenamento. Como o Presto não armazena dados, mas se comunica com um banco de dados separado para suas consultas, ele é mais flexível do que seus concorrentes e pode aumentar ou diminuir as consultas rapidamente com base nas necessidades da organização. De acordo com um white paper da IBM, o Presto, otimizado para cargas de trabalho de Business Intelligence (BI), pode ajudar as empresas a otimizar os preços dos seus data warehouses e reduzir os custos em até 50%. 

Estes são alguns dos principais benefícios de usar um fluxo de trabalho Presto:

Custos mais baixos: à medida que o tamanho dos data warehouses e o número de usuários que realizam consultas aumentam, não é incomum que as empresas vejam seus custos aumentarem rapidamente. O Presto, no entanto, é otimizado para grandes quantidades de pequenas consultas, o que facilita a consulta de qualquer quantidade de dados e, ao mesmo tempo, mantém os custos baixos. Além disso, como o Presto é de código aberto, não há taxas associadas à sua implementação, o que pode resultar em uma economia significativa para as empresas que desejam processar grandes volumes de dados.

Maior escalabilidade: é comum que engenheiros configurem vários mecanismos e idiomas em um único sistema de armazenamento de data lake, o que pode tornar necessário a reformulação da plataforma no futuro e limitar a escalabilidade da solução. Com o Presto, todas as consultas são realizadas usando a interface e a linguagem universal ANSI SQL, tornando a reformulação da plataforma redundante. Além disso, o Presto pode ser usado para pequenas e grandes quantidades de dados e escalou facilmente de um ou dois usuários para milhares. O Presto implementa vários mecanismos de computação com dialetos e APIs SQL exclusivos, tornando-o uma ferramenta ideal para escalar cargas de trabalho que podem ser muito complexas e demoradas para as equipes de engenheiros e cientistas de dados lidarem.

Melhor desempenho: embora muitos mecanismos de consulta que executam SQL no Hadoop tenham desempenho computacional restrito porque foram criados para gravar seus resultados em disco, o modelo distribuído em memória do Presto permite que ele realize grandes quantidades de consultas interativas de uma só vez em grandes conjuntos de dados. Seguindo um modelo clássico de processamento paralelo massivo (MPP), o Presto agenda o máximo de consultas possível em um único nó de trabalho e usa o streaming aleatório na memória para aumentar ainda mais suas velocidades de processamento. A execução de tarefas na memória torna redundantes a gravação e a leitura do disco entre os estágios e reduz o tempo de execução de cada consulta, tornando o Presto uma opção de menor latência do que seus concorrentes.

Maior flexibilidade: O Presto usa um modelo plug-and-play para todas as suas fontes de dados, incluindo Cassandra, Kafka, MySQL, Hadoop distributed file system (HDFS), PostgreSQL, entre outros, tornando a consulta entre eles mais rápida e fácil do que com outras ferramentas comparáveis que não possuem essa funcionalidade. Além disso, a arquitetura flexível do Presto significa que ele não está restrito a um único fornecedor, mas pode ser executado na maioria das distribuições de Hadoop, tornando-o uma das ferramentas mais portáteis disponíveis.

Embora o Presto não seja a única opção de SQL-on-Hadoop disponível para desenvolvedores e engenheiros de dados, sua arquitetura exclusiva que mantém a funcionalidade de consulta separada do armazenamento de dados o torna um dos mais flexíveis. Ao contrário de outras ferramentas, o Presto separa o mecanismo de consulta do armazenamento de dados e usa conectores para a comunicação entre eles. Essa funcionalidade adicional oferece aos engenheiros mais flexibilidade do que outras ferramentas na forma como eles constroem soluções usando o Presto.

O Presto usa um sistema de gerenciamento de banco de dados MPP com um nó coordenador que funciona em conjunto com outros nós. Um ecossistema Presto é composto por três tipos de servidor, um servidor coordenador, um servidor de trabalho e um servidor de resource manager.

Coordenador: o servidor coordenador é considerado o "cérebro" da instalação do Presto. Ele é responsável por algumas das tarefas mais críticas, incluindo a análise de declarações, o planejamento de consultas e gerenciamento dos nós de trabalho do Presto. Por fim, ele é responsável por recuperar os dados dos nós de trabalho e entregar os resultados ao cliente.

De trabalho: o servidor de trabalho é responsável por coletar os dados dos nós de trabalho e garantir a troca tranquila de dados entre ele e os conectores.

Gerenciador de recursos: o gerenciador de recursos reúne os dados de todos os nós do servidor coordenador e do trabalho e cria uma visualização global, ou um "cluster Presto". 

Quando o servidor SQL do servidor coordenador Presto recebe uma consulta SQL de um usuário, a primeira coisa que ele faz é usar uma consulta personalizada para analisar, planejar e agendar um plano distribuído nos outros nós. A API do Presto Rest é usada para enviar declarações de consulta para execução em um servidor e recuperar os resultados para o cliente. O Presto é compatível com o padrão ANSI SQL, incluindo junções, consultas, subconsultas e agregações. Assim que a consulta é compilada, o Presto analisa o pedido em diferentes estágios entre os nós de trabalho.

Como o Presto foi criado com base no conceito de abstração de dados, ele é extensível a qualquer fonte de dados e pode facilmente consultar fontes de dados, como data lakes, data warehouses e bancos de dados relacionais. A abstração de dados é um processo de programação que permite que os dados sejam armazenados e manipulados de maneira mais eficiente, separando sua representação do seu armazenamento físico. Essa abstração permite que o mecanismo de consulta se concentre exclusivamente nos aspectos dos dados relevantes para sua consulta. Por meio do processo de abstração de dados, os dados são consultados onde quer que estejam sendo armazenados, e não depois de terem sido migrados para outro sistema de análise de dados.

Uma breve história do Presto

Inicialmente desenvolvido no Facebook para realizar consultas interativas em um enorme data warehouse Apache Hadoop, os desenvolvedores do Presto sempre o imaginaram como um software de código aberto e procuraram torná-lo gratuito para uso comercial para que qualquer pessoa pudesse usá-lo para análise e gerenciamento de dados. Em 2013, ele foi disponibilizado de código aberto no GitHub para que qualquer pessoa pudesse baixar sob a licença do Apache Software. Em 2019, três dos membros originais da equipe de desenvolvimento do Presto abandonaram o projeto e fundaram uma versão alternativa do Presto conhecida como Presto Software Foundation, ou mais comumente prestosql.

A fundação Linux e outras comunidades de código aberto oferecem webinars e treinamento sobre o Presto em inglês e outros idiomas para engenheiros e desenvolvedores que desejam obter a certificação. Esses fóruns também são um bom lugar para visitar e descobrir as novidades do Presto.