Presto (Java) nó único
As propriedades que podem ser personalizadas para o singlenode do Presto (Java) estão listadas aqui.
| Propriedade | Descrição | Tipo | Valor padrão / Configuração padrão | Propriedade de sistema | É necessário reiniciar os contêineres |
|---|---|---|---|---|---|
presto_singlenode_resources_limits_cpu |
Limite de recursos da CPU para o contêiner de nó único do Java ( Presto ): só é permitido usar essa quantidade de CPU. | Kubernetes Unidade de CPU | small: 3; small_mincpureq: 3; medium: 6; large: 9; xlarge: 12; xxlarge: 12 |
resources.limits.cpu |
N |
presto_singlenode_resources_limits_memory |
Limite de memória de recursos para Presto (Java) O contêiner de nó único pode usar apenas essa quantidade de memória. | Unidades de bytes Observação: para obter mais informações sobre a unidade de memória, consulte Unidades de recursos de memória.
|
small: 24G; small_mincpureq: 24G; medium: 48G; large: 72G; xlarge: 96G; xxlarge: 96G |
resources.limits.memory |
N |
presto_singlenode_resources_limits_ephemeral_storage |
Este parâmetro define a quantidade máxima de armazenamento efêmero local que um contêiner em um pod de nó único ( Presto ) Java pode consumir. | Unidades de bytes | small: 10G; small_mincpureq: 10G; medium: 10G; large: 10G; xlarge: 10G; xxlarge: 10G |
resources.limits.ephemeral-storage |
N |
presto_singlenode_resources_requests_cpu |
Solicitação de recursos da CPU para um único nó do Presto (Java). | Kubernetes Unidade de CPU | small: 3; small_mincpureq: 0.005; medium: 6; large: 9; xlarge: 12; xxlarge: 12 |
resources.requests.cpu |
N |
presto_singlenode_resources_requests_memory |
Solicitação de memória de recursos para Presto (Java) singlenode. | Unidades de bytes Observação: para obter mais informações sobre a unidade de memória, consulte Unidades de recursos de memória.
|
small: 24G; small_mincpureq: 24G; medium: 48G; large: 72G; xlarge: 96G; xxlarge: 96G |
resources.requests.memory |
N |
presto_singlenode_resources_requests_ephemeral_storage |
Este parâmetro define a quantidade mínima/garantida de armazenamento efêmero local para um contêiner em um Pod de nó único ( Presto ) Java. | Unidades de bytes | small: 500Mi; small_mincpureq: 500Mi; medium: 1G; large: 1G; xlarge: 1G; xxlarge: 1G |
resources.request.ephemeral-storage |
N |
presto_singlenode_jvm_Xmx |
Xmx especifica o pool máximo de alocação de memória para uma máquina virtual Java (JVM). | - | jvm.config.Xmx |
Y | |
presto_singlenode_task_concurrency |
Concorrência local padrão para operadores paralelos, como junções e agregações. | Número (deve ser uma potência de dois) | config.properties.task.concurrency |
Y | |
presto_singlenode_query_max_memory |
A quantidade máxima de memória do usuário que uma consulta pode usar em todo o cluster. | Tamanho dos dados | 1TB | config.properties.query.max-memory |
Y |
presto_singlenode_query_max_memory_per_node |
A quantidade máxima de memória do usuário que uma consulta pode usar em um trabalhador. | Tamanho dos dados | presto_singlenode_jvm_Xmx*0.795 | config.properties.query.max-memory-per-node |
Y |
presto_singlenode_query_max_total_memory_per_node |
A quantidade máxima de memória do usuário e do sistema que uma consulta pode usar em um trabalhador. | Tamanho dos dados | presto_singlenode_jvm_Xmx*0.795 | config.properties.query.max-total-memory-per-node |
Y |
presto_singlenode_query_max_concurrent_queries |
Descreve quantas consultas podem ser processadas simultaneamente em um único nó do cluster. | Número Inteiro | config.properties.query.max-concurrent-queries |
Y | |
presto_singlenode_memory_heap_headroom_per_node |
Esta é a quantidade de memória reservada como espaço livre/buffer na pilha da JVM para alocações que não são rastreadas pelo gerenciador de memória dinâmico ( Presto ) do Java. | Tamanho dos dados | presto_singlenode_jvm_Xmx*0.2 | config.properties.query.memory.heap-headeroom-per-node |
Y |
presto_singlenode_query_max_total_memory |
A quantidade máxima de memória do usuário e do sistema que uma consulta pode usar em todo o cluster. | Tamanho dos dados | 2TB | config.properties.query.max-total-memory |
Y |
presto_singlenode_experimental_optimized_repartitioning |
Melhorar o desempenho da repartição de dados entre as etapas. | Booleano | true |
experimental.optimized-repartitioning |
Y |
presto_singlenode_experimental_pushdown_dereference_enabled |
Adicionar suporte para pushdown de expressões de desreferência para consultar dados aninhados. | Booleano | experimental.pushdown-dereference-enabled |
Y | |
presto_singlenode_experimental_pushdown_subfields_enabled |
Adicionar suporte para pushdown de expressões de subcampos para consultar dados aninhados. | Booleano | experimental.pushdown-subfields-enabled |
Y | |
presto_singlenode_join_max_broadcast_table_size |
Adicione a propriedade de configuração join-max-broadcast-table-size e a join_max_broadcast_table_size propriedade session para controlar o tamanho máximo estimado de uma tabela que pode ser transmitida ao usar o tipo de distribuição de junção AUTOMÁTICA. |
Número Inteiro | join-max-broadcast-table-size |
Y | |
presto_singlenode_node_scheduler_max_pending_splits_per_task |
O número de divisões pendentes com o peso de divisão padrão que podem ser enfileiradas para cada nó de nó único para um único estágio de uma consulta, mesmo quando o nó já está no limite para o número total de divisões. É necessário permitir um número mínimo de divisões por estágio para evitar a falta de recursos e os bloqueios. Este valor deve ser menor que node-scheduler.max-splits-per-node, geralmente será aumentado pelas mesmas razões e tem desvantagens semelhantes se definido muito alto. |
Número Inteiro | node-scheduler.max-pending-splits-per-task |
Y | |
presto_singlenode_optimizer_prefer_partial_aggregation |
Essa propriedade permite que os usuários desativem agregações parciais para consultas que não trazem benefícios. | Booleano | optimizer.prefer-partial-aggregation |
Y | |
presto_singlenode_query_execution_policy |
Configura o algoritmo para organizar o processamento de todas as etapas de uma consulta. | Sequência | phased |
query.execution-policy |
Y |
presto_singlenode_query_low_memory_killer_policy |
A política utilizada para selecionar a consulta a ser encerrada quando o cluster fica sem memória (OOM). Esta propriedade pode ter um dos seguintes valores: none, total-reservation, ou total-reservation-on-blocked-nodes. nenhum desativa o OOM killer do cluster. O valor da reserva total configura uma política que encerra a consulta com a maior reserva de memória em todo o cluster. O valor de total-reservation-on-blocked-nodes configura uma política que encerra a consulta usando a maior parte da memória nos trabalhadores que estão sem memória (bloqueados). |
Sequência | total-reservation-on-blocked-nodes |
query.low-memory-killer.policy |
Y |
presto_singlenode_query_max_stage_count |
Adicione um limite ao número de etapas em uma consulta. O padrão é 100 e pode ser alterado com a propriedade query.max-stage-count de configuração e a propriedade query_max_stage_count de sessão. |
Número Inteiro | 200 | query.max-stage-count |
Y |
presto_singlenode_query_min_schedule_split_batch_size |
Adicione o query.min-schedule-split-batch-size sinalizador de configuração para definir o número mínimo de divisões a serem consideradas para o agendamento por lote. |
Booleano | query.min-schedule-split-batch-size |
Y | |
presto_singlenode_query_stage_count_warning_threshold |
Adicione uma opção de configuração (query.stage-count-warning-threshold) para especificar um limite por consulta para o número de etapas. Quando esse limite é excedido, um TOO_MANY_STAGES aviso é emitido. |
Número Inteiro | 150 | query.stage-count-warning-threshold |
Y |
presto_singlenode_scale_writers |
Habilite o dimensionamento do gravador aumentando dinamicamente o número de tarefas do gravador no cluster. | Booleano | scale-writers |
Y | |
presto_singlenode_sink_max_buffer_size |
Tamanho do buffer para gravações de E/S durante a coleta de resultados do pipeline. Um valor mais alto pode aumentar a velocidade das operações de E/S, com o custo de memória adicional. Além disso, um valor mais alto pode aumentar o número de dados perdidos quando o nó do Presto falha, diminuindo efetivamente a E/S em um ambiente instável. | Número Inteiro | sink.max-buffer-size |
Y | |
presto_singlenode_experimental_max_revocable_memory_per_node |
A quantidade de memória revogável que uma consulta pode usar em cada nó. | Unidades de bytes | experimental.max-revocable-memory-per-node |
Y | |
presto_singlenode_experimental_reserved_pool_enabled |
Esta propriedade permite que os usuários habilitem ou desabilitem o Pool Reservado em Presto (Java). Quando o Pool Geral está cheio, esta propriedade usa o OOM killer em Presto (Java) para aumentar a simultaneidade do Pool Geral e evitar o impasse. | Booleano | Não | experimental.reserved-pool-enabled |
Y |
presto_singlenode_ query_min_expire_age |
Esta propriedade descreve o tempo mínimo após o qual você pode remover os metadados da consulta do servidor. | Sequência | 120 minutos | query.min-expire-age |
Y |
presto_singlenode_enable_dynamic_filtering |
Essa propriedade melhora o desempenho de consultas com junções de difusão ou colocalizadas, adicionando suporte a filtragem dinâmica e poda de armazenamento. | Booleano | experimental.enable-dynamic-filtering |
Y | |
presto_singlenode_exchange_client_threads |
Essa propriedade ajuda a controlar o número de threads usados pelos clientes de troca no Java ( Presto ) para buscar dados de outros nós Java ( Presto ) durante a execução da consulta | Número Inteiro | exchange.client-threads |
||
presto_singlenode_exchange_http_client_max_connections |
Número Inteiro | exchange.http-client.max-connections |
|||
presto_singlenode_exchange_http_client_max_requests_queued_per_destination |
Esta propriedade determina o número máximo de HTTP solicitações que podem ser enfileiradas para cada servidor de destino pelo cliente Exchange. |
Número Inteiro | exchange.http-client.max-requests-queued-per-destination |
||
presto_singlenode_http_server_log_max_size |
Esta propriedade especifica o tamanho máximo do arquivo de log gerado pelo componente HTTP do servidor. |
Unidades de bytes | http-server.log.max-size |
||
presto_singlenode_http_server_log_max_history |
A propriedade especifica o número máximo de arquivos de log que o componente HTTP do servidor retém antes de alternar o conteúdo antigo do log |
Número Inteiro | http-server.log.max-history |
||
presto_singlenode_http_server_threads_max |
Número Inteiro | http-server.threads.max |
|||
presto_singlenode_log_max_history |
Esta propriedade representa o número máximo de arquivos de log de aplicativos gerais que são retidos por um sistema de registro antes que os logs mais antigos sejam removidos. | Número Inteiro | log.max-history |
||
presto_singlenode_log_max_size |
A propriedade log.max-size define o tamanho máximo permitido para o arquivo de log geral do aplicativo. |
Unidades de bytes | log.max-size |
||
presto_singlenode_node_scheduler_max_splits_per_node |
Esta propriedade especifica o número máximo de divisões que podem ser executadas simultaneamente em cada nó de trabalho. As divisões representam unidades de trabalho dentro das consultas. O ajuste dessa propriedade permite que os administradores otimizem a utilização de recursos, especialmente em cenários que envolvem grandes lotes de consultas ou conectores que geram inúmeras divisões. CUIDADO: Definir Idealmente, deve ser definido de forma a que haja sempre pelo menos uma divisão à espera de ser processada, mas não mais do que isso.presto_singlenode_node_scheduler_max_splits_per_node um valor muito alto pode levar a um uso ineficiente da memória e à degradação do desempenho. |
Número Inteiro | node-scheduler.max-splits-per-node |
||
presto_singlenode_optimize_nulls_in_join |
Quando ativada, essa propriedade reduz a sobrecarga do processamento de valores NULL durante operações JOIN, o que é particularmente benéfico ao lidar com colunas que contêm um número significativo de NULLs. | Booleano | optimize-nulls-in-join |
||
presto_singlenode_optimizer_default_filter_factor_enabled |
Essa propriedade permite o uso de um valor padrão para estimar o custo dos filtros na otimização da consulta. | Booleano | optimizer.default-filter-factor-enabled |
||
presto_singlenode_optimizer_exploit_constraints |
Essa propriedade permite otimizações de restrições para consultar catálogos que suportam restrições de tabela. | Booleano | optimizer.exploit-constraints |
||
presto_singlenode_query_client_timeout |
Esta propriedade especifica o tempo durante o qual o cluster aguarda sem qualquer comunicação da aplicação cliente, como a CLI, antes de abandonar e cancelar a consulta ou o trabalho em andamento. | String (Duração) | query.client.timeout |
||
presto_singlenode_query_max_execution_time |
Essa propriedade especifica o tempo máximo permitido para uma consulta ser executada ativamente no cluster antes de ser encerrada. | String (Duração) | query.max-execution-time |
||
presto_singlenode_query_max_history |
Esta propriedade refere-se ao número máximo de consultas a manter no histórico de consultas para fornecer estatísticas e outras informações. Se esse valor for atingido, as consultas serão removidas com base na idade | Número Inteiro | query.max-history |
||
presto_singlenode_query_max_length |
O número máximo de caracteres permitido para o texto da consulta SQL. Consultas mais longas não são processadas e são encerradas com erro. | Número Inteiro | query.max-length |
||
presto_singlenode_shutdown_grace_period |
Esta propriedade especifica o tempo que o sistema aguarda após receber uma solicitação de desligamento antes de iniciar o processo de desligamento. Durante esse período de carência, o sistema continua a funcionar normalmente, permitindo que as tarefas ativas em andamento sejam concluídas. | String (Duração) | shutdown.grace-period |
||
presto_singlenode_experimental_max_spill_per_node |
Esta propriedade refere-se ao espaço máximo de transbordamento a ser usado por todas as consultas em um único nó. (quando a memória alocada para o processamento da consulta é excedida.) | Unidades de bytes | experimental.max-spill-per-node |
||
presto_singlenode_experimental_query_max_spill_per_node |
Esta propriedade refere-se ao espaço máximo de spill a ser usado por uma única consulta em um único nó. | Unidades de bytes | experimental.query-max-spill-per-node |
||
presto_singlenode_experimental_spiller_max_used_space_threshold |
Esta propriedade define um limite para a proporção de uso do espaço em disco. Se o uso exceder esse valor, esse caminho de transbordamento não será elegível para transbordamento. | Duplo | experimental.spiller-max-used-space-threshold |
||
presto_singlenode_experimental_spiller_spill_path |
Esta propriedade especifica um diretório onde o conteúdo derramado é gravado. Pode ser uma lista separada por vírgulas para distribuir simultaneamente para vários diretórios, o que ajuda a utilizar várias unidades instaladas no sistema. (Recomenda-se evitar o despejo em unidades do sistema e garantir que as operações de despejo não interfiram na operação da JVM ou no desempenho do disco.) | Sequência | experimental.spiller-spill-path |
||
presto_singlenode_httpserver_max_request_header_size |
Esta propriedade é usada para definir o tamanho máximo do cabeçalho da solicitação que http é suportado. |
Tamanho dos dados | 16kB | httpserver.max_request_header_size |
Y |
presto_singlenode_httpserver_max_response_header_size |
Esta propriedade é usada para definir o tamanho máximo do cabeçalho de resposta que http o suporta. |
Tamanho dos dados | 16kB | httpserver.max_response_header_size |
Y |
Para obter mais informações sobre como personalizar as propriedades Presto, consulte Personalização.