Presto (Java) 싱글노드

Presto (Java) singlenode에 대해 사용자 정의할 수 있는 속성은 다음과 같습니다.
표 1. watsonx.data 구성 요소: Presto (Java) singlenode
특성 설명 유형 기본값 / 기본 설정 시스템 특성 컨테이너 재시작이 필요합니다
presto_singlenode_resources_limits_cpu Presto (Java) 싱글노드 컨테이너의 리소스 CPU 제한은 이만큼의 CPU만 사용할 수 있도록 허용됩니다. Kubernetes CPU 유닛 small: 3; small_mincpureq: 3; medium: 6; large: 9; xlarge: 12; xxlarge: 12 resources.limits.cpu N
presto_singlenode_resources_limits_memory Presto (Java) 단일 노드 컨테이너의 리소스 메모리 제한은 이만큼의 메모리만 사용할 수 있습니다. 바이트 단위
참고: 메모리 유닛에 대한 자세한 내용은 메모리 리소스 유닛을 참조하십시오.
small: 24G; small_mincpureq: 24G; medium: 48G; large: 72G; xlarge: 96G; xxlarge: 96G resources.limits.memory N
presto_singlenode_resources_limits_ephemeral_storage 이 매개변수는 단일 노드 Pod ( Presto, Java) 내 컨테이너가 사용할 수 있는 로컬 임시 저장소의 최대 용량을 설정합니다. 바이트 단위 small: 10G; small_mincpureq: 10G; medium: 10G; large: 10G; xlarge: 10G; xxlarge: 10G resources.limits.ephemeral-storage N
presto_singlenode_resources_requests_cpu Presto (Java) 단일 노드에 대한 리소스 CPU 요청. Kubernetes CPU 유닛 small: 3; small_mincpureq: 0.005; medium: 6; large: 9; xlarge: 12; xxlarge: 12 resources.requests.cpu N
presto_singlenode_resources_requests_memory Presto (Java) 싱글노드에 대한 리소스 메모리 요청. 바이트 단위
참고: 메모리 유닛에 대한 자세한 내용은 메모리 리소스 유닛을 참조하십시오.
small: 24G; small_mincpureq: 24G; medium: 48G; large: 72G; xlarge: 96G; xxlarge: 96G resources.requests.memory N
presto_singlenode_resources_requests_ephemeral_storage 이 매개변수는 단일 노드 Pod ( Presto, Java) 내 컨테이너에 대해 로컬 임시 저장소의 최소/보장 용량을 설정합니다. 바이트 단위 small: 500Mi; small_mincpureq: 500Mi; medium: 1G; large: 1G; xlarge: 1G; xxlarge: 1G resources.request.ephemeral-storage N
presto_singlenode_jvm_Xmx Xmx는 Java 가상 머신(JVM)의 최대 메모리 할당 풀을 지정합니다. -   jvm.config.Xmx Y
presto_singlenode_task_concurrency 조인 및 집계와 같은 병렬 연산자에 대한 기본 로컬 동시성. 숫자(2의 거듭제곱이어야 함)   config.properties.task.concurrency Y
presto_singlenode_query_max_memory 쿼리가 전체 클러스터에서 사용할 수 있는 최대 사용자 메모리 양. 데이터 크기 1TB config.properties.query.max-memory Y
presto_singlenode_query_max_memory_per_node 쿼리가 작업자에서 사용할 수 있는 최대 사용자 메모리 양. 데이터 크기 presto_singlenode_jvm_Xmx*0.795 config.properties.query.max-memory-per-node Y
presto_singlenode_query_max_total_memory_per_node 쿼리가 작업자에서 사용할 수 있는 사용자 및 시스템 메모리의 최대 용량. 데이터 크기 presto_singlenode_jvm_Xmx*0.795 config.properties.query.max-total-memory-per-node Y
presto_singlenode_query_max_concurrent_queries 단일 클러스터 노드에서 동시에 처리할 수 있는 쿼리 수를 설명합니다. 정수   config.properties.query.max-concurrent-queries Y
presto_singlenode_memory_heap_headroom_per_node 이것은 가비지 컬렉션( Presto )에 의해 추적되지 않는 할당을 위해 JVM 힙에 헤드룸/버퍼로 할당된 메모리 양입니다. 데이터 크기 presto_singlenode_jvm_Xmx*0.2 config.properties.query.memory.heap-headeroom-per-node Y
presto_singlenode_query_max_total_memory 전체 클러스터에서 쿼리가 사용할 수 있는 사용자 및 시스템 메모리의 최대 용량. 데이터 크기 2TB config.properties.query.max-total-memory Y
presto_singlenode_experimental_optimized_repartitioning 단계 간 데이터 재분할 성능 향상 부울 true experimental.optimized-repartitioning Y
presto_singlenode_experimental_pushdown_dereference_enabled 중첩된 데이터 쿼리를 위한 해제 표현식의 하위 전달(pushdown) 지원 추가. 부울   experimental.pushdown-dereference-enabled Y
presto_singlenode_experimental_pushdown_subfields_enabled 중첩된 데이터 쿼리를 위한 하위 필드 표현식의 하위 필드 표현식 푸시다운 지원 추가. 부울   experimental.pushdown-subfields-enabled Y
presto_singlenode_join_max_broadcast_table_size AUTOMATIC 조인 분산 유형 사용 시 브로드캐스트 가능한 테이블의 최대 예상 크기를 제어하기 위해 join-max-broadcast-table-size 구성 속성과 join_max_broadcast_table_size 세션 속성을 추가합니다. 정수   join-max-broadcast-table-size Y
presto_singlenode_node_scheduler_max_pending_splits_per_task 쿼리의 단일 단계에서 각 싱글노드 노드에 대해 대기열에 추가할 수 있는 표준 분할 가중치를 가진 미처리 분할의 수. 이는 해당 노드가 이미 총 분할 수의 한계에 도달한 경우에도 적용됩니다. 각 단계에서 최소 분할 횟수를 허용하는 것은 기아 현상과 교착 상태를 방지하기 위해 필요합니다. 이 값은 보다 작아야 node-scheduler.max-splits-per-node 하며, 동일한 이유로 일반적으로 증가될 것이며, 너무 높게 설정할 경우 유사한 단점이 발생합니다. 정수   node-scheduler.max-pending-splits-per-task Y
presto_singlenode_optimizer_prefer_partial_aggregation 이 속성은 이점이 없는 쿼리에 대해 부분 집계를 비활성화할 수 있도록 합니다. 부울   optimizer.prefer-partial-aggregation Y
presto_singlenode_query_execution_policy 쿼리의 모든 단계 처리를 구성하는 알고리즘을 설정합니다. 문자열 phased query.execution-policy Y
presto_singlenode_query_low_memory_killer_policy 클러스터가 메모리 부족(OOM) 상태일 때 종료할 쿼리를 선택하는 데 사용되는 정책. 이 속성은 다음 값 중 하나를 가질 수 있습니다: none, total-reservation, 또는 total-reservation-on-blocked-nodes. none은 클러스터 OOM 킬러를 비활성화합니다. 총 예약 값은 클러스터 전체에서 가장 큰 메모리 예약을 가진 쿼리를 종료하는 정책을 구성합니다. configures total-reservation-on-blocked-nodes 값은 메모리 부족 상태(차단됨)인 작업자에서 가장 많은 메모리를 사용하는 쿼리를 종료하는 정책을 구성합니다. 문자열 total-reservation-on-blocked-nodes query.low-memory-killer.policy Y
presto_singlenode_query_max_stage_count 쿼리의 단계 수에 제한을 추가합니다. 기본값은 100이며, 구성 query.max-stage-count 속성 및 세션 query_max_stage_count 속성을 통해 변경할 수 있습니다. 정수 2억 query.max-stage-count Y
presto_singlenode_query_min_schedule_split_batch_size 배치별 스케줄링 시 고려할 최소 분할 횟수를 설정하기 위해 config 플래그를 query.min-schedule-split-batch-size 추가하십시오. 부울   query.min-schedule-split-batch-size Y
presto_singlenode_query_stage_count_warning_threshold 쿼리별 단계 수에 대한 임계값을 지정하기 위해 config ox`ption (query.stage-count-warning-threshold)을 추가하십시오. 이 임계값을 초과하면 경고가 TOO_MANY_STAGES 발생합니다. 정수 150 query.stage-count-warning-threshold Y
presto_singlenode_scale_writers 클러스터에서 라이터 작업의 수를 동적으로 증가시켜 라이터 확장 기능을 활성화합니다. 부울   scale-writers Y
presto_singlenode_sink_max_buffer_size 파이프라인 결과 수집 중 IO 쓰기용 버퍼 크기. 더 높은 값은 추가 메모리 비용을 대가로 IO 작업 속도를 높일 수 있습니다. 또한 값이 높아질수록 프레스토 노드 장애 시 손실되는 데이터 수가 증가하여 불안정한 환경에서 IO 속도가 효과적으로 저하될 수 있습니다. 정수   sink.max-buffer-size Y
presto_singlenode_experimental_max_revocable_memory_per_node 쿼리가 각 노드에서 사용할 수 있는 취소 가능 메모리의 양. 바이트 단위   experimental.max-revocable-memory-per-node Y
presto_singlenode_experimental_reserved_pool_enabled 이 속성은 사용자가 자바 런타임 환경( Presto ) 에서 예약 풀(Reserved Pool)을 활성화하거나 비활성화할 수 있도록 합니다. 일반 풀이 가득 차면 이 속성은 자바의 가용성 관리( Presto )에서 OOM 킬러를 사용하여 일반 풀의 동시성을 높이고 교착 상태를 방지합니다. 부울 아니오 experimental.reserved-pool-enabled Y
presto_singlenode_ query_min_expire_age 이 속성은 쿼리 메타데이터를 서버에서 제거할 수 있는 최소 시간을 나타냅니다. 문자열 120분 query.min-expire-age Y
presto_singlenode_enable_dynamic_filtering 이 속성은 동적 필터링 및 저장소 정제 지원을 추가함으로써 브로드캐스트 또는 콜로케이션 조인이 포함된 쿼리의 성능을 향상시킵니다. 부울   experimental.enable-dynamic-filtering Y
presto_singlenode_exchange_client_threads 이 속성은 쿼리 실행 중 다른 Presto (Java) 노드에서 데이터를 가져오기 위해 Presto (Java)의 교환 클라이언트가 사용하는 스레드 수를 제어하는 데 도움이 됩니다 정수   exchange.client-threads  
presto_singlenode_exchange_http_client_max_connections   정수   exchange.http-client.max-connections  
presto_singlenode_exchange_http_client_max_requests_queued_per_destination 이 속성은 교환 클라이언트가 각 대상 서버에 대해 대기열에 넣을 수 있는 최대 요청 HTTP 수를 결정합니다. 정수   exchange.http-client.max-requests-queued-per-destination  
presto_singlenode_http_server_log_max_size 이 속성은 서버 구성 HTTP 요소에 의해 생성되는 로그 파일의 최대 파일 크기를 지정합니다. 바이트 단위   http-server.log.max-size  
presto_singlenode_http_server_log_max_history 해당 속성은 서버 구성 HTTP 요소가 오래된 로그 내용을 교체하기 전에 유지하는 로그 파일의 최대 개수를 지정합니다 정수   http-server.log.max-history  
presto_singlenode_http_server_threads_max   정수   http-server.threads.max  
presto_singlenode_log_max_history 이 속성은 로깅 시스템이 오래된 로그를 교체하기 전에 보존하는 일반 애플리케이션 로그 파일의 최대 개수를 나타냅니다. 정수   log.max-history  
presto_singlenode_log_max_size 이 속성은 일반 애플리케이션 로그 파일에 log.max-size 허용되는 최대 파일 크기를 정의합니다. 바이트 단위   log.max-size  
presto_singlenode_node_scheduler_max_splits_per_node 이 속성은 각 작업자 노드에서 동시에 실행될 수 있는 분할 작업의 최대 목표 개수를 지정합니다. 스플릿은 쿼리 내 작업 단위를 나타냅니다. 이 속성을 조정하면 관리자가 리소스 활용도를 최적화할 수 있으며, 특히 대규모 쿼리 배치나 다수의 분할을 생성하는 커넥터가 관련된 시나리오에서 효과적입니다.
주의:
설정값을 너무 높게 presto_singlenode_node_scheduler_max_splits_per_node 설정하면 메모리 사용 효율이 떨어지고 성능이 저하될 수 있습니다.
이상적으로는 항상 처리 대기 중인 분할 작업이 최소한 하나는 있도록 설정해야 하지만, 그 이상은 되어서는 안 됩니다.
정수   node-scheduler.max-splits-per-node  
presto_singlenode_optimize_nulls_in_join 이 속성을 활성화하면 JOIN 작업 중 NULL 값 처리 시 발생하는 오버헤드가 감소하며, 특히 NULL 값이 다수 포함된 열을 다룰 때 유용합니다. 부울   optimize-nulls-in-join  
presto_singlenode_optimizer_default_filter_factor_enabled 이 속성은 쿼리 최적화에서 필터 비용을 추정할 때 기본값을 사용할 수 있도록 합니다. 부울   optimizer.default-filter-factor-enabled  
presto_singlenode_optimizer_exploit_constraints 이 속성은 테이블 제약 조건을 지원하는 카탈로그를 쿼리할 때 제약 조건 최적화를 가능하게 합니다. 부울   optimizer.exploit-constraints  
presto_singlenode_query_client_timeout 이 속성은 클라이언트 애플리케이션(예: CLI)으로부터 통신이 없는 상태에서 클러스터가 진행 중인 쿼리나 작업을 포기하고 취소하기까지 대기하는 시간을 지정합니다. 문자열 (기간)   query.client.timeout  
presto_singlenode_query_max_execution_time 이 속성은 클러스터에서 쿼리가 종료되기 전에 활성 상태로 실행될 수 있는 최대 허용 시간을 지정합니다. 문자열 (기간)   query.max-execution-time  
presto_singlenode_query_max_history 이 속성은 통계 및 기타 정보를 제공하기 위해 쿼리 기록에 보관할 최대 쿼리 수를 나타냅니다. 이 기준에 도달하면, 쿼리는 생성된 시점을 기준으로 제거됩니다 정수   query.max-history  
presto_singlenode_query_max_length SQL 쿼리 텍스트에 허용되는 최대 문자 수. 길이가 긴 쿼리는 처리되지 않으며 오류로 종료됩니다. 정수   query.max-length  
presto_singlenode_shutdown_grace_period 이 속성은 시스템이 종료 요청을 수신한 후 종료 프로세스를 시작하기까지 대기하는 시간을 지정합니다. 이 유예 기간 동안 시스템은 정상적으로 계속 운영되어 진행 중인 활성 작업이 완료될 수 있도록 합니다. 문자열 (기간)   shutdown.grace-period  
presto_singlenode_experimental_max_spill_per_node 이 속성은 단일 노드에서 실행되는 모든 쿼리가 사용할 수 있는 최대 스필 공간을 나타냅니다. (쿼리 처리를 위해 할당된 메모리를 초과할 때.) 바이트 단위   experimental.max-spill-per-node  
presto_singlenode_experimental_query_max_spill_per_node 이 속성은 단일 노드에서 단일 쿼리가 사용할 수 있는 최대 스필 공간을 나타냅니다. 바이트 단위   experimental.query-max-spill-per-node  
presto_singlenode_experimental_spiller_max_used_space_threshold 이 속성은 디스크 공간 사용률의 임계값을 설정합니다. 사용량이 이 값을 초과할 경우, 이 스필 경로는 스필 대상에서 제외됩니다. 이중   experimental.spiller-max-used-space-threshold  
presto_singlenode_experimental_spiller_spill_path 이 속성은 스필된 콘텐츠가 기록되는 디렉터리를 지정합니다. 쉼표로 구분된 목록으로 여러 디렉터리에 동시에 분배할 수 있어, 시스템에 설치된 여러 드라이브를 활용하는 데 도움이 됩니다. 시스템 드라이브로의 스필을 피하고, 스필 작업이 JVM 운영이나 디스크 성능에 방해가 되지 않도록 해야 합니다 문자열   experimental.spiller-spill-path  
presto_singlenode_httpserver_max_request_header_size 이 속성은 지원되는 http 요청 헤더의 최대 크기를 설정하는 데 사용됩니다. 데이터 크기 16kB httpserver.max_request_header_size Y
presto_singlenode_httpserver_max_response_header_size 이 속성은 지원되는 http 응답 헤더의 최대 크기를 설정하는 데 사용됩니다. 데이터 크기 16kB httpserver.max_response_header_size Y

Presto 속성을 사용자 지정하는 방법에 대한 자세한 내용은 사용자 지정을 참조하십시오.