Modifica delle impostazioni dei parametri del kernel

Per modificare le impostazioni dei parametri del kernel:

1. Accedi al cpd-cli cluster Red Hat OpenShift Container Platform :

   ${CPDM_OC_LOGIN}

2. Verificare se sul cluster è kubeletconfig presente un :

   oc get kubeletconfig

3. Eseguire l'azione appropriata in base al fatto che il comando restituisca il nome di un kubeletconfig:
   • Se il comando precedente restituisce un valore esistente kubeletconfig:
     1. Imposta la variabile KUBELET_CONFIG di ambiente con il nome di quello esistente kubeletconfig:

        export KUBELET_CONFIG=<kubeletconfig-name>

     2. Esegui il seguente comando per applicare la patch kubeletconfig:

        oc patch kubeletconfig ${KUBELET_CONFIG} \
        --type=merge \
        --patch='{"spec":{"kubeletConfig":{"allowedUnsafeSysctls":["kernel.msg*", "kernel.shm*", "kernel.sem"]}}}'

   • Se il comando precedente restituisce No resources found, eseguire il apply-db2-kubelet comando:

     cpd-cli manage apply-db2-kubelet

Prima di installare i servizi sul cluster, assicurarsi di aver completato la procedura di specificazione dei privilegi con cui Db2U viene eseguito.

Decidi se intendi distribuire i servizi su nodi dedicati. Con i nodi dedicati, è possibile limitare la regolazione dei nodi a quelli su cui verrà eseguito il servizio o i servizi.

Per ulteriori informazioni sulla configurazione dei nodi dedicati, consulta Configurazione dei nodi dedicati per la tua Db2 Warehouse distribuzione.

Il ti aiuta Node Tuning Operator a gestire la messa a punto a livello di nodo orchestrando il demone ottimizzato. Tuned è un servizio di ottimizzazione del sistema per Linux®. Il cuore di Tuned sono i profili, che ottimizzano il sistema per diversi casi d'uso. Oltre all'applicazione statica delle impostazioni di sistema, Tuned può anche monitorare il sistema e ottimizzarne le prestazioni su richiesta in base al profilo applicato.

Tuned viene distribuito con una serie di profili predefiniti. Tuttavia, è anche possibile modificare le regole definite per ciascun profilo e personalizzare come e cosa ottimizzare. Tuned supporta vari tipi di configurazione di sistema, come sysctl, sysfs e parametri di avvio del kernel. Per ulteriori informazioni, consultare Monitoraggio e gestione dello stato e delle prestazioni del sistema e Il progetto Tuned.

Il Node Tuning Operator fornisce un'interfaccia di gestione unificata agli utenti a livello di nodo sysctls e offre maggiore flessibilità per aggiungere personalizzazioni.

L'operatore gestisce il demone ottimizzato containerizzato per Red Hat OpenShift Container Platform come KubernetesDaemonSet. Assicura che le specifiche di ottimizzazione personalizzate vengano trasmesse a tutti i demoni ottimizzati containerizzati che girano nel cluster nel formato che i demoni capiscono. I demoni vengono eseguiti su tutti i nodi del cluster, uno per ogni nodo.

Il Node Tuning Operator fa parte di un'installazione Red Hat OpenShift Container Platform standard. Per ulteriori informazioni, consultare la sezione Utilizzo di Node Tuning Operator nella Red Hat OpenShift documentazione:

• Versione 4.14
• Versione 4.16
• Versione 4.17
• Versione 4.18
• Versione 4.19
• Versione 4.20

È possibile utilizzare il Node Tuning Operator tramite uno dei seguenti metodi:

Creazione di un file di risorse personalizzato

Il metodo delle risorse personalizzate richiede il calcolo manuale di tutti i parametri del kernel IPC necessari.

1. Crea un file di Tuned risorse personalizzato.

   Utilizza le seguenti indicazioni per modificare il contenuto del file delle risorse personalizzate:

   • È necessario calcolare i valori dei parametri del kernel IPC indicati con < ...>. Utilizza le formule riportate nei requisiti dei parametri del kernel ( Linux ).
   • Utilizza il memory.resource limite che intendi applicare alla distribuzione come size of RAM se il tuo pool di Kubernetes nodi worker fosse eterogeneo.
   • L'etichetta di icp4data corrispondenza e il valore corrispondente sono richiesti solo per le distribuzioni dedicate.
     • Se si utilizzano nodi dedicati, la regolazione del kernel IPC viene applicata solo sui nodi worker etichettati.
     • Se non utilizzi nodi dedicati, rimuovi le seguenti righe dalla risorsa personalizzata:

           - label: icp4data
             value: database-db2wh

   • La risorsa personalizzata inietta le modifiche sysctl IPC sopra le impostazioni predefinite del profilo ottimizzato sui nodi OpenShift di lavoro.

   Il seguente file YAML di esempio descrive la struttura di base necessaria per creare la risorsa personalizzata per Node Tuning Operator un'istanza in grado di ottimizzare i parametri del kernel IPC.

   apiVersion: tuned.openshift.io/v1
   kind: Tuned
   metadata:
     name: db2u-ipc-tune
     namespace: openshift-cluster-node-tuning-operator
   spec:
     profile:
     - name: openshift-db2u-ipc
       data: |
         [main]
         summary=Tune IPC Kernel parameters on OpenShift nodes running Db2U engine PODs
         include=openshift-node
   
         [sysctl]
         kernel.shmmni = <shmmni>
         kernel.shmmax = <shmmax>
         kernel.shmall = <shmall>
         kernel.sem = <SEMMSL> <SEMMNS> <SEMOPM> <SEMMNI>
         kernel.msgmni = <msgmni>
         kernel.msgmax = <msgmax>
         kernel.msgmnb = <msgmnb>
   
     recommend:
     - match:
       - label: node-role.kubernetes.io/worker
       - label: icp4data
         value: database-db2wh
       priority: 10
       profile: openshift-db2u-ipc

2. Salva la risorsa personalizzata come file YAML. Ad esempio: /tmp/Db2UnodeTuningCR.yaml.
3. Accedi al cluster come amministratore del cluster e crea la risorsa personalizzata:

   oc create -f /tmp/Db2UnodeTuningCR.yaml

Potrebbero essere necessari alcuni minuti per la creazione della risorsa personalizzata e per l'applicazione del profilo IPC personalizzato sui nodi di lavoro.

Creazione di uno script shell

Lo script shell consente di generare un file YAML che è possibile installare, distribuire ed eseguire sul cluster di OpenShift destinazione.

Lo script shell calcola automaticamente i parametri del kernel IPC richiesti.

Il seguente script shell di esempio può essere utilizzato per eseguire le seguenti operazioni:

• Genera un file YAML che puoi installare, distribuire ed eseguire sul cluster di OpenShift destinazione.
• Elimina la risorsa personalizzata e pulisci i profili ottimizzati distribuiti.

Il campione presuppone che lo script sia salvato come /root/script/crtNodeTuneCR.sh.

#!/bin/bash

# Compute IPC kernel parameters as per IBM Documentation topic
# https://www.ibm.com/support/knowledgecenter/SSEPGG_11.1.0/com.ibm.db2.luw.qb.server.doc/doc/c0057140.html
# and generate the Node Tuning Operator CR yaml.

tuned_cr_yaml="/tmp/Db2UnodeTuningCR.yaml"
mem_limit_Gi=0
node_label=""
cr_name="db2u-ipc-tune"
cr_profile_name="openshift-db2u-ipc"
cr_namespace="openshift-cluster-node-tuning-operator"
create_cr="false"
delete_cr="false"

usage() {
    cat <<-USAGE #| fmt
    Usage: $0 [OPTIONS] [arg]

    OPTIONS:
    =======
    * -m|--mem-limit mem_limit  : The memory.limit (Gi) to be applied to Db2U deployment.
    * [-l|--label node_label]   : The node label to use for dedicated Cp4D deployments.
    * [-f|--file yaml_output]   : The NodeTuningOperator CR YAML output file. Default /tmp/Db2UnodeTuningCR.yaml.
    * [-c|--create]             : Create the NodeTuningOperator CR ${cr_name} using the generated CR yaml file.
    * [-d|--delete]             : Delete the NodeTuningOperator CR ${cr_name}.
    * [-h|--help]               : Display the help text of the script.
USAGE
}

[[ $# -lt 1 ]] && { usage && exit 1; }

while [[ $# -gt 0 ]]; do
    case "$1" in
        -f|--file) shift; tuned_cr_yaml=$1
        ;;
        -m|--mem-limit) shift; mem_limit_Gi=$1
        ;;
        -l|--label) shift; node_label=$1
        ;;
        -c|--create) create_cr="true"
        ;;
        -d|--delete) delete_cr="true"
        ;;
        -h|--help) usage && exit 0
        ;;
        *) usage && exit 1
        ;;
	esac
	shift
done

((ram_in_BYTES=mem_limit_Gi * 1073741824))
((ram_GB=ram_in_BYTES / (1024 * 1024 * 1024)))
((IPCMNI_LIMIT=32 * 1024))
tr ' ' '\n' < /proc/cmdline | grep -q ipcmni_extend && ((IPCMNI_LIMIT=8 * 1024 * 1024))

#
### =============== functions ================ ###
#
# Compute the required kernel IPC parameter values
compute_kernel_ipc_params() {
    local PAGESZ=$(getconf PAGESIZE)

    # Global vars
    ((shmmni=256 * ram_GB))
    shmmax=${ram_in_BYTES}
    ((shmall=2 * (ram_in_BYTES / PAGESZ)))
    ((msgmni=1024 * ram_GB))
    msgmax=65536
    msgmnb=${msgmax}
    SEMMSL=250
    SEMMNS=256000
    SEMOPM=32
    SEMMNI=${shmmni}

    # RH bugzilla https://access.redhat.com/solutions/4968021. Limit SEMMNI, shmmni and msgmni to the max
    # supported by the Linux kernel -- 32k (default) or 8M if kernel boot parameter 'ipcmni_extend' is set.
    ((SEMMNI=SEMMNI < IPCMNI_LIMIT ? SEMMNI : IPCMNI_LIMIT))
    ((shmmni=shmmni < IPCMNI_LIMIT ? shmmni : IPCMNI_LIMIT))
    ((msgmni=msgmni < IPCMNI_LIMIT ? msgmni : IPCMNI_LIMIT))
}

# Generate NodeTuning Operator YAML file
gen_tuned_cr_yaml() {
    # Generate YAML file for NodeTuning CR and save as ${tuned_cr_yaml}
    cat <<-EOF > ${tuned_cr_yaml}
apiVersion: tuned.openshift.io/v1
kind: Tuned
metadata:
  name: ${cr_name}
  namespace: ${cr_namespace}
spec:
  profile:
  - name: ${cr_profile_name}
    data: |
      [main]
      summary=Tune IPC Kernel parameters on OpenShift nodes running Db2U engine PODs
      include=openshift-node

      [sysctl]
      kernel.shmmni = ${shmmni}
      kernel.shmmax = ${shmmax}
      kernel.shmall = ${shmall}
      kernel.sem = ${SEMMSL} ${SEMMNS} ${SEMOPM} ${SEMMNI}
      kernel.msgmni = ${msgmni}
      kernel.msgmax = ${msgmax}
      kernel.msgmnb = ${msgmnb}

  recommend:
  - match:
    - label: node-role.kubernetes.io/worker
EOF

    # Add the optional dedicated label into match array
    if [[ -n "${node_label}" ]]; then
        cat <<-EOF >> ${tuned_cr_yaml}
    - label: icp4data
      value: ${node_label}
EOF
    fi

    # Add the priority and profile keys
    cat <<-EOF >> ${tuned_cr_yaml}
    priority: 10
    profile: ${cr_profile_name}
EOF

    [[ "${create_cr}" == "true" ]] && return
    cat <<-MSG
===============================================================================
* Successfully generated the Node Tuning Operator Custom Resource Definition as
  ${tuned_cr_yaml} YAML with Db2U specific IPC sysctl settings.

* Please run 'oc create -f ${tuned_cr_yaml}' on the master node to
  create the Node Tuning Operator CR to apply those customized sysctl values.
===============================================================================
MSG
}

create_tuned_cr() {
    echo "Creating the Node Tuning Operator Custom Resource for Db2U IPC kernel parameter tuning ..."
    oc create -f ${tuned_cr_yaml}
    sleep 2

    # List the NodeTuning CR and describe
    oc -n ${cr_namespace} get Tuned/${cr_name}
    echo ""

    echo "The CR of the Node Tuning Operator deployed"
    echo "--------------------------------------------"
    oc -n ${cr_namespace} describe Tuned/${cr_name}
    echo ""
}

delete_tuned_cr() {
    echo "Deleting the Node Tuning Operator Custom Resource used for Db2U IPC kernel parameter tuning ..."
    oc -n ${cr_namespace} get Tuned/${cr_name} --no-headers -ojsonpath='{.kind}' | grep -iq tuned || \
        { echo "No matching CR found ..." && exit 0; }
    oc -n ${cr_namespace} delete Tuned/${cr_name}
    echo ""
    sleep 2

    # Get the list of containerized tuned PODs (DaemonSet) deployed on the cluster
    local tuned_pods=( $(oc -n ${cr_namespace} get po --selector openshift-app=tuned --no-headers -ojsonpath='{.items[*].metadata.name}') )
    # Remove the tuned profile directory deployed on those PODs
    for p in "${tuned_pods[@]}"; do
        echo "Removing the installed tuned profile ${cr_profile_name} on POD: $p"
        oc -n ${cr_namespace} exec -it $p -- bash -c "rm -fr /etc/tuned/${cr_profile_name}"
    done
    echo ""
}

#
### ================== Main ==================== ###
#

[[ "${delete_cr}" == "true" ]] && { delete_tuned_cr && exit 0; }

compute_kernel_ipc_params

gen_tuned_cr_yaml

[[ "${create_cr}" == "true" ]] && create_tuned_cr

Prima di installare i servizi sul cluster, assicurarsi di aver completato la procedura di specificazione dei privilegi con cui Db2U viene eseguito.