Configure LSF para ejecutar trabajos de transferencia de datos directos (por ejemplo, almacenamiento intermedio de separación CAST de IBM ).
Procedimiento
- Edite el archivo lsf.conf y defina los parámetros de transferencia de datos directos.
#To support stage in/out
LSB_STAGE_IN_EXEC=bb_pre_exec.sh #bb_pre_exec.sh should be stored under $LSF_SERVERDIR
LSB_STAGE_OUT_EXEC=bb_post_exec.sh #bb_post_exec.sh should be stored under $LSF_SERVERDIR
LSB_STAGE_STORAGE=vg_available_size
LSB_STAGE_TRANSFER_RATE=0.2 #trickle rate for file transfer.
- Edite el archivo lsb.params y defina los parámetros de transferencia de datos directos que habilitan el planificador de asignación.
ALLOCATION_PLANNER=WINDOW[6000]
- Edite el archivo lsb.queues y configure la transferencia de datos y las colas de trabajos de datos.
Cola de transferencia de datos:
Begin Queue
QUEUE_NAME = transfer
PRIORITY = 99999
DATA_TRANSFER = Y
PLAN=N
HOSTS = <node_name> # Can be a launch node must have burst buffer rpm installed
End Queue
# Note: Do not submit jobs to this queue.
Cola de trabajos de datos:
Begin Queue
QUEUE_NAME = bbq
PLAN = Y
JOB_CONTROLS = SUSPEND[bmig $LSB_BATCH_JID]
RERUNNABLE = Y
End Queue
- Reinicie el daemon mbatchd para aplicar los cambios.
- Verifique que los parámetros de clúster y cola de LSF sean correctos.
Por ejemplo:
bqueues transfer bbq
bparams -a