Diferencias para "cluster/clustertalca3"

Clustertalca:

Características:

Nodos disponibles

ssh user@ip-servidor

scp fichero.local user@alias-servidor:

Software

El equipo tiene un sistema de colas llamado SLURM que cumple la labor de organizar, priorizar los trabajos enviados por los usuarios.

El listado completo de aplicaciones que existen en el cluster lo puede encontrar en el siguiente directorio: /cm/shared/apps

En el caso de requerir una versión en particular puede instalar en su espacio personal y cambiar las variables de entorno del sistema para que sea visualizada la aplicación y sus dependencias

export PATH=NEW_PATH:$PATH

export LD_LIBRARY_PATH=NEW_LIBRARY_PATH:$LD_LIBRARY_PATH

En donde:

• NEW_PATH es la ubicación de los binarios o ejecutables de la aplicación instalada
• LD_LIBRARY_PATH son las librerías para que los binarios o ejecutable puedan arrancar

Esto también lo debe conocer SLURM, por lo que se debe agregar al script a ejecutar.

Namd

La versión instalada es 2.13y 2.14 y están ubicadas en su propio directorio en la ruta de: /cm/shared/apps/NAMD/

Existen las variantes de NAMD para uso de solo GPU, GPU + Infiniband y CPU + Infiniband.

Archivo SLURM NAMD utilizando NAMD 2.13

#!/bin/sh
#SBATCH --job-name namd
#SBATCH -o slurm-gpu-job.out
#SBATCH -p defq
#SBATCH --gres=gpu:2
#SBATCH --ntasks=12
#SBATCH --time 36:00:00
#SBATCH --error=error.log
#SBATCH --output=output
# choose version of NAMD to use
# VERSION=2.13
NAMD_DIR=/cm/shared/apps/NAMD/2.13/CUDA

# execute

##################################################################
#CONFIG: change this
jobcfg=<entrada>
jobout=<salida>
#END CONFIG
##################################################################
${NAMD_DIR}/namd2 +idlepoll +p $SLURM_NTASKS ${jobcfg} +isomalloc_sync >& ${jobout}

wait

Descarga el archivo

Información NAMD GPU

Importante

Fijarse en las lineas del archivo slurmnamd.sh

#SBATCH --ntasks=32

Esta indica la cantidad de procesadores a utilizar, en este caso se utilizarán 32 procesadores

#SBATCH --gres=gpu:2

Con está linea indica la cantidad de GPU a utilizar, para el caso serían 2

#SBATCH --time 36:00:00

Esta linea indica el tiempo total de ejecución (horas, minutos, segundos) para este caso el tiempo máximo de ejecución es de 36 horas.

jobcfg=<entrada>
jobout=<salida>

La entrada y la salida del trabajo a realizar

NAMD_DIR=/cm/share/apps/NAMD/2.13/CUDA

Esta linea indica la versión de NAMD a utilizar, en este caso seria la 2.13. Otras opciones para utilizar:

• /cm/share/apps/NAMD/2.13/CUDA-ib -> CUDA + Infiniband

• /cm/share/apps/NAMD/2.13/CPU-ib -> NAMD sólo CPU + Infiniband

#SBATCH -w node001

En caso de necesitar distribuir un trabajo en un nodo en particular, agregar la linea anterior en donde node001 referencia al nodo1. Los nodos disponibles van desde node00[1-8]

La ejecución

Una vez editado el archivo slurmnamd.sh procedemos a ejecutar utilizando el comando sbatch

sbatch slurmnamd.sh

Y podemos hacer el seguimiento utilizando el comando squeue

squeue

Desmond Schrodinger

Se encuentra instalado la versión 2018.1 y 2019.1 en el directorio /cm/shared/apps/desmond/

Ejecutar

Primero y muy importante para la ejecución es exportar la variable de entorno SCHRODINGER para la sesión:

export SCHRODINGER=/cm/shared/apps/desmond/<version>

en donde "version" será la versión a ejecutar.

El siguiente paso es pasar la linea que se obtiene del archivo cfg (se genera al crear las condiciones de la simulación) y adaptarlo al cluster

$SCHRODINGER/utilities/multisim -JOBNAME <nombre_trabajo> -HOST bright81 -maxjob 0 -cpu <total_cpu> -m <entrada.msj> -c <archivo_configuracion.cfg> -o <salida>.cms <archivo-cms>.cms -mode umbrella -set 'stage[1].set_family.md.jlaunch_opt=["-gpu"]' -ATTACHED

En donde:

• nombre_trabajo refiere al nombre que usaremos para identificar en PBS
• total_cpu es el total de CPU para el trabajo, puede ser del modo "4 4 4" (simplemente explicado como 4x4x4=64) o del modo "64".
• entrada.msj, archivo_configuracion.cfg salida.cms, archivo-cms, son todos archivos necesarios de SCHRODINGER Desmond.
• El -mode umbrella es muy importante, puesto a que este parámetro le dice a la aplicación se que ejecutará en modo paralelo.
• -set 'stage[1].set_family.md.jlaunch_opt=["-gpu"]' permite el uso de GPU.

Importante es saber que Schrodinger desmond solo permite el uso de una GPU.

Ejecutado la linea anterior podemos hacer el seguimiento utilizando el comando squeue

squeue

Amber

Se encuentra instalado la versión 16 y 20 de Amber

Ejecutar Amber 20

Para poder ejecutar de un modo correcto Amber se recomienda realizarlo mediante el siguiente script

GPU

#!/bin/bash
#SBATCH --output=sout.%j
#SBATCH --error=error.%j
#SBATCH --time=504:00:00
#SBATCH -n 16
#SBATCH --gres=gpu:1

# unload default modules
unset AMBERHOME
module purge > /dev/null 2>&1

# load modules
module load amber/20
module load cuda10.0/toolkit/10.0.130
module load gcc/6.5.0

# RUN GPU
$AMBERHOME/bin/pmemd.cuda -O -i mdin.GPU -o mdout -p ../Topologies/Cellulose.prmtop -c ../Coordinates/Cellulose.inpcrd

El script anterior está preparado para correr con 16 CPU y 1 GPU, si se desea cambiar la configurar de CPU se debe editar el parámetro de -n (#SBATCH -n 16) por el número deseado.

El número de GPU siempre será 1.

MULTI-GPU

#!/bin/bash
#SBATCH --output=sout.%j
#SBATCH --error=error.%j
#SBATCH --time=504:00:00
#SBATCH -n 16
#SBATCH --gres=gpu:2

# unload default modules
unset AMBERHOME
module purge > /dev/null 2>&1

# load modules
module load amber/20
module load cuda10.0/toolkit/10.0.130
module load gcc/6.5.0

N_GPU=`echo ${SLURM_JOB_GPUS//,}|awk -F, '{print length}'`
echo $N_GPU

# RUN GPU
srun -n $N_GPU $AMBERHOME/bin/pmemd.cuda -O -i mdin.GPU -o mdout -p ../Topologies/Cellulose.prmtop -c ../Coordinates/Cellulose.inpcrd

El script anterior está preparado para correr con 16 CPU y 2 GPU, si se desea cambiar la configurar de CPU se debe editar el parámetro de -n (#SBATCH -n 16) por el número deseado.

Para utilizar multiple GPU debe editar el parámetro de #SBATCH --gres=gpu:2 en donde el número 2 debe ser reemplazado por el número deseado y en la instrucción de srun -n indicará el número de GPU a utilizar.

CPU

#!/bin/bash
#SBATCH --output=sout.%j
#SBATCH --error=error.%j
#SBATCH --time=504:00:00
#SBATCH -n 16
#SBATCH --gres=gpu:1

# unload default modules
unset AMBERHOME
module purge > /dev/null 2>&1

# load modules
module load amber/20
module load cuda10.0/toolkit/10.0.130
module load gcc/6.5.0

# RUN CPU
mpirun $AMBERHOME/bin/pmemd.MPI -O -i mdin.CPU -o mdout -p ../Topologies/Cellulose.prmtop -c ../Coordinates/Cellulose.inpcrd

El script anterior está preparado para correr con 16 CPU, si se desea cambiar la configurar de CPU se debe editar el parámetro de -n (#SBATCH -n 16) por el número deseado.

Ejecutar Amber 16

Para poder ejecutar de un modo correcto Amber se recomienda realizarlo mediante el siguiente script

GPU

#!/bin/bash
#SBATCH --output=sout.%j
#SBATCH --error=error.%j
#SBATCH --time=504:00:00
#SBATCH -n 16
#SBATCH --gres=gpu:1


# load modules

# RUN GPU
$AMBERHOME/bin/pmemd.cuda -O -i mdin.GPU -o mdout -p ../Topologies/Cellulose.prmtop -c ../Coordinates/Cellulose.inpcrd

El script anterior está preparado para correr con 16 CPU y 1 GPU, si se desea cambiar la configurar de CPU se debe editar el parámetro de -n (#SBATCH -n 16) por el número deseado.

El número de GPU siempre será 1.

CPU

#!/bin/bash
#SBATCH --output=sout.%j
#SBATCH --error=error.%j
#SBATCH --time=504:00:00
#SBATCH -n 16
#SBATCH --gres=gpu:1

# RUN CPU
mpirun $AMBERHOME/bin/pmemd.MPI -O -i mdin.CPU -o mdout -p ../Topologies/Cellulose.prmtop -c ../Coordinates/Cellulose.inpcrd

El script anterior está preparado para correr con 16 CPU, si se desea cambiar la configurar de CPU se debe editar el parámetro de -n (#SBATCH -n 16) por el número deseado.

Referencia: https://www.nvidia.com/es-la/data-center/gpu-accelerated-applications/amber/