• Inicio
Tabla de Contenidos
Características, políticas e implementación aplicadas a los clúster
Refiere a las políticas instauradas en la implementación de los clúster de la escuela de Ingeniería Civil en Bioinformática.
Acceso y Uso
Todos los Académicos, Funcionarios y estudiantes pudiesen tener acceso a la utilización de los recursos computacionales disponibles por la escuela de Bioinformática.
Solicitud de acceso
Para poder obtener acceso específicamente a los clúster de cálculos computacionales en HPC, los usuarios debiesen pedir autorización a la dirección de carrera justificando las razones del por qué debiese otorgarse el permiso de uso.
Asignación de CPU
Otorgada la autorización el usuario debiese ser encasillarse (rol) en una de las posibilidades para uso en CPU definidas en el cluster. Está se ha estandarizado del siguiente modo:
Rol |
Cantidad de CPU disponible |
Máximo de trabajos en paralelos |
Prioridad de ejecución |
Estudiante de Pregrado |
64 |
1 |
0 |
Estudiante de Postgrado |
80 |
1 |
43200 |
Postgrado Memorista |
96 |
1 |
43200 |
Docentes |
128 |
2 |
86400 |
Asignación de espacio en disco
La definición para todos los usuarios es la asignación de 15GB (soft limit), con la posibilidad de sobrepasarme hasta 20GB por un periodo de 7 días (hard limit).
Límite débil (soft limit): si la cuenta del usuario o del grupo supera el límite débil, se impondrá un período de gracia en el que el usuario podrá reducir la ocupación.
Límite duro (hard limit): se deniega cualquier intento de escribir datos después de este límite.
Período de gracia: tras superar el límite débil, si el usuario no resuelve el problema borrando archivos, la cuenta se bloquea.
El control del espacio en disco será llevado por el paquete "quota".
Para establecer la quota de uso de disco para un usuario se realizará con el programa "edquota", que es un editor de cuotas para usuarios o grupos y que se pueden especificar a través de línea de comandos.
La representación de la imposición de una cuota puede verse en el siguiente ejemplo:
$/sbin/edquote usuarioXXXX Disk quotas for user usuarioXXXX (uid XXX): Filesystem blocks soft hard inodes soft hard /dev/cciss/c0d0p5 32604068 15480000 20480000 401 0 0
En donde:
- 15480000 representa 15GB
- 20480000 representa 20GB
Se puede establecer como referencia este link: http://web.mit.edu/rhel-doc/3/rhel-sag-es-3/ch-disk-quotas.html
Gestor de Colas
Un gestor de colas gestiona trabajos lanzados en una máquina por diferentes usuarios. Para simplificar la configuración al gestor de colas hacia el usuario se ha decidido utilizar solo un nombre o queue para la asociación y denominado talca1 en cada uno de los clúster.
El software de gestión de colas escogido por simplicidad, compatibilidad de software utilizado es PBS.
PBS
PBS (Portable Batch System) es un sistema flexible de balanceo de carga y planificación de tareas, inicialmente fue desarrollado para administrar recursos computacionales de la NASA. PBS ha sido el líder en la administración de recursos y considerado el estándar de facto para los sistemas de planificaciónes bajo sistemas Linux.
La versión utilizada de PBS es parte de TORQUE Resource manager es un software que permite gestionar tareas computacionales, que provee control sobre estas tareas y los recursos computacionales de sistemas distribuidos.
Posee los siguientes componentes:
Servidor: En este caso se llama pbs_server. Permite operaciones básicas como crear, modificar, borrar y ejecutar un trabajo.
Ejecutor: Es un demonio, llamado en nuestro caso pbs_mom, que pone el comando en ejecución cuando recibe una copia del trabajo de el server.
Agendador: Otro demonio que tiene las políticas para decidir que trabajo se ejecuta, donde y cuando. Usamos el agendador MAUI el cual se puede comunicar con varios MOMs para comunicar al servidor el estado de los recursos y para conocer del servidor el estado de los trabajos a ejecutar.
Algunas características más importantes del sistema PBS son:
- Listas de seguridad y control de acceso: El administrador puede permitir o denegar el acceso al sistema PBS basándose en el nombre de usuario, grupo, nodo o dominio de red.
- Registro de tareas: logs detallados de las actividades del sistema mediante el análisis de utilización por usuario, por grupo y por nodo.
- Soporte de tareas paralelas: Permite la utilización de librerías de programación paralela como MPI, PVM, y HPF. Se puede planificar la ejecución de aplicaciones sobre un computador de un sólo procesador o mediante la utilización de múltiples computadores.
- Monitoreo del sistema: Mediante una interfaz gráfica permite realizar un monitoreo completo del ambiente distribuido.
- Soporte para grids: Provee tecnología para grids computacionales y la integración del toolkit Globus.
- Nivel de carga automático: Provee diversas formas de distribuir la carga en los computadores que conforman el cluster, basados en la configuración de hardware, disponibilidad de recursos, actividad del teclado y el manejo de políticas locales.
- Ambiente común de usuario: Ofrece al usuario una visión común de las tareas entregadas y solicitadas, el estado del sistema y seguimiento de tareas.
- Priridad de tareas: Permite a los usuarios especificar prioridades para la asignación de recursos y ejecución de sus tareas.
- Disponibilidad para diferentes plataformas: Permite el soporte de Windows 2000 y XP, junto con la mayoría de versiones de UNIX y Linux, desde estaciones de trabajo y servidores hasta supercomputadores.
La configuración de políticas del servidor PBS por defecto para los clúster de Ingeniería Civil en Bioinformática es la siguiente:
set server scheduling = True set server acl_host_enable = False set server acl_hosts = clustertalca2.utalca.cl set server managers = maui@clustertalca2.utalca.cl set server managers += maui@clustertalca2.local set server managers += root@clustertalca2.utalca.cl set server managers += root@clustertalca2.local set server default_queue = default set server log_events = 511 set server mail_from = adm set server query_other_jobs = True set server scheduler_iteration = 600 set server node_check_rate = 150 set server tcp_timeout = 300 set server job_stat_rate = 45 set server poll_jobs = True set server mom_job_sync = True set server allow_node_submit = True set server next_job_number = 2198 set server server_name = clustertalca2.utalca.cl set server moab_array_compatible = True set server nppcu = 2
Esto es seteado a traves del comando qmgr.
Maui
A pesar de que ya tenemos un gestor de colas, se hace necesario tener un planificador de procesos. Es seleccionado es Maui.
MAUI es un planificador externo integrado en el sistema, que periódicamente itera sobre los trabajos pendientes en el gestor de colas.Cada iteración (cuyo intervalo de tiempo varía en función del parámetro RMP POLL), consulta al gestor de colas el estado de los trabajos en el sistema. A partir de esa información, MAUI ordena los trabajos pendientes de ejecución en función de las políticas de prioridad del sistema, y los ejecuta en el orden de mayor a menor prioridad. Presenta la ventaja de ser de código abierto, lo que ha facilitado su rápido crecimiento, y actualmente es uno de los planificador es más extendidos. Permite ser integrado en la gran mayoría de gestores de colas, tales como PBS, LoadLeveler, SGE y BPROC.
Es totalmente configurable a las necesidades del usuario. Como características destacaremos las siguientes:
- Permite definir diferente políticas con diferentes prioridades.
- Posee una interface Metascheduling.
- Permite configurar múltiples políticas backfill.
- Diferentes modos de uso como son el normal, test o monitor.
- Posee un simulador de scheduler que permite analizar workloads para diferentes políticas.
Algunas de la referencias:
http://www.adaptivecomputing.com/products/open-source/maui/
https://www.ibm.com/support/knowledgecenter/en/linuxonibm/liaai.hpcsuse/installingmcs.htm
Directorios compartidos
Sandbox
Variables de Entorno
Compilación de herramientas
GCC
OpenMPI
Actualización de Sistema
Paridad de paquetes