|
Tamaño: 357
Comentario:
|
Tamaño: 6664
Comentario:
|
| Los textos eliminados se marcan así. | Los textos añadidos se marcan así. |
| Línea 5: | Línea 5: |
| = Políticas aplicadas a los clúster = == Uso == |
= Políticas e implementación aplicadas a los clúster = Refiere a las políticas instauradas en la implementación de los clúster de la escuela de Ingeniería Civil en Bioinformática. == Acceso y Uso == Todos los Académicos, Funcionarios y estudiantes pudiesen tener acceso a la utilización de los recursos computacionales disponibles por la escuela de Bioinformática. === Solicitud de acceso === Para poder obtener acceso específicamente a los clúster de cálculos computacionales en HPC, los usuarios debiesen pedir autorización a la dirección de carrera justificando las razones del por qué debiese otorgarse el permiso de uso. === Asignación de CPU === Otorgada la autorización el usuario debiese ser encasillarse (rol) en una de las posibilidades para uso en CPU definidas en el cluster. Está se ha estandarizado del siguiente modo: ''' '''''' '''''' ''' ||<tablewidth="906px" tableheight="261px">'''Rol ''' ||'''Cantidad de CPU disponible ''' ||'''Máximo de trabajos en paralelos ''' ||'''Prioridad de ejecución''' || ||Estudiante de Pregrado ||64 ||1 ||0 || ||Estudiante de Postgrado ||80 ||1 ||43200 || ||Postgrado Memorista ||96 ||1 ||43200 || ||Docentes ||128 ||2 ||86400 || === Asignación de espacio en disco === La definición para todos los usuarios es la asignación de 15GB (soft limit), con la posibilidad de sobrepasarme hasta 20GB por un periodo de 7 días (hard limit). * ''Límite débil (soft limit): si la cuenta del usuario o del grupo supera el límite débil, se impondrá un período de gracia en el que el usuario podrá reducir la ocupación.'' * ''Límite duro (hard limit): se deniega cualquier intento de escribir datos después de este límite.'' * ''Período de gracia: tras superar el límite débil, si el usuario no resuelve el problema borrando archivos, la cuenta se bloquea. '' El control del espacio en disco será llevado por el paquete "quota". Para establecer la quota de uso de disco para un usuario se realizará con el programa "edquota", que es un editor de cuotas para usuarios o grupos y que se pueden especificar a través de línea de comandos. La representación de la imposición de una cuota puede verse en el siguiente ejemplo: {{{#!Bash $/sbin/edquote usuarioXXXX Disk quotas for user usuarioXXXX (uid XXX): Filesystem blocks soft hard inodes soft hard /dev/cciss/c0d0p5 32604068 15480000 20480000 401 0 0 }}} En donde: * 15480000 representa 15GB * 20480000 representa 20GB Se puede establecer como referencia este link: http://web.mit.edu/rhel-doc/3/rhel-sag-es-3/ch-disk-quotas.html |
| Línea 8: | Línea 54: |
| Un gestor de colas gestiona trabajos lanzados en una máquina por diferentes usuarios. Para simplificar la configuración al gestor de colas hacia el usuario se ha decidido utilizar solo un nombre o queue para la asociación y denominado talca1 en cada uno de los clúster. El software de gestión de colas escogido por simplicidad, compatibilidad de software utilizado es PBS. === PBS === PBS (Portable Batch System) es un sistema flexible de balanceo de carga y planificación de tareas, inicialmente fue desarrollado para administrar recursos computacionales de la NASA. PBS ha sido el líder en la administración de recursos y considerado el estándar de facto para los sistemas de planificaciónes bajo sistemas Linux. La versión utilizada de PBS es parte de [[http://www.adaptivecomputing.com/products/open-source/torque/|TORQUE Resource manager]] es un software que permite gestionar tareas computacionales, que provee control sobre estas tareas y los recursos computacionales de sistemas distribuidos. Posee los siguientes componentes: * '''Servidor:''' En este caso se llama ''pbs_server''. Permite operaciones básicas como crear, modificar, borrar y ejecutar un trabajo. * '''Ejecutor:''' Es un demonio, llamado en nuestro caso ''pbs_mom'', que pone el comando en ejecución cuando recibe una copia del trabajo de el server. * '''Agendador:''' Otro demonio que tiene las políticas para decidir que trabajo se ejecuta, donde y cuando. Usamos el agendador MAUI el cual se puede comunicar con varios MOMs para comunicar al servidor el estado de los recursos y para conocer del servidor el estado de los trabajos a ejecutar. Algunas características más importantes del sistema PBS son: * Listas de seguridad y control de acceso: El administrador puede permitir o denegar el acceso al sistema PBS basándose en el nombre de usuario, grupo, nodo o dominio de red. * Registro de tareas: logs detallados de las actividades del sistema mediante el análisis de utilización por usuario, por grupo y por nodo. * Soporte de tareas paralelas: Permite la utilización de librerías de programación paralela como MPI, PVM, y HPF. Se puede planificar la ejecución de aplicaciones sobre un computador de un sólo procesador o mediante la utilización de múltiples computadores. * Monitoreo del sistema: Mediante una interfaz gráfica permite realizar un monitoreo completo del ambiente distribuido. * Soporte para grids: Provee tecnología para grids computacionales y la integración del toolkit Globus. * Nivel de carga automático: Provee diversas formas de distribuir la carga en los computadores que conforman el cluster, basados en la configuración de hardware, disponibilidad de recursos, actividad del teclado y el manejo de políticas locales. * Ambiente común de usuario: Ofrece al usuario una visión común de las tareas entregadas y solicitadas, el estado del sistema y seguimiento de tareas. * Priridad de tareas: Permite a los usuarios especificar prioridades para la asignación de recursos y ejecución de sus tareas. * Disponibilidad para diferentes plataformas: Permite el soporte de Windows 2000 y XP, junto con la mayoría de versiones de UNIX y Linux, desde estaciones de trabajo y servidores hasta supercomputadores. === Maui === http://www.adaptivecomputing.com/products/open-source/maui/ https://www.ibm.com/support/knowledgecenter/en/linuxonibm/liaai.hpcsuse/installingmcs.htm |
|
| Línea 16: | Línea 93: |
| == Control horario == | == Instalación de Aplicaciones == |
• Inicio
Tabla de Contenidos
Políticas e implementación aplicadas a los clúster
Refiere a las políticas instauradas en la implementación de los clúster de la escuela de Ingeniería Civil en Bioinformática.
Acceso y Uso
Todos los Académicos, Funcionarios y estudiantes pudiesen tener acceso a la utilización de los recursos computacionales disponibles por la escuela de Bioinformática.
Solicitud de acceso
Para poder obtener acceso específicamente a los clúster de cálculos computacionales en HPC, los usuarios debiesen pedir autorización a la dirección de carrera justificando las razones del por qué debiese otorgarse el permiso de uso.
Asignación de CPU
Otorgada la autorización el usuario debiese ser encasillarse (rol) en una de las posibilidades para uso en CPU definidas en el cluster. Está se ha estandarizado del siguiente modo:
Rol |
Cantidad de CPU disponible |
Máximo de trabajos en paralelos |
Prioridad de ejecución |
Estudiante de Pregrado |
64 |
1 |
0 |
Estudiante de Postgrado |
80 |
1 |
43200 |
Postgrado Memorista |
96 |
1 |
43200 |
Docentes |
128 |
2 |
86400 |
Asignación de espacio en disco
La definición para todos los usuarios es la asignación de 15GB (soft limit), con la posibilidad de sobrepasarme hasta 20GB por un periodo de 7 días (hard limit).
Límite débil (soft limit): si la cuenta del usuario o del grupo supera el límite débil, se impondrá un período de gracia en el que el usuario podrá reducir la ocupación.
Límite duro (hard limit): se deniega cualquier intento de escribir datos después de este límite.
Período de gracia: tras superar el límite débil, si el usuario no resuelve el problema borrando archivos, la cuenta se bloquea.
El control del espacio en disco será llevado por el paquete "quota".
Para establecer la quota de uso de disco para un usuario se realizará con el programa "edquota", que es un editor de cuotas para usuarios o grupos y que se pueden especificar a través de línea de comandos.
La representación de la imposición de una cuota puede verse en el siguiente ejemplo:
$/sbin/edquote usuarioXXXX Disk quotas for user usuarioXXXX (uid XXX): Filesystem blocks soft hard inodes soft hard /dev/cciss/c0d0p5 32604068 15480000 20480000 401 0 0
En donde:
- 15480000 representa 15GB
- 20480000 representa 20GB
Se puede establecer como referencia este link: http://web.mit.edu/rhel-doc/3/rhel-sag-es-3/ch-disk-quotas.html
Gestor de Colas
Un gestor de colas gestiona trabajos lanzados en una máquina por diferentes usuarios. Para simplificar la configuración al gestor de colas hacia el usuario se ha decidido utilizar solo un nombre o queue para la asociación y denominado talca1 en cada uno de los clúster.
El software de gestión de colas escogido por simplicidad, compatibilidad de software utilizado es PBS.
PBS
PBS (Portable Batch System) es un sistema flexible de balanceo de carga y planificación de tareas, inicialmente fue desarrollado para administrar recursos computacionales de la NASA. PBS ha sido el líder en la administración de recursos y considerado el estándar de facto para los sistemas de planificaciónes bajo sistemas Linux.
La versión utilizada de PBS es parte de TORQUE Resource manager es un software que permite gestionar tareas computacionales, que provee control sobre estas tareas y los recursos computacionales de sistemas distribuidos.
Posee los siguientes componentes:
Servidor: En este caso se llama pbs_server. Permite operaciones básicas como crear, modificar, borrar y ejecutar un trabajo.
Ejecutor: Es un demonio, llamado en nuestro caso pbs_mom, que pone el comando en ejecución cuando recibe una copia del trabajo de el server.
Agendador: Otro demonio que tiene las políticas para decidir que trabajo se ejecuta, donde y cuando. Usamos el agendador MAUI el cual se puede comunicar con varios MOMs para comunicar al servidor el estado de los recursos y para conocer del servidor el estado de los trabajos a ejecutar.
Algunas características más importantes del sistema PBS son:
- Listas de seguridad y control de acceso: El administrador puede permitir o denegar el acceso al sistema PBS basándose en el nombre de usuario, grupo, nodo o dominio de red.
- Registro de tareas: logs detallados de las actividades del sistema mediante el análisis de utilización por usuario, por grupo y por nodo.
- Soporte de tareas paralelas: Permite la utilización de librerías de programación paralela como MPI, PVM, y HPF. Se puede planificar la ejecución de aplicaciones sobre un computador de un sólo procesador o mediante la utilización de múltiples computadores.
- Monitoreo del sistema: Mediante una interfaz gráfica permite realizar un monitoreo completo del ambiente distribuido.
- Soporte para grids: Provee tecnología para grids computacionales y la integración del toolkit Globus.
- Nivel de carga automático: Provee diversas formas de distribuir la carga en los computadores que conforman el cluster, basados en la configuración de hardware, disponibilidad de recursos, actividad del teclado y el manejo de políticas locales.
- Ambiente común de usuario: Ofrece al usuario una visión común de las tareas entregadas y solicitadas, el estado del sistema y seguimiento de tareas.
- Priridad de tareas: Permite a los usuarios especificar prioridades para la asignación de recursos y ejecución de sus tareas.
- Disponibilidad para diferentes plataformas: Permite el soporte de Windows 2000 y XP, junto con la mayoría de versiones de UNIX y Linux, desde estaciones de trabajo y servidores hasta supercomputadores.
Maui
http://www.adaptivecomputing.com/products/open-source/maui/
https://www.ibm.com/support/knowledgecenter/en/linuxonibm/liaai.hpcsuse/installingmcs.htm
Directorios compartidos
Sandbox
Variables de Entorno
Compilación de herramientas
GCC
OpenMPI
Actualización de Sistema
Paridad de paquetes