Estructura de clúster Bioinformática

A continuación se detalla de forma globalizada la estructura establecida en los clústers de cómputo de la Escuela de Ingeniería Civil en Bioinformática.

Cabe mencionar que se expresan sólo algunos ítems relacionados con los aspectos modificables de los equipos ya existentes, esto a fin de crear y detallar algunas buenas prácticas en la prestación de servicios en computación de alto rendimiento (HPC).

Seteo de Bios

A modo de recomendación del fabricante, para nuestro caso HP, es utilizar el profile determinado para la gestión y uso de energía para el modo HPC que viene en cada uno de los servidores. Nuestra experiencia en ese sentido ha sido positiva manteniendo los rangos de performance esperado por las aplicaciones ejecutadas con un consumo de CPU a tope en pruebas de stress.

Es considerable mencionar la realización de pruebas en alto consumo de computo bajo distintos ambientes y cambios de parámetros a nivel de bios (overclocking). Se generaron nuevas configuraciones y mediciones para clock's y ratios de CPU, gestión de voltaje, reducción del tamaño de buses de memoria, incremento de velocidad para ventiladores (caso blade en clustertalca) y otras, pero la respuesta de muchos ejercicios fueron malas o bien sin un aumento significativo en la performance, logrando sólo incremento de temperatura del equipo y por ende en la sala de cómputo.

Sistema operativo

Para los clustertalca y clustertalca2 la estructura de instalación es estilo Beowulf usando el sistema operativo Linux Rock Cluster, siendo esta, una distribución de Linux basada en CentOS.

La estructura de servidores está basada en un servidor máster controlador (headnode), que se encarga de distribuir los trabajos a través de software especializado a nodos esclavos (slaves), que realizan la tarea sucia de procesar lo encomendado.

Estructura de Discos Servidor Maestro o Headnode

La constitución de los discos establecidos para los clúster de cómputo de la escuela de Ingeniería Civil en Bioinformática, está normada por la implementación de a lo menos 3 discos que logren permitir la configuración en RAID 5, siendo una de las principales razones de justificación de está medida la búsqueda de protección y rapidez a la hora de almacenar flujos de datos (IN/OUT) en disco.

Una justificación de la aceptación de esta norma se puede encontrar acá

La degradación del disco es alta, por lo que la configuración y salud del RAID es muy importante. Se debe tener en consideración el tener un reemplazo próximo para el normal funcionamiento del equipo.

Formato de los discos

En la actualidad los discos duros poseen el formato de archivo ext en su versión 3 (clustertalca) y 4 (clustertalca2). La decisión de esto está tomada por la confianza que entrega el filesystem y el buen rendimiento que entrega en discos de tamaño no mayores a 4TB.

Se estima conveniente explorar a futuro el formato XFS, que en ambientes de computación de alto rendimiento a logrado posicionarse con un filesystem de mucha confianza y excelente rendimiento. Referencia acá.

Estructura de los discos Equipos nodos o Slaves

Discos

Cada equipo nodo solo contendrá un disco a fin de poder soportar el sistema operativo y poder generar el trabajo que le fue enviado. No se hace necesario tener que generar complejos sistemas de respaldos como lo puede ser una configuración RAID, debido a que un equipo esclavo no almacena información valiosa, y sólo utiliza espacio en disco para generar archivos temporales que son rápidamente autoeliminados.

Existe la condición de que siempre se contempla tener el mismo tipo (SATA, SCSI, SSD, etc), la misma velocidad de escritura (RPM), que los otros servidores (esclavos y master) y esto independiente de la marca del disco, a fin de no ocacionar "cuellos de botella" entre la sincronización de datos de un proceso determinado.

Al final lo que necesitamos de este tipo de computador es su procesamiento y no su capacidad ni habilidad de almacenamiento.

Nuestra experiencia nos dice que la degradación del disco es muy lento, por lo que reemplazar uno puede tardar años.

Red

Ambos clúster poseen dos redes privadas y un acceso a una red local de la Universidad de Talca.

Red privada

Una de las redes privadas es del tipo Infiniband que nos otorga una velocidad de interconexión entre nodos de hasta 56 GBps (clustertalca2) y de 10 GBps (clustertalca). El otro tipo de red disponible en ambas supercomputadoras es Ethernet Gigabit (1 GBps).

En enrutador o gateway por defecto para ambas redes privadas será el equipo máster, por lo que se hace necesario aplicar las configuraciones necesarias (tabla de rutas) para otorgar el buen tráfico de la red.

Red pública

La red pública es también del tipo Ethernet Gigabit y sirve como puerta de acceso al clúster para todos los usuarios. Es necesario mencionar que tener acceso público no quiere decir que esté disponible en una WAN (internet), si no que está disponible en una red privada de acceso común, para nuestro caso la red "utalca" que permita acceder al equipo solo desde puntos específicos.

Para este caso se hace necesario tener un "equipo de paso" conectado a la WAN que permita a los usuarios acceder a él desde cualquier ubicación. A través de este computador da la posibilidad de conectarse a los clúster disponibles y lograr una conexión remota exitosa.

Por último, cabe mencionar que una de las restricciones es que las redes privadas no pueden visualizar la red pública a modo de mantener el resguardo la seguridad del clúster (se aplica una restricción al máster para que así sea). El beneficio de está política es que la red privada estará disponible sólo para la conexión y uso de los nodos bajo demanda a los trabajos enviados. Por otro lado un factor negativo sería la imposibilidad de generar actualizaciones de software para equipos vinculados en la red privada (nodos esclavos), debiendose crear una normativa que permite realizar la acción (puede revisarse en el apartado correspondiente).