Estructura de clúster Bioinformática

A continuación se detalla de forma globalizada la estructura establecida en los clústers de cómputo de la Escuela de Ingeniería Civil en Bioinformática. Cabe mencionar que se expresan sólo algunos ítems relacionados con los aspectos modificables de los equipos ya existentes a fin de crear y detallar algunas buenas prácticas en la prestación de servicios en computación de alto rendimiento (HPC).

Seteo de Bios

A modo de recomendación del fabricante, para nuestro caso HP, es utilizar el profile determinado para la gestión y uso de energía para el modo HPC que viene en cada uno de los servidores. Nuestra experiencia en ese sentido ha sido positiva manteniendo los rangos de performance esperado por las aplicaciones ejecutadas con un consumo de CPU a tope en pruebas de stress.

Es considerable mencionar la realización de pruebas en alto consumo de computo bajo distintos ambientes y cambios de parámetros a nivel de bios (overclocking). Se generaron nuevas configuraciones y mediciones para clock's y ratios de CPU, gestión de voltaje, reducción del tamaño de buses de memoria, incremento de velocidad para ventiladores (caso blade en clustertalca) y otras, pero la respuesta de muchos ejercicios fueron malas o bien sin un aumento significativo en la performance, logrando sólo incremento de temperatura del equipo y por ende en la sala de cómputo.

Sistema operativo

Para los clustertalca y clustertalca2 la estructura de instalación es estilo Beowulf usando el sistema operativo Linux Rock Cluster, siendo esta, una distribución de Linux basada en CentOS.

La estructura de servidores está basada en un servidor máster controlador (headnode), que se encarga de distribuir los trabajos a través de software especializado a nodos esclavos (slaves), que realizan la tarea sucia de procesar lo encomendado.

Estructura de Discos Servidor Maestro o Headnode

La constitución de los discos establecidos para los clusters de cómputo de la escuela de Ingeniería Civil en Bioinformática, está normada por la implementación de a lo menos 3 discos que logren permitir la configuración en RAID 5, siendo una de las principales razones de justificación de está medida la búsqueda de protección y rapidez a la hora de almacenar flujos de datos (IN/OUT) en disco.

Una justificación de la aceptación de esta norma se puede encontrar acá

La degradación del disco es alta, por lo que la configuración y salud del RAID es muy importante. Se debe tener en consideración el tener un reemplazo próximo para el normal funcionamiento del equipo.

Formato de los discos

En la actualidad los discos duros poseen el formato de archivo ext en su versión 3 (clustertalca) y 4 (clustertalca2). La decisión de esto está tomada por la confianza que entrega el filesystem y el buen rendimiento que entrega en discos de tamaño no mayores a 4TB.

Se estima conveniente explorar a futuro el formato XFS, que en ambientes de computación de alto rendimiento a logrado posicionarse con un filesystem de mucha confianza y excelente rendimiento. Referencia acá.

Estructura de los discos Equipos nodos o Slaves

Discos

Cada equipo nodo solo contendrá un disco a fin de poder soportar el sistema operativo y poder generar el trabajo que le fue enviado. No se hace necesario tener que generar complejos sistemas de respaldos como lo puede ser una configuración RAID, debido a que un equipo esclavo no almacena información valiosa, y sólo utiliza espacio en disco para generar archivos temporales que son rápidamente autoeliminados.

Existe la condición de que siempre se contempla tener el mismo tipo (SATA, SCSI, SSD, etc), la misma velocidad de escritura (RPM), que los otros servidores (esclavos y master) y esto independiente de la marca del disco, a fin de no ocacionar "cuellos de botella" entre la sincronización de datos de un proceso determinado.

Al final lo que necesitamos de este tipo de computador es su procesamiento y no su capacidad ni habilidad de almacenamiento.

Nuestra experiencia nos dice que la degradación del disco es muy lento, por lo que reemplazar uno puede tardar años.

Red

Ambos cluster poseen dos redes privadas y un acceso a una red local de la Universidad de Talca.

Una de las redes privadas es del tipo Infiniband y la otra Ethernet Gigabit, siendo para ambas el enrutador el nodo máster.

La red pública es también del tipo Ethernet Gigabit y sirve como puerta de acceso al cluster para todos los usuarios.

Cabe mencionar que una de las restricciones es que las redes privadas no pueden visualizar la red pública a modo de mantener el resguardo la seguridad del cluster, debiendose aplicar una restricción al master para que así sea. El beneficio de está política es que la red privada estará disponible solo para el uso de computación HPC, destinando el 100% de los recursos para ello, pero factor negativo por ejemplo sería la imposibilidad de generar actualizaciones de software para los nodos esclavos, debiendose crear una normativa que permite realizar la acción (puede revisarse en el apartado correspondiente).